Cross-site scripting adversarial attacks based on deep reinforcement learning: Evaluation and extension study

De Kern: Een Huis inbreken met een "Magische" Sleutel

Stel je voor dat webapplicaties (zoals bankieren of sociale media) enorme, beveiligde huizen zijn. Cross-Site Scripting (XSS) is een manier voor hackers om een kwaadaardig scriptje (een virus) in die huizen te smokkelen. Zodra een bezoeker de deur opent, wordt dit scriptje uitgevoerd en kan de hacker alles stelen of kapotmaken.

Om deze inbraken te stoppen, hebben beveiligingsdeskundigen slimme AI-detectoren gebouwd. Deze AI's kijken naar de code die een gebruiker invoert en zeggen: "Aha! Dit lijkt op een inbraakpoging!" of "Dit is veilig."

Het Oude Experiment: De "Magische" Sleutel

In 2022 deden andere onderzoekers een experiment. Ze lieten een slimme AI (een hacker-bots) proberen om deze beveiligingsdeuren open te breken. Ze gebruikten een techniek genaamd Deep Reinforcement Learning.

• Hoe het werkte: De hacker-bots kregen een lijst met trucjes (zoals hoofdletters wisselen, rare tekens toevoegen, of spatievervangingen). Ze probeerden deze trucjes één voor één toe te passen op een kwaadaardig scriptje tot de AI-detecteur dacht: "Oh, dit is veilig!" en de deur open deed.
• Het resultaat: De originele onderzoekers waren verbluft. Hun bots slaagden erin om 90% tot 99% van de tijd de deur open te krijgen. Ze dachten: "Wow, deze AI-beveiliging is heel kwetsbaar!"

Het Nieuwe Onderzoek: De "Sleutel" was eigenlijk een valstrik

De auteurs van dit nieuwe papier (uit Zwitserland) dachten: "Wacht even, dat klinkt te mooi om waar te zijn." Ze besloten het experiment na te doen (replikeren) om te zien of het echt zo goed werkte, of dat er iets mis was met de test.

Ze ontdekten drie grote problemen, die ze bedreigingen voor de geldigheid noemen. Laten we ze vergelijken met een inbraaktest:

1. Het probleem van de "Vervormde Sleutel" (TH1)

Stel je voor dat de hacker-bots de sleutel zo vaak vervormden dat hij niet meer leek op een sleutel, maar op een stukje plastic. Als de slotmaker (de AI) kijkt naar dat plastic, ziet hij geen sleutel en doet hij de deur open.

• De bevinding: De onderzoekers keken of de "sleutels" (de scripts) na alle veranderingen nog steeds echt kwaadaardig waren. Het bleek dat de bots soms de betekenis van de code zo verdraaiden dat het eigenlijk geen inbraak meer was. Maar dit was niet het grootste probleem.

2. Het probleem van de "Onbekende Woorden" (TH2) - Het Grote Geheim

Dit is het belangrijkste punt. De AI-detectoren hebben een woordenboekje (een vocabulaire) met de 10% meest voorkomende woorden die ze kennen. Alles wat ze niet kennen, zetten ze in hun systeem op "NIETS" (None).

• De analogie: Stel je voor dat de beveiligingsagent een lijst heeft met bekende inbraakwoorden. Als de hacker een woord gebruikt dat niet op de lijst staat, denkt de agent: "Ik ken dit woord niet, dus dit is geen inbraak."
• Wat de hackers-bots deden: Ze leerden niet om slimme inbraken te maken. Ze leerden om woorden te gebruiken die niet op de lijst stonden. Ze gooiden gewoon rare tekens of onbekende codes in het scriptje.
• Het resultaat: Omdat de AI deze woorden niet kende, veranderde hij ze in "NIETS". Hierdoor zag de AI het scriptje niet meer als een inbraak, maar als onzin. De AI opende de deur, niet omdat de hacker slim was, maar omdat de AI dom was en niet wist wat hij met die rare woorden moest doen.
• Conclusie: De 90%+ succesratio was een schijnoverwinning. De bots maakten geen echte, slimme inbraken; ze maakten gewoon "onzin" die de AI niet kon lezen.

3. Het probleem van de "Verdwenen Handleiding" (TH3)

De originele onderzoekers deelden hun code en data niet. Het was alsof ze zeiden: "Kijk, we hebben de deur opengebroken," maar ze gaven de sleutel of de blauwdrukken niet. Hierdoor kon niemand het controleren.

De Oplossing: De "Smaaktest" (De XSS Oracle)

Om dit op te lossen, bouwden deze onderzoekers een nieuwe tool: een XSS Oracle.

• De analogie: Stel je voor dat je een gerecht kookt (het scriptje). De originele test keek alleen of de geur (de code) leek op die van een vergiftigd gerecht. Maar de nieuwe test (de Oracle) proeft het gerecht echt.
• Hoe het werkt: De Oracle neemt het scriptje, laat het echt draaien in een veilige omgeving en kijkt: "Verandert dit de website? Ja? Dan is het een echte inbraak. Nee? Dan is het onzin."

Ze gebruikten deze Oracle op twee manieren:

1. Om te controleren: Ze keken naar de oude "winstende" scripts. Bleek dat 97% van de scripts na het "vertalen" door de AI (het vervangen van onbekende woorden door 'NIETS') niet meer werkte als een echte inbraak. De inbraak was kapotgemaakt door de vertaler!
2. Om te trainen: Ze gaven de hacker-bots een nieuwe regel: "Je krijgt punten alleen als je een scriptje maakt dat echt werkt (de Oracle ziet het als inbraak) én dat de AI niet ziet."

Het Eindresultaat: Eerlijke Beveiliging

Toen ze de hacker-bots trainden met deze nieuwe, eerlijke regels:

• De bots leerden echte, slimme inbraken te maken die de AI niet zag.
• Ze slaagden nog steeds in 96% van de gevallen om de deur open te krijgen.
• Maar nu is het echt: Ze deden het niet door de AI dom te maken met onbekende woorden, maar door echt slimme trucjes te gebruiken.

Wat betekent dit voor ons?

1. De AI-beveiliging is kwetsbaarder dan we dachten: Zelfs zonder de "truc" met de onbekende woorden, kunnen slimme hackers de beveiliging omzeilen.
2. De "vertaler" is zwak: De manier waarop de beveiligingssysteem nieuwe woorden behandelt (ze negeren of vervangen door 'NIETS') is een groot zwak punt. Beveiligingsdeskundigen moeten hun systemen leren omgaan met onbekende tekens, in plaats van ze zomaar te negeren.
3. Transparantie is cruciaal: Je kunt niet vertrouwen op resultaten als je de code niet kunt zien. Wetenschap moet open en reproduceerbaar zijn.

Samenvattend: De originele studie dacht dat ze een magische sleutel hadden gevonden die elke deur opende. Dit nieuwe onderzoek toonde aan dat de sleutel eigenlijk een stuk plastic was dat de slotmaker niet herkende. Maar toen ze een echte, magische sleutel maakten (zonder de plastic truc), bleek dat de deuren toch nog steeds heel makkelijk open te gaan waren. De beveiliging moet dus echt worden verbeterd, niet alleen de testmethode.