🤖 machine learning

Evaluating LLM-Generated Obfuscated XSS Payloads for Machine Learning-Based Detection

Deze studie presenteert een pipeline voor het genereren en evalueren van door LLM's gegenereerde, geobfuscueerde XSS-payloads, waarbij blijkt dat hoewel fijnstemming de behoud van runtime-gedrag enigszins verbetert, huidige modellen nog moeite hebben met het creëren van functioneel geldige obfuscaties die de detectieprestaties van machine learning-systemen significant verbeteren.

Oorspronkelijke auteurs: Divyesh Gabbireddy, Suman Saha

Gepubliceerd 2026-04-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Divyesh Gabbireddy, Suman Saha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat hackers een geheime taal spreken om hun boodschappen (virussen) door te geven aan een website, terwijl de bewakers (de beveiligingssoftware) denken dat het onschuldig is.

Dit artikel van twee studenten van de Pennsylvania State University onderzoekt of we kunstmatige intelligentie (AI) kunnen gebruiken om die geheime taal te leren nabootsen, zodat we betere bewakers kunnen bouwen. Maar er zit een grote haken en ogen aan: de AI moet niet alleen de taal laten lijken op een virus, het moet ook echt werken als een virus.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Chameleons van het Web

Hackers gebruiken een techniek genaamd "obfuscatie". Dat klinkt ingewikkeld, maar het is eigenlijk net als een chameleons.

Een hacker neemt een kwaadaardig script (een virus) en verandert de vorm ervan.
Ze kunnen letters in cijfers veranderen, spaties toevoegen, of de volgorde van woorden wijzigen.
Voor een mens of een simpele computer lijkt het nu een onschuldig stukje tekst. Maar voor de browser (de webpagina) doet het exact hetzelfde kwaad als het origineel.

De huidige beveiligingssystemen (die vaak gebruikmaken van Machine Learning) worden vaak bedrogen door deze chameleons. Ze kijken vaak alleen naar hoe iets eruitziet (de "syntaxis"), en niet naar wat het doet.

2. De Idee: Laat de AI de Chameleon nabootsen

De onderzoekers dachten: "Als we een slimme AI (een Large Language Model of LLM) trainen om deze vermommingen te maken, kunnen we dan duizenden nieuwe, unieke virussen genereren om onze beveiliging te testen?"

Het idee is als een veiligheidsopleiding voor een hond:

Je wilt je hond leren om boeven te herkennen.
In plaats van alleen met echte boeven te oefenen, laat je de hond zien hoe een boef zich vermomt als een postbode, een tuinman of een oma.
Als je genoeg van die vermommingen hebt, wordt je hond een super-detective.

3. De Uitdaging: De AI is een "Slechte Acteur"

Hier komt het probleem. De onderzoekers lieten hun AI proberen om deze vermommingen te maken. Maar de AI is als een slechte acteur die probeert een rol te spelen.

De AI kan een tekst schrijven die eruitziet als een vermomd virus.
Maar als je die tekst in de browser uitvoert, doet het niets. Het is alsof de acteur zijn mondkapje vergeet of de verkeerde tekst zegt. Het lijkt op een virus, maar het is dood.

In de echte wereld is een virus dat niet werkt, nutteloos. Voor de beveiliging is het zelfs gevaarlijk, want je leert je detector om op "dode" voorbeelden te reageren in plaats van op echte dreigingen.

4. De Oplossing: De "Proeflokaal" (Browser Test)

Om dit op te lossen, bouwden de onderzoekers een automatische proeflokaal.

Ze lieten de AI duizenden vermommingen maken.
Vervolgens lieten ze een robot (een browser) elk van die vermommingen uitvoeren.
De vraag was simpel: "Dit script deed iets kwaadaardigs in het origineel. Doet dit nieuwe script precies hetzelfde?"
- Ja? Dan is het een goed voorbeeld.
- Nee? Dan is het "slecht" en gooien we het weg.

Dit is als het testen van een vermomde bom: je mag niet alleen kijken of hij eruitziet als een bom, je moet testen of hij ook daadwerkelijk ontploft.

5. De Resultaten: Een beetje beter, maar nog niet goed genoeg

Wat vonden ze?

Zonder training: De AI had slechts 15% kans om een vermomming te maken die daadwerkelijk werkte. De meeste waren "dode" voorbeelden.
Met training: Ze trainden de AI specifiek op de voorbeelden die wel werkten. De kans steeg naar 22%.
- Dit is een verbetering (zo'n 47% beter dan voorheen), maar het betekent nog steeds dat 78% van de geproduceerde voorbeelden faalt.

De AI leert dus wel de patronen, maar het is nog steeds erg lastig voor een computer om te begrijpen hoe een complexe webpagina precies reageert op kleine veranderingen.

6. De Conclusie voor de Beveiliging

Toen ze deze gegenereerde voorbeelden gebruikten om een beveiligingsprogramma te trainen, gebeurde er iets interessants:

Het maakte de beveiliging niet direct veel sterker (omdat de dataset te klein was).
Maar het deed de beveiliging ook niet slechter.

De belangrijkste les:
Als je AI gebruikt om beveiligingsdata te maken, moet je altijd eerst testen of die data echt werkt in de echte wereld. Je kunt niet zomaar vertrouwen op wat de AI "schrijft". Je moet het laten "uitvoeren" in een veilige omgeving om te zien of het echt gevaarlijk is.

Samengevat in één zin:
De onderzoekers hebben laten zien dat AI goed kan zijn in het schrijven van vermomde virussen, maar dat we nog steeds een menselijke (of robotische) controle nodig hebben om te zien of die virussen ook daadwerkelijk werken, voordat we ze gebruiken om onze systemen te beveiligen.

Probleemstelling

Cross-site scripting (XSS) blijft een hardnekkige webbeveiligingskwetsbaarheid. De grootste uitdaging voor detectiesystemen is obfuscatie: aanvallers transformeren kwaadaardige payloads zodat ze er op string-niveau anders uitzien, maar dezelfde schadelijke gedraging in de browser behouden. Traditionele en machine learning (ML)-gebaseerde detectiesystemen hebben moeite met het herkennen van deze gevarieerde syntaxis.

Hoewel Large Language Models (LLM's) potentie hebben om complexe obfuscatiepatronen te genereren die verder gaan dan vaste regels, is er een kritiek probleem: syntactische plausibiliteit garandeert geen runtime-korrektheid. Een gegenereerde payload kan er correct uitzien, maar door kleine wijzigingen in event-handlers, JavaScript-functies of uitvoeringscontexten niet meer functioneren als een echte aanval. Het gebruik van ongeldige gegenereerde data in trainingssets kan ruis introduceren en de prestaties van detectiemodellen verslechteren.

Methodologie

De auteurs presenteren een gestructureerde pijplijn die deterministische transformaties combineert met LLM-generatie en browser-gebaseerde validatie. De aanpak bestaat uit de volgende fasen:

Deterministische Obfuscatieketens:
- Er worden originele kwaadaardige XSS-payloads verwerkt via vaste twee-staps transformatierecepten (bijv. hex-escaperen gevolgd door string-splitting, of commentaar-invoeging gevolgd door hex-escaperen).
- Er worden vijf specifieke recepten gebruikt om multi-stap ketens te bouwen.
Browser-gebaseerde Runtime Validatie:
- In plaats van te vertrouwen op syntactische gelijkenis, wordt elke gegenereerde keten uitgevoerd in een gecontroleerde browseromgeving.
- De runtime-checker registreert waarneembare effecten (zoals alert-triggers, console-outputs, netwerkverzoeken en uitvoeringsfouten).
- Alleen ketens waarbij het gedrag van de geobfuscateerde payload exact overeenkomt met de originele payload, worden behouden als gedragsbehoudende voorbeelden.
LLM Training en Generatie:
- Een taalmodel wordt fijn afgestemd (fine-tuned) op de set van gevalideerde bron-doel-paren (originele payload $\to$ geldige geobfuscateerde payload).
- Dit wordt vergeleken met een ongetrainde (untuned) baseline.
- Het model genereert nieuwe kandidaat-payloads die vervolgens opnieuw worden getest op runtime-gedrag.
Downstream Detectie Evaluatie:
- De gegenereerde payloads worden gebruikt om de impact op een ML-detectiemodel (een Random Forest-classificator) te testen.
- Drie scenario's worden vergeleken: training alleen op originele data, training met alle gegenereerde data, en training met alleen gedragsgefilterde gegenereerde data.

Belangrijkste Bijdragen

Gestructureerde Pijplijn: Een nieuwe methode voor het construeren van multi-stap XSS-obfuscatieketens die specifiek is ontworpen om gedragsbehoud te garanderen via validatie.
Runtime Validatie: Introductie van een browser-gebaseerde evaluatieprocedure die gegenereerde payloads beoordeelt op basis van waarneembare uitvoering in plaats van alleen tekstuele gelijkenis.
Empirische Evaluatie: Een uitgebreide studie naar de effectiviteit van LLM's voor het genereren van beveiligingsdata en de impact daarvan op downstream-detectiesystemen.

Resultaten

Runtime Gedragsmatch:
- De ongetrainde baseline bereikte een match-rate van 0,15 (15% van de gegenereerde payloads behield het gedrag).
- Het fijn afgestemde model bereikte een match-rate van 0,22 (22%). Dit is een relatieve verbetering van 46,7%.
- Conclusie: Fijnafstemming helpt, maar de absolute match-rate blijft laag. De meeste gegenereerde payloads falen nog steeds op uitvoeringsniveau.
Transformatie-analyse:
- Transformaties die te maken hebben met string-manipulatie (zoals split_strings gevolgd door comment_insertion) hadden een hoge geldigheidsrate (tot 0,77).
- Transformaties die zwaar leunen op encoding (zoals hex_escape) hadden een zeer lage geldigheidsrate (onder de 0,06). Dit suggereert dat encoding-transformaties gevoeliger zijn voor fouten bij de reconstructie in de browser.
Downstream Detectie:
- Het toevoegen van gegenereerde payloads (zowel alle als alleen de geldige) verbeterde de detectieprestaties niet significant ten opzichte van het trainen met alleen originele data (F1-scores bleven rond de 0,998).
- Dit wordt toegeschreven aan het feit dat de gegenereerde samples een te klein deel van de totale dataset uitmaken.
- Cruciaal is echter dat het toevoegen van gedragsgefilterde samples de prestaties niet verslechterde, wat aangeeft dat ze veilig kunnen worden gebruikt als de dataset groeit.

Betekenis en Conclusie

Het paper benadrukt een fundamenteel onderscheid in beveiligingsgerichte AI: het genereren van code-achtige tekst is niet hetzelfde als het genereren van gedragscorrecte beveiligingsvoorbeelden.

Beperkingen van huidige LLM's: Zelfs met fijnafstemming worstelen LLM's nog steeds om complexe, uitvoeringsgerichte correctheid te behouden bij XSS-obfuscatie.
Noodzaak van Validatie: Runtime-validatie is essentieel om "ruis" (ongeldige payloads) uit trainingssets te filteren. Zonder deze validatie zouden detectiemodellen leren op artefacten die niet corresponderen met echte aanvallen.
Toekomstperspectief: Hoewel de huidige gegenereerde data de detectie niet direct verbetert, biedt de methode een kwaliteitsmechanisme dat essentieel is voor toekomstige scenario's waarin gegenereerde data een groter deel van de trainingsset zal uitmaken. De auteurs pleiten voor hybride benaderingen en strengere validatie om de kloof tussen syntaxis en executie te overbruggen.