Fine-Tuned CodeBERT for Web Threat Classification using Agentic Reasoning

Het internet is een enorme, open marktplaats waar informatie vrijelijk stroomt, maar die openheid nodigt ook uit tot problemen. Elke dag worden webapplicaties—websites waarmee je kunt winkelen, bankieren of het nieuws kunt lezen—geconfronteerd met pogingen om in te breken. Twee van de meest voorkomende trucjes die aanvallers gebruiken, staan bekend als SQL-injectie en cross-site scripting. In eenvoudige termen is SQL-injectie als het binnensluipen van een vervalste brief in een database-query, waardoor het systeem wordt misleid om geheime informatie te onthullen of records te wijzigen die het niet zou mogen aanpassen. Cross-site scripting is meer als het verbergen van een kwaadaardig script in een reactie of een invoerveld, dat vervolgens wordt uitgevoerd op de computer van iedereen die de pagina bekijkt, waarbij vaak hun inloggegevens worden gestolen of hun sessie wordt overgenomen. Om deze aanvallen te stoppen, gebruiken websites digitale poortwachters die web application firewalls worden genoemd. Jarenlang vertrouwden deze poortwachters op een lijst met bekende slechte patronen, zoals een uitsmijter die ID's controleert tegen een lijst van bekende raddraaiers. Echter, slimme aanvallers kunnen deze lijsten gemakkelijk omzeilen door hun kwaadaardige code licht te veranderen—een spatie toevoegen, de hoofdletter van een letter veranderen of het verbergen in een commentaar—net zoals iemand die van kleding verandert om niet herkend te worden.

Om dit op te lossen, hebben onderzoekers zich gericht op kunstmatige intelligentie, specifen een type computerprogramma dat een transformer wordt genoemd. Denk aan een transformer als een machine die tekst leest en de onderliggende structuur van taal leert, vergelijkbaar met een student die duizenden boeken leest om grammatica en context te begrijpen in plaats van alleen specifieke woorden te memoriseren. Sommige van deze machines worden getraind op algemene tekst, terwijl anderen, zoals de machine in het centrum van dit onderzoek, zijn getraind op zowel natuurlijke taal als computercode. De onderzoekers wilden weten of een machine getraind op code deze webaanvallen beter kon detecteren dan machines getraind op algemene tekst, en of het dat snel genoeg kon doen om in realtime nuttig te zijn. Ze wilden ook zien of het gebruik van een kortere, efficiëntere versie van de machine de nauwkeurigheid zou opofferen voor snelheid, een cruciale afweging voor systemen die beslissingen moeten nemen in milliseconden.

In een recente studie hebben onderzoekers van de Westminster International University in Tasjkent zich ingesteld om deze vragen te testen met een frisse, rigoureuze aanpak. Ze verzamelden een enorme collectie webverkeerdata, waarbij ze duizenden voorbeelden van zowel onschuldige verzoeken als kwaadaardige aanvallen mengden. Om ervoor te zorgen dat hun resultaten betrouwbaar waren, hebben ze de gegevens zorgvuldig opgeschoond door duplicaten te verwijderen en een kleine set lastige, onschuldige zinnen toe te voegen die op aanvallen leken om te zien of de machines in de war zouden raken. Vervolgens namen ze vier verschillende versies van deze AI-modellen en leerden hen om onderscheid te maken tussen goed en slecht verkeer met behulp van exact dezelfde regels en data. Een van deze modellen was CodeBERT, een systeem dat is voorgetraind op broncode, terwijl de andere modellen algemene modellen waren zoals BERT en RoBERTa. Het doel was om te zien of het op code getrainde model een natuurlijk voordeel had bij het opsporen van de vreemde mix van databasecommando's en webscripts die in deze aanvallen worden gevonden.

De resultaten waren opvallend consistent over de hele linie. Alle vier de modellen presteerden met buitengewone precisie en identificeerden de aard van het verkeer correct in meer dan 99 procent van de gevallen. Wanneer de onderzoekers nauwkeurig naar de weinige fouten keken die werden gemaakt, ontdekten ze dat de verschillen tussen de modellen zo klein waren dat ze gemakkelijk aan toeval konden worden toegeschreven in plaats van aan één model dat werkelijk superieur was. Het op code getrainde model, CodeBERT, maakte zeven fouten op meer dan 6.000 testmonsters, een prestatie die statistisch niet te onderscheiden was van de andere modellen, die tussen de acht en twaalf fouten maakten. Deze bevinding daagt de aanname uit dat een gespecialiseerd model getraind op code inherent beter is bij deze specifieke taak dan een algemeen model, ten minste wanneer beide worden voorzien van dezelfde hoeveelheid data en trainingstijd. De studie suggereert dat voor de taak van simpelweg beslissen of een verzoek kwaadaardig is of niet, de keuze van het model minder belangrijk is dan de kwaliteit van de data en de testmethode.

De studie onthulde echter ook belangrijke verschillen in hoe deze modellen zich onder druk gedragen. Hoewel de nauwkeurigheidsscores bijna identiek waren, varieerden de soorten fouten die ze maakten. Het ene model was eerder geneigd een kwaadaardige aanval door te laten glippen, terwijl een ander eerder geneigd was een onschuldig verzoek onterecht te blokkeren. Dit onderscheid is van vitaal belang voor de echte wereld beveiliging, aangezien de kosten van een vals alarm anders zijn dan de kosten van een inbraak. Bovendien testten de onderzoekers hoe snel deze modellen konden werken. Ze ontdekten dat door de hoeveelheid tekst die de modellen tegelijkertijd moesten verwerken in te korten, ze de tijd die nodig is om het systeem te trainen met bijna de helft konden verminderen en de tijd die het kostte om een beslissing te nemen met bijna 50 procent konden verlagen, zonder dat er significant nauwkeurigheid verloren ging. Dit suggereert dat voor lichtgewicht beveiligingssystemen die snel en efficiënt moeten zijn, er een duidelijke weg naar optimalisatie is die geen offer vraagt van veiligheid.

De onderzoekers onderwierpen hun modellen ook aan een stresstest met een kleine set speciaal vervaardigde, geobfusceerde aanvallen die ontworpen zijn om het systeem te misleiden. In dit scenario daalde de prestatie van de modellen merkbaar, waarbij de nauwkeurigheid afnam tot rond de 86 procent. Deze daling benadrukt een kritieke realiteit: een systeem dat perfect lijkt op standaard testdata, kan nog steeds kwetsbaar zijn voor slim verhuld aanvallers. De studie merkt expliciet op dat de hoge scores gezien tijdens standaardtesten geen garantie bieden voor robuustheid tegen evasietechnieken. De onderzoekers waren voorzichtig om te stellen dat hun werk een eerste stap is, waarbij de focus ligt op de binaire beslissing of verkeer slecht of goed is, in plaats van het identificeren van het specifieke type aanval. Ze erkennen dat hun dataset, hoewel groot, beperkt is tot publieke bronnen en dat hun stresstest klein was.

Uiteindelijk biedt dit onderzoek een helder, gegrond beeld van de huidige staat van AI in webbeveiliging. Het demonstreert dat hoewel geavanceerde modellen een bijna perfecte nauwkeurigheid kunnen bereiken bij het detecteren van veelvoorkomende webaanvallen, de verschillen tussen gespecialiseerde en algemene modellen in de praktijk vaak verwaarloosbaar zijn. De werkelijke waarde ligt niet in het vinden van één enkel "beste" model, maar in het begrijpen van de afwegingen tussen snelheid, kosten en de specifieke soorten fouten die een systeem kan maken. Door aan te tonen dat efficiëntie kan worden verkregen zonder nauwkeurigheid op te offeren, biedt de studie een praktisch stappenplan voor het bouwen van snellere, lichtere beveiligingstools. Het herinnert ons eraan dat in de voortdurende strijd voor webveiligheid het doel niet alleen is om een slimmere machine te bouwen, maar een betrouwbaardere en efficiëntere machine die het tempo kan bijhouden van de evoluerende tactieken van degenen die proberen in te breken.