Fine-Tuned CodeBERT for Web Threat Classification using Agentic Reasoning

Das Internet ist ein riesiger, offener Marktplatz, auf dem Informationen frei fließen, aber diese Offenheit lädt auch zu Problemen ein. Jeden Tag sind Webanwendungen – Seiten, auf denen man einkaufen, Bankgeschäfte erledigen oder Nachrichten lesen kann – Versuchen des Einbruchs ausgesetzt. Zwei der häufigsten Tricks, die Angreifer anwenden, sind als SQL-Injection und Cross-Site-Scripting bekannt. Vereinfacht ausgedrückt ist eine SQL-Injection wie das Einschleusen eines gefälschten Zettels in eine Datenbankabfrage, um das System zu täuschen, damit es geheime Informationen preisgibt oder Datensätze ändert, die es nicht ändern dürfte. Cross-Site-Scripting ist eher wie das Verstecken eines bösartigen Skripts in einem Kommentar oder einem Formularfeld, welches dann auf dem Computer eines jeden ausgeführt wird, der die Seite aufruft, um oft dessen Anmeldedaten zu stehlen oder die Sitzung zu übernehmen. Um diese Angriffe zu stoppen, nutzen Websites digitale Türsteher, die sogenannten Web Application Firewalls. Jahrelang verließen sich diese Türsteher auf eine Liste bekannter schlechter Muster, vergleichbar mit einem Türsteher, der Ausweise gegen eine Liste bekannter Unruhestifter prüft. Erfahrene Angreifer können diese Listen jedoch leicht umgehen, indem sie ihren bösartigen Code geringfügig verändern – etwa durch das Hinzufügen eines Leerzeichens, das Ändern der Groß- und Kleinschreibung eines Buchstabens oder das Verstecken innerhalb eines Kommentars –, ganz ähnlich wie eine Person, die ihre Kleidung wechselt, um nicht erkannt zu werden.

Um dieses Problem zu lösen, haben Forscher zur künstlichen Intelligenz gegriffen, speziell zu einer Art von Computerprogramm namens Transformer. Betrachten Sie einen Transformer als eine Maschine, die Text liest und die zugrunde liegende Struktur der Sprache lernt, vergleichbar mit einem Studenten, der tausende Bücher liest, um Grammatik und Kontext zu verstehen, anstatt nur spezifische Wörter auswendig zu lernen. Einige dieser Maschinen werden auf allgemeinem Text trainiert, während andere, wie die im Zentrum dieser Studie, sowohl auf natürlicher Sprache als auch auf Computercode trainiert wurden. Die Forscher wollten wissen, ob eine Maschine, die auf Code trainiert wurde, Webangriffe besser erkennen kann als Maschinen, die auf allgemeinem Text basieren, und ob sie dies schnell genug für den Einsatz in Echtzeit leisten kann. Sie wollten auch sehen, ob die Verwendung einer kürzeren, effizienteren Version der Maschine die Genauigkeit zugunsten der Geschwindigkeit opfern würde – ein entscheidender Kompromiss für Systeme, die Entscheidungen in Millisekunden treffen müssen.

In einer kürzlich durchgeführerten Studie untersuchten Forscher der Westminster International University in Taschkent diese Fragen mit einem frischen, strengen Ansatz. Sie sammelten eine massive Menge an Webverkehrsdaten und mischten tausende Beispiele von sowohl harmlosen Anfragen als auch bösartigen Angriffen untereinander. Um sicherzustellen, dass ihre Ergebnisse vertrauenswürdig waren, bereinigten sie die Daten akribisch, entfernten Duplikate und fügten einen kleinen Satz kniffliger, harmloser Sätze hinzu, die wie Angriffe aussahen, um zu prüfen, ob die Maschinen verwirrt würden. Dann nahmen sie vier verschiedene Versionen dieser KI-Modelle und brachten sie unter Anwendung exakt derselben Regeln und Daten dazu, zwischen gutem und schlechtem Verkehr zu unterscheiden. Eines dieser Modelle war CodeBERT, ein System, das auf Quellcode vortrainiert wurde, während die anderen allgemeine Modelle wie BERT und RoBERTa waren. Das Ziel war es zu sehen, ob das auf Code trainierte Modell einen natürlichen Vorteil bei der Erkennung der seltsamen Mischung aus Datenbankbefehlen und Webskripten besitzt, die in diesen Angriffen vorkommen.

Die Ergebnisse waren über alle Modelle hinweg bemerkenswert konsistent. Alle vier Modelle arbeiteten mit außerordentlicher Präzision und identifizierten die Art des Verkehrs in mehr als 99 Prozent der Fälle korrekt. Als die Forscher die wenigen Fehler untersuchten, stellten sie fest, dass die Unterschiede zwischen den Modellen so gering waren, dass sie leicht auf den Zufall zurückgeführt werden konnten, anstatt darauf, dass ein Modell tatsächlich überlegen war. Das auf Code trainierte Modell, CodeBERT, machte sieben Fehler bei mehr als 6.000 Testproben – eine Leistung, die statistisch nicht von den anderen Modellen zu unterscheiden war, die zwischen acht und zwölf Fehler machten. Dieser Befund stellt die Annahme infrage, dass ein spezialisiertes, auf Code trainiertes Modell bei dieser spezifischen Aufgabe von Natur aus besser ist als ein allgemeines Modell, zumindest wenn beide die gleiche Menge an Daten und Trainingszeit erhalten. Die Studie legt nahe, dass für die bloße Entscheidung, ob eine Anfrage bösartig oder nicht, die Wahl des Modells weniger entscheidend ist als die Qualität der Daten und die Testmethode.

Die Studie deckte jedoch wichtige Unterschiede im Verhalten dieser Modelle unter Druck auf. Während die Genauigkeitswerte nahezu identisch waren, variierten die Arten der Fehler, die sie machten. Ein Modell neigte eher dazu, einen bösartigen Angriff durchzulassen, während ein anderes eher dazu neigte, eine harmlose Anfrage fälschlicherweise zu blockieren. Diese Unterscheidung ist für die reale Sicherheit von entscheidender Bedeutung, da die Kosten eines Fehlalarms anders sind als die Kosten einer Sicherheitsverletzung. Darüber hinaus testeten die Forscher, wie schnell diese Modelle arbeiten können. Sie fanden heraus, dass sie durch die Verkürzung der Menge an Text, die die Modelle gleichzeitig verarbeiten mussten, die Zeit für das Training des Systems um fast die Hälfte senken und die Zeit für die Entscheidungsfindung um fast 50 Prozent reduzieren konnten, ohne dabei eine signifikante Genauigkeit einzubüßen. Dies deutet darauf hin, dass es für leichtgewichtige Sicherheitssysteme, die schnell und effizient sein müssen, einen klaren Weg zur Optimierung gibt, der keine Einbußen bei der Sicherheit erfordert.

Die Forscher unterzogen ihre Modelle auch einem Stresstest unter Verwendung eines kleinen Satzes speziell gestalteter, verschleierter Angriffe, die darauf ausgelegt waren, das System zu täuschen. In diesem Szenario sank die Leistung der Modelle merklich, wobei die Genauigkeit auf etwa 86 Prozent fiel. Dieser Abfall verdeutlicht eine kritische Realität: Ein System, das in Standardtests perfekt erscheint, kann dennoch anfällig für geschickt getarnte Angriffe sein. Die Studie stellt explizit fest, dass die hohen Werte in den Standardtests keine Robustheit gegenüber Evasion-Techniken (Umgehungstechniken) garantieren. Die Forscher betonten vorsichtig, dass ihre Arbeit ein erster Schritt ist, der sich nur auf die binäre Entscheidung konzentriert, ob der Verkehr schlecht oder gut ist, anstatt die spezifische Art des Angriffs zu identifizieren. Sie räumten ein, dass ihr Datensatz, obwohl groß, auf öffentlichen Quellen beschränkt ist und dass ihr Stresstest klein war.

Letztendlich liefert diese Forschung ein klares, fundiertes Bild des aktuellen Standes der KI in der Websicherheit. Sie zeigt, dass fortschrittliche Modelle zwar eine nahezu perfekte Genauigkeit bei der Erkennung gängiger Webangriffe erreichen können, die Unterschiede zwischen spezialisierten und allgemeinen Modellen in der Praxis jedoch oft vernachlässigbar sind. Der wahre Wert liegt nicht darin, ein einzelnes „bestes“ Modell zu finden, sondern darin, die Kompromisse zwischen Geschwindigkeit, Kosten und den spezifischen Arten von Fehlern zu verstehen, die ein System machen kann. Indem sie aufzeigen, dass Effizienz gewonnen werden kann, ohne die Genauigkeit zu opfern, bietet die Studie einen praktischen Fahrplan für den Bau schnellerer, leichterer Sicherheitstools. Sie erinnert uns daran, dass es im fortwährenden Kampf um die Websicherheit nicht nur darum geht, eine intelligentere Maschine zu bauen, sondern eine zuverlässigere und effizientere, die mit den sich entwickelnden Taktiken derjenigen Schritt halten kann, die versuchen, einzubrechen.