Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?
Diese Arbeit untersucht die Vertrauenswürdigkeit von Large Language Models beim Engineering von Regeln für Netzwerk-Intrusion-Detection-Systeme (NIDS) durch eine Studie mit Domänenexperten und zeigt auf, dass große Modelle zwar syntaktisch korrekte Regeln generieren, ihre semantischen Ungenauigkeiten und Halluzinationen ihren Einsatz jedoch auf eine unterstützende Entwurfsrolle statt auf eine autonome Generierung beschränken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Sicherheitschef einer riesigen, geschäftigen Stadt. Ihr Job ist es, „Gesetze“ (Regeln) zu schreiben, die Ihren Sicherheitskräften (dem Network Intrusion Detection System, oder NIDS) genau sagen, wonach sie Ausschau halten müssen. Wenn ein Auto die falsche Richtung in einer Einbahnstraße fährt, braucht der Wachmann eine spezifische Regel, um es zu stoppen. Wenn ein Dieb versucht, ein Schloss zu knacken, braucht die Regel, um Alarm zu schlagen.
Seit Jahren ist das Schreiben dieser Gesetze ein mühsamer, manueller Job. Es erfordert tiefes Wissen darüber, wie die Stadt funktioniert, wie Diebe operieren und wie die exakte Grammatik der Gesetzbücher aussieht. Aber da sich die Kriminalität schneller als je zuvor entwickelt, werden menschliche Experten müde, überfordert und die Zeit läuft ihnen davon.
Hier kommen Large Language Models (LLMs) ins Spiel. Betrachten Sie diese als superintelligente, KI-gestützte Rechtsreferenten, die jedes Buch in der Bibliothek gelesen haben. Die große Frage, die diese Arbeit stellt, lautet: „Können wir diesen KI-Referenten vertrauen, die eigentlichen Gesetze für unsere Sicherheitskräfte zu schreiben, oder werden sie einfach nur Unsinn produzieren, der auf dem Papier gut aussieht?“
Die Forscher haben die KI nicht nur gebeten, Regeln zu schreiben; sie haben einen strengen Test mit 10 echten Sicherheitsexperten (den „Richtern“) durchgeführt, um zu sehen, was passiert. Hier ist das, was sie herausgefunden haben, einfach erklärt:
1. Das Paradoxon von „Perfekter Grammatik, falscher Bedeutung“
Die KI-Referenten sind großartig in der Grammatik. Wenn man sie bittet, eine Sicherheitsregel zu schreiben, beherrscht die KI fast immer die Rechtschreibung, Interpunktion und Struktur perfekt. Es ist wie ein Schüler, der einen Satz mit perfekter Rechtschreibung und Zeichensetzung schreibt, aber etwas sagt, das in der realen Welt keinen Sinn ergibt.
- Das Ergebnis: Die KI kann Regeln schreiben, die der Computer ohne Fehler akzeptiert (syntaktisch korrekt). Als die menschlichen Experten diese jedoch betrachteten, stellten sie fest, dass die Regeln oft zu vage oder logisch fehlerhaft waren. Etwa 12 % der Zeit hat die KI „halluziniert“ (Dinge erfunden), also Regeln erstellt, die offiziell klangen, aber tatsächlich keinen Kriminellen fassen würden.
2. Die Größe zählt (Große Gehirne vs. kleine Gehirne)
Die Forscher testeten KI-Modelle unterschiedlicher Größen.
- Die kleinen Modelle: Betrachten Sie diese als Praktikanten mit sehr wenig Ausbildung. Sie versagten fast vollständig. Sie konnten nicht einmal eine Regel schreiben, die der Computer akzeptieren würde.
- Die großen Modelle: Betrachten Sie diese als erfahrene Professoren. Sie waren viel besser und bekamen die „Grammatik“ in etwa 85–90 % der Fälle richtig.
- Der Haken: Selbst die „Professoren“ brauchten viel Hilfe. Sie erstellten oft beim ersten Entwurf Fehler und mussten mehrmals korrigiert werden, bevor die Regel nutzbar war.
3. Das Problem der „Zu allgemeinen“ Regeln
Dies war die größte Beschwerde der menschlichen Experten.
- Die Analogie: Stellen Sie sich einen Sicherheitswachmann vor, der jedes Auto anhält, weil „einige Autos gestohlen sein könnten“. Das ist nicht hilfreich; es behindert den Verkehr und verursacht Chaos. Das stoppt den Verkehrsfluss und verursacht Chaos.
- Die Realität: Die KI neigte dazu, Regeln zu schreiben, die zu breit gefasst waren. Anstatt zu sagen: „Stoppen Sie den roten Lkw mit dem Kennzeichen ABC-123“, sagte die KI: „Stoppen Sie jedes Fahrzeug.“ Die Experten sagten, dass diese Regeln zu viele Fehlalarme (Rauschen) erzeugen würden, was die Suche nach echten Bedrohungen erschwert. Die KI hatte Schwierigkeiten, die genauen Details richtig zu erfassen, wie zum Beispiel die exakte Art des Verkehrs oder den präzisen Ort eines Hinweises.
4. Der Mensch ist immer noch der Chef
Die Forscher bauten ein System auf, in dem die KI als Helfer fungiert, nicht als Chef. Sie gaben den Experten ein Werkzeug an die Hand, um mit der KI zu chatten, ihre Arbeit zu prüfen und Fehler zu korrigieren.
- Das Ergebnis: Die Experten liebten das Werkzeug für das Entwerfen und Erklären von Dingen. Sie sagten, es sei einfach zu bedienen und helfe ihnen, komplexe Regeln schneller zu verstehen.
- Das Vertrauensproblem: Dennoch vertraute niemand der KI, um alleine zu arbeiten. Sie betrachteten die KI als „Entwurfsassistenten“ oder „Rechtschreibprüfung“, nicht als „Regel Schreiber“. Wenn die KI eine Regel schrieb, musste der Mensch sie von Grund auf neu schreiben oder stark korrigieren, bevor er sie in das reale System übernehmen würde.
- Das Urteil: Die Experten sagten: „Wir werden dies nutzen, um unsere Arbeit zu beschleunigen, aber wir werden niemals zulassen, dass die KI die endgültige Entscheidung allein trifft.“
5. Der „Kontext“-Hinweis
Die KI arbeitete besser, wenn ihr mehr Hintergrundinformationen gegeben wurden, wie zum Beispiel ein „Proof of Concept“ (eine Probe, wie ein Hacker angreift). Es ist, als würde man dem Rechtsreferenten ein Foto des Kriminellen geben anstatt nur einer Beschreibung. Die KI benötigte jedoch ein „großes Gehirn“ (ein großes Modell), um all diese zusätzlichen Informationen zu verarbeiten, ohne verwirrt zu werden.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass die KI zwar ein fantastischer Assistent für Sicherheitsexperten ist – großartig beim Überprüfen der Grammatik, beim Erklären komplexer Ideen und beim Entwerfen grober Ideen –, aber noch nicht bereit ist, der Architekt von Sicherheitsregeln zu sein.
Die Experten sehen eine Zukunft, in der die KI ihnen hilft, schneller zu arbeiten, bestehen aber darauf, den „Menschen in der Schleife“ (Human in the Loop) zu behalten. Sie wollen die Er, die die Arbeit doppelt prüfen, denn die Kosten eines Fehlers (einen Hacker hereinzulassen oder einen legitimen Nutzer zu stoppen) sind zu hoch, um einer Maschine allein zu vertrauen.
Kurz gesagt: Die KI ist ein brillanter Schreiber, der perfekte Sätze formuliert, aber sie braucht immer noch einen menschlichen Editor, um sicherzustellen, dass die Geschichte auch tatsächlich Sinn ergibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.