🤖 AI

GenTI: Benchmarking LLMs for Autonomous IDPS Rule Generation for Unseen Attacks

Dieses Paper stellt GenTI vor, einen neuartigen, LLM-gestützten Benchmark und ein Framework, das einen groß angelegten Datensatz annotierter Detektionsregeln nutzt, um die Generierung hochwertiger, kontextbewusster IDPS-Regeln zu automatisieren, wodurch die Erkennung unbekannter Angriffe signifikant verbessert und Fehlalarme reduziert werden.

Ursprüngliche Autoren: Hassan Jalil Hadi, Rehana Yasmin, Ali Shoker

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hassan Jalil Hadi, Rehana Yasmin, Ali Shoker

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Computernetzwerk wäre eine belebte Stadt und Intrusion Detection and Prevention Systems (IDPS) wären die Polizeibeamten, die die Straßen patrouillieren. Ihre Aufgabe ist es, die Bösewichte (Hacker) zu entdecken und sie aufzuhalten.

Traditionell arbeiten diese Polizeibeamten mit einem physischen „Fahndungsplakat“-Buch. Wenn ein Krimineller einem Foto im Buch entspricht (ein bekannter Angriff), stoppt der Beamte ihn. Aber wenn ein Krimineller mit einer neuen Maske oder einer neuen Verkleidung auftaucht (ein „Zero-Day“ oder ein ungesehener Angriff), erkennt der Beamte ihn nicht und lässt ihn vorbeiziehen.

Das Problem ist, dass das Schreiben neuer „Fahndungsplakate“ langsam ist. Es erfordert menschliche Experten, die sich hinsetzen, einen neuen Kriminellen studieren und manuell eine Beschreibung verfassen müssen. Bis sie fertig sind, könnte der Kriminelle bereits Schaden angerichtet haben.

Hier kommt GenTI: Der KI-Polizeifunk.

Dieses Paper stellt ein neues System namens GenTI (Generative Threat Intelligence) vor. Betrachten Sie es als einen superintelligenten KI-Dispatcher, der nicht nur das alte „Fahndungsbuch“ liest; er kann instantan neue, präzise „Fahndungsplakate“ für Kriminelle erstellen, die er noch nie zuvor gesehen hat, indem er lediglich eine Beschreibung ihres Verhaltens betrachtet.

So funktioniert es, unterteilt in einfache Schritte:

1. Die riesige Bibliothek (Der Datensatz)

Bevor die KI lernen kann, muss sie studieren. Die Forscher bauten eine massive Bibliothek namens GTI auf.

Die Sammlung: Sie sammelten über 200.000 echte „Fahndungsplakate“ (Regeln) aus bestehenden Polizeidatenbanken (Snort, Suricata, YARA).
Das Geheimrezept: Im Gegensatz zu alten Bibliotheken, die nur ein Foto enthielten, enthält diese Bibliothek auch detaillierten Kontext. Jedes Plakat ist mit einem „Kriminellenprofil“ (Cyber Threat Intelligence) verknüpft, das erklärt, wer der Bösewicht ist, welche Tricks er anwendet und wie er normalerweise operiert.
Die Analogie: Stellen Sie sich vor, jedes „Fahndungsplakat“ würde nicht nur sagen „Mann mit roter Mütze“, sondern auch: „Dieser Typ gehört zur ‚Red Hat Gang‘, benutzt ein spezielles Schloss knack-Werkzeug und schlägt meistens dienstags zu.“ Dieser zusätzliche Kontext hilft der KI, die Logik hinter der Regel zu verstehen, nicht nur den Text.

2. Die Ausbildungsschule (Die Methodik)

Die KI (ein Large Language Model) lernt diese Plakate nicht einfach nur auswendig; sie durchläuft eine strenge Ausbildungsschule mit vier Stufen:

Stufe 1 (Grammatik): Lernen, wie man ein perfektes „Fahndungsplakat“ schreibt, damit die Polizeibeamten (die IDPS-Software) es tatsächlich lesen können, ohne verwirrt zu werden.
Stufe 2 (Kontext): Lernen, das Plakat mit dem Profil des Kriminellen zu verknüpfen (z. B. „Diese Regel stoppt die Technik ‚Phishing‘“).
Stufe 3 (Selbstkorrektur): Die KI wird gelehrt, laut zu denken (Chain-of-Thought). Bevor sie ein Plakat finalisiert, fragt sie sich selbst: „Ergibt das Sinn? Habe ich ein Detail übersehen?“
Stufe 4 (Die Doppelprüfung): Eine spezielle „Verifizierungsschleife“ (Chain-of-Verification) fungiert wie ein strenger Aufseher. Sie überprüft das neue Plakat dreimal:
1. Ist die Grammatik korrekt?
2. Passt die Logik zum Profil des Kriminellen?
3. Entscheidend: Wird dieses Plakat versehentlich unschuldige Menschen verhaften (False Positives)?

3. Die Testfahrt (Die Ergebnisse)

Die Forscher testeten diese KI in einer realen Simulation. Sie gaben ihr Beschreibungen neuer, unbekannter Angriffe und baten sie, die Regeln zu schreiben.

Der alte Weg: Ohne dieses neue System konnte die KI nur etwa 45 % dieser neuen, ungesehenen Angriffe abfangen.
Der GenTI-Weg: Mit diesem speziellen Training und ihrer Bibliothek fing die KI 87,4 % der neuen Angriffe ab.
Weniger Fehler: Der alte Weg markierte oft Unschuldige als Kriminelle (8,5 % Fehlerrate). GenTI reduzierte dies auf nur 2,3 %, was bedeutet, dass die Polizei viel präziser arbeitet.
Gesamtbewertung: Das System erreichte eine nahezu perfekte Punktzahl von 89,4 % bei einem komplexen Qualitätstest und schlug damit selbst die berühmtesten KI-Modelle (wie GPT-4) bei dieser spezifischen Aufgabe.

Das Fazit

Das Paper behauptet, dass GenTI das erste System ist, das erfolgreich einer KI beigebracht hat, wie sie ihre eigenen Sicherheitsregeln für brandneue, ungesehene Bedrohungen schreibt, indem sie eine massive Bibliothek von Realdaten mit einem strengen „Denken, Verifizieren und Korrigieren“-Prozess kombiniert.

Anstatt darauf zu warten, dass ein menschlicher Experte manuell eine neue Regel für jedes neue Virus schreibt, fungiert dieses System wie eine sich selbst entwickelnde Polizeikraft, die in der Lage ist, die Werkzeuge zu generieren, die nötig sind, um neue Kriminelle in dem Moment zu stoppen, in dem sie auftauchen.

Technisches Resümee: GenTI – Benchmarking von LLMs für die autonome Generierung von IDPS-Regeln

1. Problemstellung

Regelbasierte Intrusion Detection and Prevention Systems (IDPS), wie Snort und Suricata, bleiben aufgrund ihrer Präzision und Interpretierbarkeit die dominierende Wahl in Produktionsumgebungen. Ihre Abhängigkeit von manuell erstellten, signaturbasierten Regeln begrenzt jedoch ihre Anpassungsfähigkeit an neu aufkommende und Zero-Day-Bedrohungen. Sicherheitsexperten müssen Schwachstellen manuell analysieren und Angriffsmuster dokumentieren, um Regeln zu erstellen – ein Prozess, der mit der Komplexität moderner Angriffe, die oft Obfuskation und nicht offengelegte Schwachstellen nutzen, nicht Schritt halten kann.

Darüber hinaus sind bestehende öffentliche Datensätze (z. B. CICIDS2017, UNSW-NB15) primlich für die Klassifizierung von Verkehrsflüssen oder Headern konzipiert. Ihnen fehlt die strukturierte Information auf Payload-Ebene, die Regel-Metadaten und die Cyber Threat Intelligence (CTI)-Zuordnungen, die erforderlich sind, um Large Language Models (LLMs) für die automatische Synthese von Regeln zu trainieren. Infolgedessen besteht eine kritische Lücke in den Bereichen:

Daten: Das Fehlen eines groß angelegten, öffentlich verfügbaren Benchmark-Datensatzes, der speziell auf die IDPS-Regelgenerierung zugeschnitten ist und Payload-Semantik sowie CTI-Kontext enthält.
Methodik: Bestehende Methoden zur automatischen Regelgenerierung erfassen oft keine Verhaltensweisen auf Payload-Ebene oder lassen systematische Mechanismen zur Verifizierung der syntaktischen und semantischen Korrektheit der generierten Regeln vermissen.
Evaluierung: Ein Mangel an systematischer Verifizierung darüber, ob automatisch generierte Regeln in realistischen Produktionsumgebungen mit akzeptablen Falsch-Positiv-Raten arbeiten können.

2. Methodik

Die Autoren schlagen GenTI (Generative Threat Intelligence) vor, ein Framework, das aus einem neuen Benchmark-Datensatz (GTI) und einer LLM-gesteuerten Pipeline zur Generierung, Verfeinerung und Verifizierung von IDPS-Regeln besteht.

A. Der GTI-Datensatz

Der GTI-Datensatz ist ein CTI-angereicherter Korpus, der über 200.000 Regeln aggregiert:

150.000+ IDPS-Regeln: Aggregiert aus Snort, Suricata und Emerging Threats.
50.000+ YARA-Regeln: Fokus auf Signaturen auf Payload-Ebene.

Hauptmerkmale von GTI:

Strukturierte Schema: Regeln werden in ein einheitliches Format normalisiert, das Header-Features (IP, Ports, Protokolle), Flow-Features und Payload-Features enthält.
CTI-Anreicherung: Jede Regel wird mit externen Intelligenzquellen verknüpft, einschließlich MITRE ATT&CK (Taktiken/Techniken), D3FEND (defensive Techniken), CVE/CWE, AlienVault OTX und MISP.
Rule-Context and Relationships Annotation (RCRA): Annotationen, die Regeln mit spezifischen Angriffskontexten, Malware-Familien und ausführbaren Reaktionstypen (Alert, Drop, Reject) verknüpfen.
Prompt Engineering: Der Datensatz enthält strukturierte Input-Prompts (Analysten-Stil Beschreibungen) und Ziel-Outputs (kanonische Regeln) sowie Chain-of-Thought (CoT) Rationales und Chain-of-Verification (CoVe) Annotationen.

B. Die GenTI-Framework-Pipeline

Das Framework operiert als End-to-End-Pipeline, die Analysten-Prompts und Angriffs-Payloads in verifizierte Regeln transformiert:

Vorverarbeitung & Prompt-Konstruktion: Analysten-Prompts und repräsentative bösartige Payloads werden geparst, um Features (z. B. HTTP-Header, C2-Marker) zu extrahieren. Diese werden in strukturierte Prompts ( $P_{struct}$ ) und natürliche Sprach-Prompts ( $P_{user}$ ) umgewandelt.
LLM-basierte Regel-Synthese: Ein LLM (speziell das feinabgestimmte DeepSeek-7B) generiert eine initiale Kandidatenregel ( $r_0$ ) und einen CoT-Trace ( $C_0$ ) basierend auf den Prompts und dem CTI-Kontext.
Threat Intelligence Mapping: Das System fragt den CTI-Store ab, um die generierte Regel spezifischen ATT&CK-Techniken, IoCs und Malware-Familien zuzuordnen.
Iterative Verfeinerungsschleife: Die Kandidatenregel wird gegen bösartigen und gutartigen Verkehr evaluiert. Ein Feedback-Mechanismus ( $F_{k+1}$ ) wird basierend auf Metriken (Erkennungsrate, False Positives, Syntax-Validität) generiert, um die Regel in nachfolgenden Iterationen zu verfeinern.
Chain-of-Verification (CoVe): Ein dreistufiger Verifizierungsprozess wird auf die beste Kandidatenregel angewendet:
- Syntaktische Prüfung: Stellt die Kompatibilität mit Snort/Suricata-Engines sicher.
- Logische Prüfung: Validiert die Konsistenz zwischen den Regelbedingungen und dem gemappten ATT&CK/CTI-Kontext.
- False-Positive-Analyse: Spielt gutartigen Verkehr erneut ab, um sicherzustellen, dass die Regel nicht übermäßig viele Alarme auslöst.
Curriculum Learning: Der Trainingsprozess nutzt ein mehrstufiges Curriculum, das mit einfachen Header-only-Regeln beginnt und progressiv komplexere Payload-Muster und dichte CTI-Mappings einführt, um das Training zu stabilisieren und die Generalisierung zu verbessern.

3. Hauptbeiträge

GTI Benchmark-Datensatz: Der erste groß angelegte, CTI-angereicherte Korpus, der speziell auf LLM-basierte NIDPS-Regelgenerierung zugeschnitten ist und 200k+ Regeln mit reichhaltigen Metadaten, CTI-Mappings und RCRA konsolidiert.
Payload-Ebene Regelgenerierung: Die Fähigkeit, YARA-Stil Payload-Signaturen in IDPS-kompatible Logik zu übersetzen, was die automatische Generierung sowohl von Detektions- als auch von Präventionsregeln (Drop/Reject) auf Payload-Ebene ermöglicht.
Vierstufige Trainings-Pipeline: Eine neuartige Methodik, die umfasst:
- Syntaktische Fundierung durch Lernen der Regelstruktur.
- Semantische Anreicherung durch CTI-augmentierte CoT-Argumentation.
- CoVe-gesteuerte Verifizierung zur Reduzierung von False Positives.
- Integration der vollen Komplexität mittels Transfer Learning.
Echtzeit-Evaluierung: Ein umfassendes Evaluierungsframework, das generierte Regeln auf Open-Source-Engines (Snort/Suricata) unter Verwendung von realistischem Verkehr testet und dabei Syntax-Genauigkeit, semantische Ähnlichkeit, CTI-Abdeckung und Sicherheitswirksamkeit misst.

4. Experimentelle Ergebnisse

Das GenTI-Modell (feinabgestimmtes DeepSeek-7B) wurde gegen starke Baselines, einschließlich GPT-4o, LLaMA-3-8B und Mistral-7B, auf einem Hold-out-Testset evaluiert.

Leistungsmetriken:

Composite Rule-Quality Score: GenTI erreichte 89,4 % und übertraf damit die Baselines (z. B. GPT-4o mit 80,4 %, LLaMA-3-8B mit 71,6 %) signifikant.
CTI-Abdeckung: Erreichte 94,8 %, was eine überlegene Ausrichtung auf Threat-Intelligence-Frameworks im Vergleich zu den Baselines (~75–83 %) zeigt.
Syntax-Genauigkeit: 89,5 % der generierten Regeln waren ohne manuelle Korrektur syntaktisch valide.
Semantische Ähnlichkeit: 87,2 % Übereinstimmung mit Experten-Analysten-Referenzregeln.

Erkennung unbekannter Angriffe:

Erkennungsrate: Die Fähigkeit, zuvor unbekannte Angriffe zu erkennen, verbesserte sich von 45 % (Baseline) auf 87,4 % (GenTI).
False-Positive-Rate: Reduziert von 8,5 % auf 2,3 %, was zeigt, dass die CoVe-Schleife die Entscheidungsgrenzen effektiv verfeinert, ohne die Präzision zu opfern.

Ablationsstudie:
Die Studie bestätigte, dass das QLoRA Fine-Tuning den größten Einzelleistungsschub lieferte. Curriculum Learning verbesserte zudem die semantische Ähnlichkeit und die Sicherheitswirksamkeit, während CoT/CoVe-Augmentierungen entscheidend für die Reduzierung verbleibender Fehler und die Verbesserung der Robustheit waren.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass GenTI den ersten groß angelegten Benchmark etabliert, der die regelbasierte Cyber Threat Intelligence (CTI) eng mit der LLM-basierten Automatisierung koppelt. Die primäre Bedeutung liegt in der Ermöglichung adaptiver, selbstentwickelnder IDPS-Systeme.

Im Gegensatz zu bisherigen Ansätzen, die lediglich bestehende Signaturen reproduzieren oder sich auf die Klassifizierung von Traffic konzentrieren, demonstriert GenTI, dass LLMs als CTI-bewusste Agenten fungieren können, um:

Neue, auf Threat Intelligence basierende Regeln für unbekannte Angriffe zu generieren.
Mit hoher syntaktischer Korrektheit und niedrigen False-Positive-Raten in produktionsähnlichen Umgebungen zu operieren.
Die Lücke zwischen rohem Netzwerkverkehr und ausführbarer, verifizierter Präventionslogik zu schließen.

Die Autoren kommen zu dem Schluss, dass ihre Arbeit das Feld über das einfache Kopieren von Signaturen hinausführt und einen praktikablen Weg zur Automatisierung der Wartung und Erweiterung von IDPS-Regelbasen gegenüber sich entwickelnden realen Bedrohungen bietet.