Technische Samenvatting: GenTI – Benchmarking van LLM's voor Autonome IDPS-regelgeneratie

1. Probleemstelling

Regelgebaseerde Intrusion Detection and Prevention Systems (IDPS), zoals Snort en Suricata, blijven de dominante keuze in productieomgevingen vanwege hun precisie en interpreteerbaarheid. Echter, hun afhankelijkheid van handmatig vervaardigde, signature-gestuurde regels beperkt hun aanpassingsvermogen aan opkomende en zero-day dreigingen. Beveiligingsexperts moeten kwetsbaarheden handmatig analyseren en aanvalspatronen documenteren om regels te creëren, een proces dat niet kan meekomen met de verfijning van moderne aanvallen, die vaak gebruikmaken van obfuscatie en niet-bekende kwetsbaarheden.

Bovendien zijn bestaande publieke datasets (bijv. CICIDS2017, UNSW-NB15) primair ontworpen voor verkeersclassificatie op flow- of headerniveau. Ze missen de gestructureerde, payload-niveau informatie, regel-metadata en Cyber Threat Intelligence (CTI) mapping die vereist zijn om Large Language Models (LLM's) te trainen voor automatische regel-synthese. Bijgevolg is er een kritiek gat in:

1. Data: De afwezigheid van een grootschalige, publiekelijk beschikbare benchmark-dataset die is afgestemd op IDPS-regelgeneratie en die payload-niveau semantiek en CTI-context bevat.
2. Methodologie: Bestaande methoden voor automatische regelgeneratie slagen er vaak niet in om gedrag op payload-niveau te vangen of missen systematische mechanismen om de syntactische en semantische correctheid van gegenereerde regels te verifiëren.
3. Evaluatie: Een gebrek aan systematische verificatie voor de vraag of automatisch gegenereerde regels kunnen opereren met acceptabele false-positive ratio's in realistische productieomgevingen.

2. Methodologie

De auteurs stellen GenTI (Generative Threat Intelligence) voor, een framework bestaande uit een nieuwe benchmark-dataset (GTI) en een LLM-gestuurde pipeline voor het genereren, verfijnen en verifiëren van IDPS-regels.

A. De GTI Dataset

De GTI-dataset is een CTI-verrijkte corpus die meer dan 200.000 regels aggregeert:

• 150.000+ IDPS Regels: Geaggregeerd uit Snort, Suricata en Emerging Threats.
• 50.000+ YARA Regels: Gericht op payload-niveau signatures.

Belangrijke kenmerken van GTI:

• Gestructureerd Schema: Regels zijn genormaliseerd naar een uniform formaat met header-features (IP, poorten, protocollen), flow-features en payload-features.
• CTI Verrijking: Elke regel is gemapt naar externe intelligentiebronnen, inclusief MITRE ATT&CK (tactieken/technieken), D3FEND (defensieve technieken), CVE/CWE, AlienVault OTX en MISP.
• Rule-Context and Relationships Annotation (RCRA): Annotaties die regels koppelen aan specifieke aanvalcontexten, malwarefamilies en actiegerichte respons-typen (alert, drop, reject).
• Prompt Engineering: De dataset bevat gestructureerde input-prompts (analist-stijl beschrijvingen) en doel-outputs (canonieke regels), samen met Chain-of-Thought (CoT) rationales en Chain-of-Verification (CoVe) annotaties.

B. Het GenTI Framework Pipeline

Het framework werkt als een end-to-end pipeline die analist-prompts en aanval-payloads transformeert naar geverifieerde regels:

1. Pre-processing & Prompt Constructie: Analist-prompts en representatieve kwaadaardige payloads worden geparsed om features te extraheren (bijv. HTTP-headers, C2-markers). Deze worden omgezet in gestructureerde prompts ($P_{struct}$) en natuurlijke taal-prompts ($P_{user}$).
2. LLM-gebaseerde Regel-synthese: Een LLM (specifiek de gefinetunede DeepSeek-7B) genereert een initiële kandidaat-regel ($r_0$) en een CoT-trace ($C_0$) op basis van de prompts en CTI-context.
3. Threat Intelligence Mapping: Het systeem bevraagt de CTI-store om de gegenereerde regel te mappen aan specifieke ATT&CK-technieken, IoCs en malwarefamilies.
4. Iteratieve Verfijningslus: De kandidaat-regel wordt geëvalueerd tegen kwaadaardig en onschadelijk (benign) verkeer. Een feedbackmechanisme ($F_{k+1}$) wordt gegenereerd op basis van metrieken (detectieratio, false positives, syntactische geldigheid) om de regel in opeenvolgende iteraties te verfijnen.
5. Chain-of-Verification (CoVe): Een driefasig verificatieproces wordt toegepast op de beste kandidaat:
   • Syntactische Check: Zorgt voor compatibiliteit met Snort/Suricata engines.
   • Logische Check: Valideert de consistentie tussen de regelcondities en de gemapte ATT&CK/CTI-context.
   • False-Positive Analyse: Speelt onschadelijk verkeer opnieuw af om te garanderen dat de regel niet excessieve alerts triggert.
6. Curriculum Learning: Het trainingsproces maakt gebruik van een multi-stage curriculum, beginnend met eenvoudige header-only regels en waarbij progressief complexe payload-patronen en dichte CTI-mappings worden geïntroduceerd om de training te stabiliseren en generalisatie te verbeteren.

3. Belangrijkste Bijdragen

1. GTI Benchmark Dataset: De eerste grootschalige, CTI-verrijkte corpus die specifiek is afgestemd op LLM-gebaseerde NIDPS-regelgeneratie, door het consolideren van 200k+ regels met rijke metadata, CTI-mappings en RCRA.
2. Payload-niveau Regelgeneratie: Het vermogen om YARA-stijl payload-signatures te vertalen naar IDPS-compatibele logica, wat automatische generatie van zowel detectie- als preventieregels (drop/reject) op payload-niveau mogelijk maakt.
3. Vierfasige Trainingspipeline: Een nieuwe methodologie bestaande uit:
   • Syntactische gronding via het leren van regelstructuren.
   • Semantische verrijking via CTI-geaugmenteerde CoT-redenering.
   • CoVe-gestuurde verificatie voor reductie van false-positives.
   • Integratie van volledige complexiteit via transfer learning.
4. Real-time Evaluatie: Een uitgebreid evaluatieframework dat gegenereerde regels test op open-source engines (Snort/Suricata) met realistisch verkeer, waarbij syntactische nauwkeurigheid, semantische gelijkenis, CTI-dekking en effectiviteit van de beveiliging worden gemeten.

4. Experimentele Resultaten

Het GenTI-model (gefinetuned DeepSeek-7B) werd geëvalueerd tegen sterke baselines, waaronder GPT-4o, LLaMA-3-8B en Mistral-7B, op een hold-out testset.

Prestatie-metrieken:

• Composite Rule-Quality Score: GenTI behaalde 89,4%, wat significant beter is dan de baselines (bijv. GPT-4o op 80,4%, LLaMA-3-8B op 71,6%).
• CTI Dekking: Behaalde 94,8%, wat wijst op een superieure afstemming met threat intelligence frameworks vergeleken met baselines (~75–83%).
• Syntactische Nauwkeurigheid: 89,5% van de gegenereerde regels waren syntactisch geldig zonder handmatige correctie.
• Semantische Gelijkenis: 87,2% match met de referentieregels van expert-analisten.

Detectie van Ongeziene Aanvallen:

• Detectieratio: Het vermogen om voorheen ongeziene aanvallen te detecteren verbeterde van 45% (baseline) naar 87,4% (GenTI).
• False Positive Ratio: Verminderd van 8,5% naar 2,3%, wat aantoont dat de CoVe-lus de beslissingsgrenzen effectief verfijnt zonder precisie op te offeren.

Ablatieonderzoek:
De studie bevestigde dat QLoRA fine-tuning de grootste enkele prestatiewinst leverde. Curriculum learning verbeterde verder de semantische gelijkenis en effectiviteit van de beveiliging, terwijl CoT/CoVe augmentaties cruciaal waren voor het verminderen van residuele fouten en het verbeteren van robuustheid.

5. Betekenis en Claims

Het artikel claimt dat GenTI de eerste grootschalige benchmark vestigt die regel-niveau Cyber Threat Intelligence (CTI) nauw koppelt aan LLM-gebaseerde automatisering. De primaire betekenis ligt in het mogelijk maken van adaptieve, zelf-evoluerende IDPS-systemen.

In tegen tegenstelling tot voorgaande benaderingen die louter bestaande signatures reproduceren of zich richten op verkeersclassificatie, demonstreert GenTI dat LLM's kunnen fungeren als CTI-bewuste agenten die:

• Nieuwe, op threat intelligence gebaseerde regels genereren voor ongeziene aanvallen.
• Opereren met een hoge syntactische correctheid en lage false-positive ratio's in productie-achtige omgevingen.
• De kloof overbruggen tussen ruw netwerkverkeer en actieerbare, geverifieerde preventielogica.

De auteurs concluderen dat hun werk het veld voorbij eenvoudige signature-kopieën tilt en een levensvatbaar pad biedt voor het automatiseren van het onderhoud en de expansie van IDPS-regelbases tegen evoluerende real-world dreigingen.