Technische Samenvatting: Evaluatie van door LLM gegenereerde detectieregels in cybersecurity

Probleemstelling

De integratie van Large Language Models (LLM's) en AI-agenten in cybersecurity-operaties staat voor een aanzienlijk vertrouwensdeficit. Terwijl leveranciers agenten promoten als revolutionair voor detectie, blijven ervaren engineers sceptisch, uit angst voor de generatie van "plausibel klinkende onzin". Er bestaat een kritische kloof door het gebrek aan gestandaardiseerde, open-source metrieken om de effectiviteit van door LLM gegenereerde beveiligingsregels te evalueren. Zonder rigoureuze meting kunnen organisaties niet verifiëren of een agent de taak van een menselijke detectie-engineer kan uitvoeren, noch kunnen zij het nodige vertrouwen opbouwen om deze tools in te zetten zonder tijd en energie te verspillen. Bovendien sluiten bestaande evaluatiemethoden voor codegeneratie (bijv. functionele correctheid via unit tests) en intrusiedetectie (bijv. precisie/recall) niet volledig aan op de unieke uitdagingen van beveiligingsregelgeneratie, zoals adversariële robuustheid, operationele ruis en de economische kosten van iteratieve generatie.

Methodologie

De auteurs presenteren een open-source evaluatieframework en benchmark die ontworpen is om de kwaliteit van door LLM gegenereerde cybersecurity-regels te meten tegenover een door mensen gegenereerde baseline. De methodologie hanteert een "holdout set"-benadering, waarbij een autonome agent wordt vergeleken met menselijke experts.

De Agent: ADÉ

Het framework wordt geïllustreerd door ADÉ (Automated Detection Engineer), een agentic systeem ontwikkeld door Sublime Security. ADÉ werkt binnen een model-agnostische architectuur en maakt gebruik van een gecureerde kennisbank van best practices voor detection engineering, TTP's en MQL-documentatie, naast tools voor dynamische bestandsanalyse, computer vision en afzenderreputatie.

• Workflow: ADÉ ontvangt een enkel kwaadaardig e-mailmonster, analyseert het, zoekt naar hiaten in de dekking van bestaande regels en genereert kandidaat MQL-detectieregels.
• Iteratieve Verfijning: In tegen tegenstelling tot traditionele agents die moeite hebben met long-context drift, gebruikt ADÉ een gesloten feedbackloop. Het valideert syntaxis, voert regels uit tegen het monster en initieert threat hunts op historische data. Subagents analyseren deze resultaten (True Positives, False Positives en robuustheid) om feedback te geven, waardoor ADÉ de logica iteratief kan verfijnen tot convergentie optreedt.

Evaluatiemetrieken

Het framework evalueert regels over drie afzonderlijke dimensies:

1. Detectie-accuratesse:

   • Maakt gebruik van een gelabelde dataset van ~45.000 e-mails (kwaadaardig en onschuldig).
   • Berekent een samengestelde Score (Vergelijking 1) die de standaard precisie middelt met de precisie van Unieke True Positives (TP's die niet door enige andere regel in de core feed worden gedetecteerd).
   • Rationale: In security zijn unieke detecties zeer waardevol omdat ze de algemene systeem-recall vergroten. Het framework erkent de moeilijkheid van het meten van False Negatives (de "onbekende onbekenden") en focust op precisie-gebaseerde metrieken.

2. Economische Kosten van Syntactische Correctheid:

   • Past het "cost-to-pass" framework (Erol et al., 2025) aan om de economische impact van het genereren van geldige regels te meten.
   • Berekent Totale Kosten = (Kosten per poging) × (Aantal pogingen, $k$).
   • Gebruikt een pass@k metriek om te bepalen hoeveel pogingen nodig zijn om een syntactisch correcte MQL-regel te genereren die aan de validatie voldoet.

3. Robuustheid (Brittleness):

   • Ontwikkelt een heuristische Brittleness Score ($B \in [0, 100]$) gebaseerd op de ratio van beloningen (robuuste patronen zoals gedragsindicatoren, fuzzy matching) tot straffen (breekbare patronen zoals directe string-matches op IP's, domeinen of hashes).
   • Rationale: Directe matches zijn gemakkelijk te omzeilen door triviale adversariële evasie, terwijl gedragsindicatoren generaliseerbare oplossingen bieden. De uiteindelijke Robustness Score is $1 - (B/100)$.

Belangrijkste Bijdragen

Het artikel introduceert een nieuw benchmark-framework dat specifiek gericht is op autonome detectieregelgeneratie:

• Operationele Leefbaarheidspipeline: Een end-to-end evaluatie die functionele correctheid combineert met real-world retro-hunting om ruisdrempels, onderhoudbaarheid en prestatie-guardrails bloot te leggen.
• Ingebouwde Adversariële Robuustheid: Een specifieke metriek om de breekbaarheid van regels te meten en feedback te geven, met als doel triviale adversariële bypasses te verminderen.
• Open-Source Framework: De auteurs zijn van plan de modulaire pipeline vrij te geven om reproduceerbaar onderzoek en gestandaardiseerde evaluatie voor andere security rule generation agents (bijv. YARA, custom DSL's) mogelijk te maken.

Resultaten

De studie vergeleken ADÉ-gegenereerde regels met uit de holdout set gehaalde, door mensen geschreven regels uit de Sublime Core Feed over 11 verschillende aanvalsscenario's (bijv. BEC, HTML smuggling, phishing).

• Scope vs. Precisie: De regels van ADÉ waren aanzienlijk nauwer in scope en detecteerden minder totale berichten en minder bekende True Positives vergeleken met menselijke regels. Dit wordt toegeschreven aan het feit dat ADÉ beperkt is tot het werken vanuit een enkel e-mailmonster, terwijl mensen regels ontwerpen op basis van brede gedragspatronen over grote datasets.
• False Positives: ADÉ genereerde regels met aanzienlijk minder False Positives (vaak nul in de testset), wat de nauwere kijk op het dreigingsuniversum weerspiegelt.
• Prestatiescores:
  • Menselijke regels behaalden scores variërend van 0,711 tot 0,996.
  • ADÉ-regels behaalden scores variërend van 0,557 tot 1,000.
  • In verschillende gevallen (bijv. "EML w/ Javascript in SVG File") behaalde ADÉ een hogere score (0,998) dan de menselijke baseline (0,996), gedreven door hoge precisie en unieke TP's.
• Robuustheid: ADÉ en menselijke regels bleken "vrij vergelijkbaar" te zijn qua breekbaarheid. De basis-LLM slaagde erin om beschikbare tools te combineren om queries te produceren met een vergelijkbare veerkracht tegen adversariële evasie als menselijke experts.
• Kostenefficiëntie: De pass@k metriek correleerde nauw met de werkelijke dollarkosten van het draaien van de LLM. ADÉ had doorgaans 1–3 pogingen nodig om syntactisch geldige regels te genereren, met kosten variërend van ongeveer ~$1,50 tot $5,13 per regel.
• Kwalitatieve Verschillen: ADÉ had de neiging om regels te genereren met uitgebreidere, behulpzame commentaren dan menselijke auteurs, hoewel de menselijke regels een bredere dekking in hun logica hadden.

Betekenis en Claims

Het artikel beweert dat deze methodologie een realistische, veelzijdige evaluatie biedt van LLM-gebaseerde security rule generators. Door verder te gaan dan eenvoudige functionele correctheid en ook economische kosten en adversariële robuustheid op te nemen, biedt het framework een holistischer beeld van de operationele leefbaarheid van een agent.

De auteurs concluderen bescheiden dat hoewel ADÉ momenteel regels produceert die qua recall nauwer zijn dan die van menselijke experts (door de beperking van de single-sample input), het in staat is om hoogwaardige, robuuste en economisch efficiënte regels te genereren. Het framework dient als een fundament voor iteratieve verbetering, waarbij wordt gesuggereerd dat toekomstig werk deze metrieken kan gebruiken om de scope van ADÉ te verbreden zodat deze de menselijke recall kan evenaren met behoud van precisie en robuustheid. Het artikel claimt niet dat ADÉ de menselijke engineers volledig heeft vervangen, maar stelt dat het een levensvatbaar, meetbaar onderdeel is van de detectiewerkstroom dat systematisch kan worden verbeterd.