Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?

Technische Samenvatting: Voorbij de Syntaxis: Vertrouwen Experts in Beveiliging op LLM's voor NIDS-regelengineering?

Probleemstelling
Naarmate netwerkdreigingen met toenemende snelheid en complexiteit evolueren (bijv. polymorfe malware, zero-day exploits), is handmatige NIDS-regelengineering (Network Intrusion Detection System) een kritieke operationele bottleneck geworden. Hoewel open-source oplossingen zoals Snort en Suricata vertrouwen op signature-gebaseerde detectie, is de effectiviteit van deze systemen afhankelijk van de kwaliteit en tijdigheid van hun regelsets. Het handmatig creëren en onderhouden van deze regelsets is arbeidsintensief, niet schaalbaar en gevoelig voor "SOC-moeheid" door hoge percentages fout-positieven en de syntactische complexiteit van regel-talen. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken voor het automatiseren van regelgeneratie, blijft hun praktische bruikbaarheid ongetoetst. Specifiek is er een gebrek aan empirisch bewijs over de vraag of beveiligingsexperts vertrouwen op door LLM gegenereerde regels, hoe zij met dergelijke outputs omgaan, en of syntactisch correcte regels semantisch inzetbaar zijn in real-world scenario's.

Methodologie
De auteurs hanteren een mensgerichte methodologie in vier fasen om de levensvatbaarheid van LLM-gebaseerde NIDS-regelengineering te onderzoeken:

1. Systeemformalisering: De auteurs voerden een literatuurstudie uit naar 11 primaire werken en een pre-studie met drie domeinexperts om een gefundeerd generatiekader te formaliseren. Het resulterende systeem (Figuur 1) bestaat uit een "Rule Engineering Agent" en een "Human Loop".

   • Inputs: De agent verwerkt netwerkinventarisatiegegevens, kwetsbaarheidsinventarissen (CVE's, CPE's) en Proof-of-Concept (PoC) exploits.
   • Verwerking: Het maakt gebruik van een LLM-engine (lokaal gehost via Ollama om privacy en reproduceerbaarheid te waarborgen) met role-based en few-shot prompting.
   • Validatie: Een meerfasige pipeline omvat een syntaxischecker (native compiler validatie) en een geautomatiseerde syntaxiscorrector die gebruikmaakt van adaptieve prompting om fouten te herstellen.
   • Human-in-the-Loop: Experts kunnen interageren met de LLM via adaptieve prompting om regels iteratief te verfijnen.

2. User Study Design: De studie omvatte 137 gerekruteerde deelnemers, met een uiteindelijke analyse-subset van 10 zeer ervaren beveiligingsexperts (SOC-analisten, onderzoekers en engineers). De studie was gestructureerd in drie fasen: ethiek/demografie, regel-evaluatie (beoordeling van kwaliteit en cognitieve belasting) en interactieve systeem-evaluatie.

   • Scenario's: Deelnemers evalueerden regels gegenereerd over zes netwerkscenario's (twee synthetisch, vier gebaseerd op de CIC-IDS 2017 dataset) met variërende topologische complexiteit en kwetsbaarheidsdichtheden.
   • Taken: Experts voerden blinde evaluaties uit van de correctheid van regels, beoordeelden de bruikbaarheid van door de LLM gegenereerde verklaringen en interageerden met het systeem om regels te wijzigen.

3. Statistische Analyse: De auteurs genereerden regels met behulp van 27 verschillende LLM-engines over de scenario's heen. Zij analyseerden de syntactische geldigheid, de noodzaak van correctielussen en de semantische inhoud van de regels (veldverdeling, specificiteit).

4. Mensgerichte Evaluatie: De best presterende engine (DeepSeek-R1 70B) werd geselecteerd voor de gebruikersstudie. Experts beoordeelden de inzetbaarheid van regels, vertrouwensniveaus en de bruikbaarheid van het systeem met behulp van de System Usability Scale (SUS) en aangepaste vragenlijsten.

Belangrijkste Bijdragen

• Formalisering van een Gefundeerd Kader: Het artikel formaliseert een state-of-the-art LLM-gebaseerd regelengineering-systeem dat kwetsbaarheidsgegevens, PoC's en een human-in-the-loop verificatiemechanisme integreert, waarmee hiaten in de bestaande literatuur wordt opgevuld waar menselijke feedback vaak ontbreend is.
• Empirische Karakterisering van Expertvertrouwen: Het levert de eerste empirische data over het vertrouwen van beveiligingsprofessionals in door LLM gegenereerde NIDS-regels, waarbij een kritieke discrepantie tussen syntactische geldigheid en semantische inzetbaarheid wordt blootgelegd.
• Inzichten in Interactiepatronen: De studie identificeert specifieke interactiepatronen, cognitieve belastingfactoren en bruikbaarheidsbarrières wanneer experts LLM-assistentie gebruiken voor regelengineering.

Resultaten
De evaluatie onthult een "syntaxis-semantiek paradox":

• Syntaxis vs. Semantiek: Hoewel grote modellen (≥70B parameters) een hoge syntactische bekwaamheid vertonen (tot 87-90% geldige regels), zijn kleine modellen (≤4B) grotendeels ineffectief. Zelfs de beste modellen vereisen echter syntaxiscontrole en correctiemodules; slechts ~21% van de regels van het beste model was geldig bij de eerste poging.
• Semantische Inzetbaarheid: Ondanks het hoge syntactische succes, vonden experts slechts 37,5% van de gegenereerde regels semantisch correct en inzetbaar. De primaire redenen voor afwijzing waren lage specificiteit (overmatige afhankelijkheid van generieke variabelen zoals ANY), zware afhankelijkheid van pure content-matching (gebrek aan velden zoals OFFSET, DEPTH of protocol-specifieke velden), en logische hallucinaties (bijv. incorrecte poort/protocol associaties).
• Modelprestaties: DeepSeek-R1 70B en Llama-3.1/3.3 70B bleken de superieure engines. De inclusie van PoC-data verbeterde de syntactische nauwkeurigheid, maar alleen voor modellen die in staat zijn tot het verwerken van grote contextvensters.
• Expertvertrouwen en Bruikbaarheid:
  • Het systeem ontving een gunstige SUS-score van 67, wat aangeeft dat het als bruikbaar en leerbaar wordt beschouwd.
  • Experts blijven echter sceptisch over autonome capaciteiten. Zij zien LLM's als ondersteuningstools voor het opstellen, controleren van de syntaxis en het geven van uitleg, in plaats van als onafhankelijke generatoren.
  • Adoptie: Meer dan 70% van de experts weigerde de regels "as is" te implementeren, waarbij zij verwezen naar de noodzaak van substantiële menselijke verfijning (gemiddelde inspanningsscore: 4,25/5).
  • Cognitieve Belasting: Hoewel experts gemakkelijk gebreken konden identificeren in eenvoudige scenario's, nam hun vertrouwen en vermogen om regels te valideren af naarmate de netwerkcomplexiteit toenam, hoewel zeer ervaren experts (3+ jaar) een hogere nauwkeurigheid behielden bij het identificeren van problemen in complexe contexten.

Significantie en Claims
Het artikel claimt een fundamentele beoordeling te bieden van LLM's in het domein van regelengineering. De primaire significantie ligt in het afgrenzen van de beperkingen van huidige LLM's: hoewel ze syntactisch correcte code kunnen produceren, missen ze momenteel de diepe redeneerkracht die vereist is voor de semantische precisie en contextbewustzijn die nodig zijn voor productie-klare NIDS-regels.

De auteurs concluderen dat de weg vooruit niet volledig autonome generatie is, maar human-in-the-loop architecturen. Deze systemen moeten prioriteit geven aan de agency van de analist, waarbij LLM's worden gebruikt om te assisteren bij het opstellen, verifiëren en verklaren, terwijl zij vertrouwen op menselijke experts voor de uiteindelijke validatie en besluitvorming om de risico's van fout-positieven en hallucinaties te beperken. Dit werk dient als een roadmap voor het ontwikkelen van robuustere, betrouwbaardere en mens-gealigneerde regelengineering-workflows.