From IOCs to Regex: Automating CTI Operationalization for SOC with LLMs

Probleemstelling

Cyber Threat Intelligence (CTI) rapporten bevatten cruciale Indicators of Compromise (IOCs) die essentieel zijn voor beveiligingsoperaties. Om deze IOCs operationeel te maken in Security Operations Centers (SOC), moeten ze worden omgezet in reguliere expressies (regex). Regexen maken het mogelijk om attack traces nauwkeurig te matchen in heterogene logbestanden, wat nodig is voor digitale forensiek, log-parsing en het opstellen van SIEM-regels.

De huidige praktijk leunt echter zwaar op handmatig werk:

1. Analisten moeten IOCs uit CTI-rapporten extraheren.
2. Vervolgens moeten ze deze handmatig vertalen naar syntactisch geldige en semantisch precieze regexen.
3. Dit proces is traag, foutgevoelig en niet schaalbaar gezien de enorme toename van CTI-rapporten.

Bestaande automatiseringsoplossingen (vaak gebaseerd op Large Language Models of LLM's) focussen voornamelijk op het extraheren van de ruwe IOC-strings (bijv. bestandsnamen of paden). Ze lossen echter het kritieke probleem niet op: het vertalen van deze ruwe strings naar deployable regexen. Zonder deze stap kunnen IOCs niet effectief worden gebruikt om variaties in systeemcontexten, logformaten of aanvalsvarianten te detecteren.

Methodologie: IOCRegex-gen

De auteurs stellen IOCRegex-gen voor, een volledig geautomatiseerd LLM-systeem dat ruwe IOCs omzet in deployable regexen. Het systeem bestaat uit twee hoofdcomponenten die de drie grootste uitdagingen (C1, C2, C3) aanpakken:

1. Fase: Vinden van Capture Groups (C1)

Een van de grootste uitdagingen is bepalen welke delen van een IOC een "capture group" moeten zijn (constante, on veranderlijke onderdelen zoals systeempaden) en welke een "non-capture group" zijn (variabele onderdelen zoals bestandsnamen of parameters).

• Kennisverrijking: Het systeem gebruikt een grafdatabase (Neo4j) die is gevuld met native Windows-bestandspaden, registersleutels en commando-argumenten.
• Algoritmes:
  • Voor bestanden en registers: Het algoritme splitst de IOC en zoekt in de grafdatabase naar de langste opeenvolgende reeks van knopen die tot het native systeem behoren. Deze worden als capture groups gemarkeerd.
  • Voor commando-regels: Het algoritme identificeert het hoofdcommando en zijn parameters in de boomstructuur van de grafdatabase.
• Filtering: Strings zonder capture groups worden als "false positives" van de extractiefase verwijderd.

2. Fase: Regex Generatie met Iteratief Redeneren (C2 & C3)

Om hallucinaties, syntactische fouten en over-generalisatie (te brede regexen) te voorkomen, wordt een iteratief workflow gebruikt:

• Initial Generatie: De LLM genereert een eerste regex op basis van de IOC en de capture group-informatie.
• Debugging & Validatie: Een "regex debugger" test of de gegenereerde regex de originele IOC matcht. Als dit faalt, wordt de foutdetails teruggevoerd naar de LLM voor correctie.
• Non-Capture Group Validatie: Er wordt gecontroleerd of de regex geen onbedoelde capture groups bevat die de extractie van data verstoren.
• Over-Generalisatie Check: Het systeem genereert 10 willekeurige teststrings. Als de regex alle deze strings matcht, is deze te algemeen (bijv. .*). In dat geval wordt de cyclus herstart.
• Grading & Selectie: Het systeem genereert meerdere kandidaat-regexen per IOC. Een scorefunctie beloont het correct vastleggen van capture groups en straft het opnemen van non-capture groepen of overbodige wildcards. De hoogst scorende regex wordt geselecteerd.

Belangrijkste Bijdragen

1. IOCRegex-gen: Een nieuw systeem dat de ontbrekende schakel vormt tussen IOC-extractie en operationele detectie door IOCs automatisch om te zetten in regexen.
2. Geavanceerde Methodologie: Een unieke combinatie van een kennisverrijkte grafdatabase voor het identificeren van capture groups en een iteratief redeneringsworkflow voor syntactische en semantische validatie.
3. Uitgebreide Evaluatie: Een robuust experiment met meer dan 3.000 echte CTI-rapporten en 2.400 "ground truth" strings afkomstig van de MITRE ATT&CK Evaluation framework.

Resultaten

De experimentele validatie toont aan dat het systeem zeer effectief is:

• Hit Rate (Detectie): De gegenereerde regexen behalen een gemiddelde hit rate van 99,1% op de ground-truth datasets. In specifieke scenario's (zoals Enterprise2024 LockBit) wordt zelfs 100% bereikt.
• False Positive Rate: De gemiddelde false-positive rate is extreem laag, slechts 0,8%.
• Complexiteit: De gegenereerde regexen zijn structureel complex (gemiddelde score > 3), wat aangeeft dat ze meer zijn dan simpele string-matches en echte variaties kunnen hanteren.
• Ablatie Study: Het verwijderen van de capture-group-fase of de redenerings-fase leidt tot een drastische daling van de hit rate (>16% verlies) en een sterke stijging van false positives (>23% toename), wat bewijst dat beide componenten essentieel zijn.
• Modelonafhankelijkheid: Het systeem presteert consistent over verschillende LLM-modellen (GPT-4o, LLaMA3, DeepSeek-V3), met een hoge syntactische overeenkomst in de output.

Betekenis en Impact

Dit paper adresseert een kritieke kloof in de cybersecurity-operaties. Door de conversie van CTI naar regex te automatiseren, wordt de tijd tussen het ontdekken van een bedreiging en het implementeren van detectie aanzienlijk verkort.

• Schaalbaarheid: SOC-analisten hoeven geen uren meer te besteden aan het handmatig schrijven van regexen.
• Betrouwbaarheid: Het systeem reduceert menselijke fouten en zorgt voor consistentie in detectieregels.
• Praktische Toepasbaarheid: De lage false-positive rate en hoge hit rate maken het systeem direct inzetbaar in productiemilieu's voor SIEM-systemen en digitale forensiek.

Kortom, IOCRegex-gen transformeert CTI van een statisch document naar een dynamisch, operationeel instrument dat direct kan worden ingezet tegen moderne cyberaanvallen.