Towards Small Language Models for Security Query Generation in SOC Workflows

Probleemstelling

In Security Operations Centers (SOC's) moeten analisten dagelijks duizenden waarschuwingen verwerken en enorme hoeveelheden telemetrie-data analyseren. Hiervoor gebruiken ze vaak Kusto Query Language (KQL), een domeinspecifieke taal die geïntegreerd is in Microsoft Sentinel en Defender. Het schrijven van correcte KQL-query's vereist gespecialiseerde expertise, wat een knelpunt vormt bij het schalen van beveiligingsteams.

Hoewel Large Language Models (LLM's) zoals GPT-4 en GPT-5 potentie hebben voor het vertalen van natuurlijke taal naar KQL (NL2KQL), zijn ze vaak te duur, te traag (hoge latentie) en moeilijk te implementeren binnen strikte enterprise-data-governance. Small Language Models (SLM's) (definities: ≤10 miljard parameters, draaiend op consumentenhardware) bieden lagere kosten en latentie, maar presteren in "zero-shot" scenario's vaak slecht op semantische nauwkeurigheid en schema-herkenning, wat leidt tot hallucinaties van tabellen en kolommen.

Het paper onderzoekt of SLM's, in combinatie met specifieke technieken, een kosteneffectief en accuraat alternatief kunnen zijn voor LLM's in SOC-workflows.

Methodologie

De auteurs stellen een raamwerk voor met drie orthogonale "knoppen" om de prestaties van SLM's te verbeteren: Prompting, Fine-tuning, en Architectuurontwerp.

1. Prompting-verbeteringen:

   • Error-aware Prompting: In plaats van volledige syntaxisregels te geven, worden SLM's getraind op veelvoorkomende parser-fouten (bijv. ontbrekende haakjes of onvolledige fragmenten). Dit verbetert de syntaxis zonder de token-aanwinst te verhogen.
   • Aanpassing van NL2KQL: Het bestaande NL2KQL-framework (dat schema-context en few-shot voorbeelden gebruikt) wordt aangepast voor SLM's door zware componenten te vervangen door lichtgewicht alternatieven (bijv. het gebruik van Google's text-embedding-004 in plaats van duurder Ada-002).

2. LoRA Fine-tuning met Rationale Distillatie:

   • Er wordt gebruikgemaakt van LoRA (Low-Rank Adaptation) om de DeepSeek Coder 6.7B Instruct te fine-tunen.
   • Rationale Distillatie: Een "leraar"-LLM (Gemini 2.0 Flash) genereert niet alleen de KQL-query, maar ook een korte Chain-of-Thought (CoT) uitleg over het redeneringsproces. Deze uitleg wordt toegevoegd aan de trainingsdata. Hierdoor leert de SLM de reden achter de query, niet alleen het eindresultaat, wat de semantische nauwkeurigheid verbetert zonder de modelgrootte te vergroten.

3. Twee-staps Architectuur (SLM-Oracle):

   • Fase 1 (Generatie): Een SLM (DeepSeek Coder 6.7B) genereert snel kandidaat-query's op basis van de NL-vraag en schema-context.
   • Fase 2 (Verfijning): Een goedkope "Oracle" LLM (Gemini 2.0 Flash) fungeert als rechter. Deze selecteert de beste kandidaat, valideert deze op syntaxis en semantiek, en past de query aan op basis van schema-informatie. Dit combineert de snelheid/kosten van de SLM met de nauwkeurigheid van de LLM.

Belangrijkste Bijdragen

• Eerste systematische evaluatie: Dit is het eerste onderzoek dat SLM's systematisch evalueert voor NL2KQL-translatie in realistische, schema-rijke omgevingen.
• Aangepast Framework: Het aanpassen van het state-of-the-art NL2KQL-framework voor SLM's, inclusief de introductie van "error-aware prompting" en rationale distillatie.
• Nieuwe Architectuur: De ontwikkeling van de SLM-Oracle twee-staps architectuur, die de sterktes van beide modeltypen combineert voor een schaalbare oplossing.
• Uitgebreide Benchmark: Een evaluatie van 9 modellen (5 SLM's en 4 LLM's) op syntaxis, semantiek, tabelselectie, filternauwkeurigheid, latentie en kosten.

Resultaten

De experimenten zijn uitgevoerd op Microsoft's NL2KQL Defender Evaluation Dataset (230 query's) en een generalisatietest op Microsoft Sentinel data (83 query's).

• Zero-Shot Prestaties: Zonder aanpassingen presteren SLM's slecht (semantische scores dicht bij 0) en hallucineren ze vaak tabellen/kolommen. LLM's doen het beter, maar zijn duur.
• Verbetering door Prompting & Fine-tuning: Error-aware prompting en LoRA met rationale distillatie verbeteren de SLM-prestaties aanzienlijk, maar bereiken nog niet de top van LLM's.
• Twee-staps Architectuur (De Beste Oplossing):
  • Op de Defender-dataset bereikte de architectuur een syntaxis-score van 0,987 en een semantische-score van 0,906.
  • Op de Sentinel-dataset (generalisatie) werden 0,964 syntaxis en 0,831 semantiek behaald.
  • Kosten: Deze prestaties worden bereikt tegen tot 10x lagere token-kosten vergeleken met GPT-5.
  • Latentie: De SLM-generatie is snel, en de Oracle-verfijning voegt slechts een beheersbare overhead toe, wat resulteert in een totale latentie die acceptabel is voor SOC-workflows.

Betekenis en Conclusie

Het paper toont aan dat SLM's, wanneer ze worden ondersteund door een slimme architectuur (SLM voor generatie + LLM voor validatie) en geavanceerde trainingsmethoden (rationale distillatie), een praktisch en schaalbaar alternatief zijn voor dure LLM's in beveiligingsoperaties.

De bevindingen hebben grote implicaties voor SOC's:

1. Kostenefficiëntie: Organisaties kunnen complexe query-generatie uitvoeren met een fractie van de kosten van traditionele LLM-oplossingen.
2. Privacy & Governance: SLM's kunnen lokaal of in privé-clouds draaien, wat data-governance-problemen oplost.
3. Scalability: De twee-staps aanpak maakt het mogelijk om grote hoeveelheden alerts te verwerken zonder de kwaliteit van de analyse te verliezen.

De auteurs concluderen dat deze aanpak de weg vrijmaakt voor geautomatiseerde, natuurlijke taal-query's in de beveiligingssector, waarbij de afhankelijkheid van dure, trage LLM's wordt verminderd zonder in te leveren op nauwkeurigheid.