DMFI: A Dual-Modality Log Analysis Framework for Insider Threat Detection with LoRA-Tuned Language Models

Probleemstelling

Het detecteren van bedreigingen van binnenuit (Insider Threats) blijft een van de meest uitdagende taken in de cybersecurity. In tegenstelling tot externe aanvallers, beschikken insiders over geautoriseerde credentials en operationele kennis, waardoor ze zich binnen acceptabele gedragsgrenzen kunnen bewegen en traditionele beveiligingsmechanismen kunnen ontduiken.

Bestaande methoden hebben de volgende beperkingen:

• Traditionele modellen (regelgebaseerd, statistisch, diep leren) worstelen vaak met het begrijpen van semantische intentie en complexe, contextafhankelijke gedragsdynamiek. Ze behandelen gedrag vaak als numerieke features en negeren de rijkdom van natuurlijke taal in logs (zoals e-mails).
• LLM-gebaseerde oplossingen vallen vaak in twee categorieën met elk hun eigen tekortkomingen:
  • Prompt-based methoden zijn flexibel maar gevoelig voor prompt-ontwerp en missen vaak dynamisch gedragsbewustzijn.
  • Fine-tuning methoden bieden betere prestaties maar behandelen vaak alleen semantische inhoud of gedragssequenties, zonder deze te integreren. Ze negeren vaak de semantische rijkdom van communicatie-logs.
• Er is een fundamentele kloof in het gezamenlijk modelleren van semantische signalen (inhoud) en temporale gedragsstructuren, vooral onder omstandigheden van ernstige klasse-ongelijkheid (veel normale, weinig kwaadaardige sessies).

Methodologie: Het DMFI Framework

De auteurs stellen DMFI (Dual-Modality Fine-tuned Inference) voor, een unificerend framework dat semantische redenering en gedragsabstractie combineert via instruction-tuned Large Language Models (LLMs). Het framework bestaat uit drie hoofdstadia:

1. Preprocessing: Dual-Modality Views

Rauwe audit-logs worden omgezet in twee complementaire weergaven:

• Semantische Weergave: Extrahering van inhoudsrijke artefacten (bijv. e-mailtekst, URL's) uit de logs. Deze worden omgezet in instructie-gebaseerde prompts voor content-analyse.
• Gedragsweergave (4W-Guided Abstraction): Een innovatieve methode om ruwe actie-sequenties te comprimeren tot beknopte, interpreteerbare zinnen. Deze abstractie volgt het "When-Where-What-Which" (Wanneer-Waar-Wat-Welk) schema:
  • When: Tijdstip (bijv. buiten kantoortijden).
  • Where: Apparaat of platform.
  • What: Actietype (bijv. inloggen, bestand openen).
  • Which: Het betrokken object (bijv. bestand, URL).
    Dit reduceert token-lengte aanzienlijk (bijv. van 49 naar 31 tokens) terwijl cruciale gedragspatronen behouden blijven.

2. Fine-tuning met LoRA

Twee onafhankelijke LLM-branches worden gefinetuned met LoRA (Low-Rank Adaptation) om parameter-efficiëntie te garanderen. De auteurs onderzoeken twee strategieën:

• DMFI-A (Unificatie): Een enkel model wordt gefinetuned op een mix van normale en abnormale data.
• DMFI-B (Discriminatieve Dual-Branch): Een strategie die specifiek is ontworpen voor klasse-ongelijkheid. Er worden twee aparte modellen gefinetuned: één uitsluitend op normale data ($M_{norm}$) en één uitsluitend op abnormale data ($M_{abn}$). De uiteindelijke anomalie-score wordt berekend als de margin tussen de output van deze twee modellen:
  $$\alpha = \sigma (M_{abn}(x) - M_{norm}(x))$$
  Dit verhoogt de gevoeligheid voor zeldzame bedreigingen.

3. Inference en Beslissingsintegratie

• Semantische scoring: Scores van individuele content-items worden geaggregeerd via statistieken (gemiddelde, maximum, standaardafwijking, minimum) om een vast formaat vector te creëren.
• Gedrags scoring: De geabstraheerde gedragssequentie krijgt een risicoscore.
• Fusie: De semantische vector en de gedrags-score worden samengevoegd in een lichtgewicht MLP (Multi-Layer Perceptron) die een gecalibreerde eindkans op anomalie levert.

Kernbijdragen

1. DMFI Framework: Een unificerend dual-modality framework dat prompt-gedreven semantische analyse combineert met fijngefineerde gedragsprofilering.
2. 4W-Guided Abstraction: Een nieuwe methode om heterogene gedragsdata om te zetten in natuurlijke taal, wat temporale redenering verbetert en redundantie reduceert.
3. Discriminatieve Fine-tuning (DMFI-B): Een strategie die normale en abnormale representaties scheidt, waardoor de scheiding tussen klassen verbetert en de robuustheid tegen klasse-ongelijkheid toeneemt.
4. Multi-Statistische Fusie: Een mechanisme om variabele lengte semantische scores om te zetten in een robuuste, distributie-bewuste vector voor de uiteindelijke beslissing.

Resultaten

Het framework is geëvalueerd op de CERT r4.2 en r5.2 datasets (standaard benchmarks voor insider threat detection).

• Prestaties: DMFI-B presteerde consistent beter dan state-of-the-art methoden, inclusief traditionele ML-modellen (SVM, XGBoost), Deep Learning-modellen (LSTM, Transformer) en andere LLM-baselines (LogGPT, Audit-LLM).
  • Op CERT r4.2 bereikte DMFI-B een Precision van 0.953, een Detection Rate van 0.929 en een False Positive Rate (FPR) van slechts 0.009.
  • Op CERT r5.2 behaalde het een Precision van 0.945 en FPR van 0.011.
• Vergelijking: DMFI-B verlaagde de FPR met meer dan 40% ten opzichte van de tweede beste methode (Audit-LLM) terwijl de recall werd verbeterd.
• Ablatie Studies:
  • Het combineren van zowel semantische als gedragsweergaven was essentieel; het verwijderen van één van beide resulteerde in een daling van 2-4% in nauwkeurigheid.
  • De dual-branch strategie (DMFI-B) overtrof de unified strategie (DMFI-A) aanzienlijk, vooral in het minimaliseren van valse positieven.
  • De gebruikte 4W-compressie verlaagde de token-lengte met ~37% zonder in te leveren op detectieprestaties, wat de efficiëntie ten goede komt.

Betekenis en Conclusie

DMFI biedt een schaalbare en effectieve oplossing voor real-world insider threat detection door de kracht van semantische redenering van LLMs te combineren met gestructureerde gedragsmodellering.

• Interpreteerbaarheid: Door logs om te zetten in natuurlijke taal en scores te koppelen aan specifieke acties, biedt het framework inzichtelijke verklaringen voor detecties, wat essentieel is voor beveiligingsanalisten.
• Efficiëntie: Door gebruik te maken van LoRA en gedragscompressie, is het framework haalbaar voor implementatie in omgevingen met beperkte resources.
• Robuustheid: De discriminatieve aanpak (DMFI-B) lost het kritieke probleem van klasse-ongelijkheid op, wat vaak de zwakke plek is van bestaande detectiesystemen.

De auteurs concluderen dat DMFI een belangrijke stap voorwaarts is in het overbruggen van de kloof tussen semantische context en gedragspatronen, en plannen voor toekomstig werk om het uit te breiden naar cloud-logs, IoT-gegevens en privacy-bewuste training (federated learning).