OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection

Probleemstelling

De huidige staat van de kunst voor het detecteren van interne bedreigingen (insider threats) wordt gehinderd door een fundamenteel consistentieprobleem in synthetische benchmarks:

1. Gebrek aan waarheid: Bestaande datasets, zoals de canonieke CERT-dataset, zijn gegenereerd zonder externe feitelijke beperkingen. Dit leidt tot cross-artifact tegenstrijdigheden (bijv. een Slack-bericht over een incident om 03:00 uur en een JIRA-ticket over hetzelfde incident om 09:00 uur), wat de betrouwbaarheid van evaluaties ondermijnt.
2. Verouderde data: De CERT-dataset is statisch, mist cross-surface correlaties (zoals identiteitsprovider-logboeken of host-staging events) en bevat geen moderne artifacten (Slack, JIRA, Pull Requests) die in het LLM-tijdperk relevant zijn.
3. Hallucinaties: Puur door LLM's gegenereerde datasets erven het hallucinatieprobleem op corpusniveau, waardoor ze niet als grondige "ground truth" kunnen dienen.
4. Evaluatiekloof: Bestaande benchmarks testen vaak alleen detectie op één dag of één oppervlak, terwijl echte interne dreigingen zich over meerdere dagen en verschillende datastromen uitstrekken.

Methodologie: OrgForge-IT

Het paper introduceert OrgForge-IT, een verifieerbaar synthetisch benchmark dat een nieuwe architecturale benadering hanteert: de fysica-kennisgrens (physics-cognition boundary).

• Deterministische Simulatie-engine: Een deterministische Python-engine beheert alle feitelijke staat (SimEvent ground truth bus), inclusief systeemgezondheid, teammorale en gedragslogica. Deze engine genereert de feitelijke gebeurtenissen en schrijft de ground truth naar een apart bestand (ground_truth.jsonl).
• LLM als Renderlaag: Taalmodellen worden alleen gebruikt om de oppervlakteproza (Slack-berichten, e-mails, PR-beschrijvingen) te genereren, gebaseerd op gevalideerde voorstellen van de engine. Ze kunnen de feitelijke staat of het event-log niet direct wijzigen. Dit garandeert dat cross-artifact consistentie een architecturale garantie is, geen empirisch resultaat.
• Corpus Specificaties:
  • Scope: 51 simulatiedagen, 2.904 waarneembare telemetrische records.
  • Ruis: Een ruisratio van 96,4% (2.798 onschuldige records vs. 106 echte bedreigingen).
  • Bedreigingsprofielen: Drie subjecten met verschillende klassen: Jordan (onachtzaam, één oppervlak), Tasha (ontevreden, multi-dag sentiment), en Jax (kwaadaardig, actieve verberging, multi-surface).
  • Injecteerbaar Gedrag: Acht gedragingen over vijf oppervlakken, waaronder IDP-authenticatieanomalieën, "ghost logins", en drie-fase data-hoarding.
• Detectie Scenario's: Vier specifieke scenario's die traditionele strategieën moeten verslaan:
  1. Ghost logins: Authenticaties zonder downstream-activiteit (detectie vereist het vragen naar wat niet gebeurde).
  2. Vishing: Een telefoonoproep gevolgd door authenticatie op het slachtofferaccount (vereist cross-actor tijdsjoins).
  3. Host data hoarding: Data-exfiltratie verspreid over drie dagen (vereist multi-day trail reconstructie).
  4. Trust-building: Een onschuldig contact met een vertraagde aanvalsfase (vereist contextbehoud over tijdsgaten).
• Evaluatiepijplijn: Een drie-traps proces:
  1. Calibratie: Bepalen van de False Positive Rate (FPR) op schone data.
  2. Triage: Een 7-dagen schuifvenster met een "twee-signalen" escalatiedrempel.
  3. Verdict: Een Tier-2 onderzoeker die de volledige geschiedenis analyseert voor een gestructureerde JSON-uitspraak.

Belangrijkste Bijdragen

1. Verifieerbaar Synthetisch Corpus: Het eerste benchmark waar de observabele telemetrie en de ground truth labels uit dezelfde deterministische engine komen, wat cross-artifact inconsistentie uitsluit.
2. Multi-Surface & Multi-Day Scenarios: Introductie van scenario's die specifiek ontworpen zijn om single-surface en single-day triage-strategieën te verslaan.
3. IDP Subsystem: Een realistisch Identity Provider log-subsysteem dat "ghost logins" en apparaatanomalieën mogelijk maakt, ontbrekend in eerdere benchmarks.
4. SIEM Export: Directe export naar formaten zoals JSONL, CEF, ECS en LEEF voor directe integratie met tools zoals Splunk en Elastic.
5. Leaderboard & Analyse: Een evaluatie van 10 modellen (o.a. Devstral, Claude, Llama, Mistral) die een nieuwe inzichten levert over de dissociatie tussen triage en verdict.

Resultaten

De evaluatie van tien modellen (via AWS Bedrock) resulteerde in een leaderboard met twee duidelijke niveaus:

1. Dissociatie tussen Triage en Verdict:

   • Acht modellen behaalden een identieke triage F1-score van 0,80.
   • Echter, de verdict F1-scores splitsten zich: twee modellen (Devstral 2 123B en Claude Opus 4.6) behaalden F1 = 1,0, terwijl de andere zes F1 = 0,80 behaalden.
   • Dit toont aan dat goede triage (het selecteren van verdachten) niet noodzakelijk leidt tot een correcte eindoordeel (het correcte toewijzen van de schuld).

2. Baseline False Positive Rate (FPR) als Kritieke Metriek:

   • Modellen met dezelfde verdict-accuracy kunnen operationeel volledig verschillend zijn.
   • Tier A modellen hadden een FPR van ~0,021 (1 valse alarm op 48 onschuldige werknemers).
   • Tier B modellen zoals Llama 3.3 70B hadden een FPR van 0,813 (39 valse alarmen). Een model dat elke werknemer als verdachte escalatie, is operationeel onbruikbaar, ongeacht de verdict-accuracy.

3. Slachtoffer-Attributie als Differentiator:

   • Het cruciale onderscheid tussen Tier A en Tier B is de slachtoffer-attributie in het vishing-scenario.
   • Alle modellen detecteerden de vishing-aanval.
   • Tier A-modellen (Devstral, Opus) concludeerden correct dat Chris (het slachtoffer) onschuldig was, omdat de anomalie (nieuw apparaat, woonadres IP) in strijd was met zijn normale profiel en er gelijktijdig normale sessies waren.
   • Tier B-modellen merkten de anomalie op, maar classificeerden Chris ten onrechte als "verdacht" of "waarschijnlijk bedreiging", omdat ze de concurrente normale sessies niet gebruikten om de schuld te ontlasten.

4. Prompt Sensitiviteit en Woordenschat-Hallucinatie:

   • Ongestructureerde prompts leidden tot "woordenschat-hallucinatie": modellen gaven semantisch correcte maar lexicaal niet-standaard labels (bijv. "ghost logins outside business hours" in plaats van de canonieke "unusual hours access").
   • Dit resulteerde in een score van 0 voor correcte redenering onder exact-match scoring.
   • Tier A-modellen behielden hun redeneerlogica (onschuldig verklaren) ondanks de verkeerde labels, terwijl Tier B-modellen hun detectiecapaciteit voor vishing verloren zonder de gestructureerde prompt-scaffolding.

Betekenis en Conclusie

OrgForge-IT markeert een verschuiving in de evaluatie van LLM's voor beveiliging:

• Architecturale Verifieerbaarheid: Het bewijst dat synthetische data betrouwbaar kan zijn als de feitelijke staat en de tekstgeneratie strikt gescheiden worden.
• Operationele Realiteit: Het paper benadrukt dat False Positive Rate even belangrijk is als detectie-accuracy. Een model dat te veel valse alarmen genereert, is in de praktijk nutteloos.
• Redeneervermogen: De belangrijkste bevinding is dat de capaciteit om slachtoffers te onderscheiden van daders (victim attribution) door middel van contextuele redenering (bijv. het vergelijken van anomale sessies met een historisch profiel) de grens vormt tussen geavanceerde en gemiddelde modellen.
• Toekomstige Richting: Het paper pleit voor een "twee-track" scoringssysteem dat zowel exacte woordenschat-overeenkomst als semantische nauwkeurigheid meet, en voor escalatiedrempels die specifiek zijn per bedreigingsklasse (bijv. loskoppelen van "onachtzaam" van "kwaadaardig" gedrag).

OrgForge-IT is open source en biedt een robuuste basis voor de verdere ontwikkeling van LLM-gedreven SOC-pijplijnen.