OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection

1. Il Problema: Limiti degli Benchmark Esistenti

Il rilevamento delle minacce interne (insider threat) è un problema complesso che richiede l'analisi di segnali comportamentali distribuiti nel tempo e su diverse superfici (es. Slack, email, log di autenticazione, file system). Tuttavia, la ricerca attuale affronta due ostacoli principali:

• Incoerenza dei dati sintetici: I benchmark esistenti generati puramente tramite LLM (come varianti del dataset CERT) soffrono di contraddizioni cross-artifatto (es. un ticket JIRA che registra un evento a un orario diverso rispetto a un messaggio Slack sullo stesso evento) perché mancano di un vincolo fattuale esterno.
• Obsolescenza e staticità del dataset CERT: Il dataset CERT, benché canonico, è statico, manca di correlazioni tra diverse superfici (es. log IDP, eventi host), non include pattern di ingegneria sociale moderni e non è adatto all'era degli LLM.
• Mancanza di verità fondamentale verificabile: Senza un motore di simulazione deterministico, non è possibile garantire che le etichette di verità fondamentale corrispondano esattamente ai dati osservabili, rendendo difficile valutare l'affidabilità dei modelli.

2. Metodologia: OrgForge-IT e l'Architettura "Physics-Cognition Boundary"

Il paper introduce OrgForge-IT, un benchmark sintetico verificabile prodotto dal framework di simulazione organizzativa OrgForge.

• Architettura Ibrida Deterministica: La caratteristica centrale è la separazione tra "fisica" (stato fattuale) e "cognizione" (prosa superficiale).
  • Un motore deterministico in Python mantiene lo stato fondamentale (SimEvent ground truth bus), controllando la salute del sistema, lo stress degli attori e il grafo sociale.
  • Gli LLM generano solo la prosa superficiale (messaggi Slack, email, descrizioni PR) vincolata da proposte validate dal motore.
  • Questo garantisce che non vi siano contraddizioni tra gli artefatti: sia il log Slack che il ticket JIRA derivano dallo stesso evento fondamentale.
• Corpus e Rumore: Il corpus copre 51 giorni di simulazione con 2.904 record di telemetria osservabile e un tasso di rumore (segnali benigni) del 96,4%. Include 3 soggetti minacciosi con 3 classi di minaccia (negligente, scontento, malizioso) e 8 comportamenti iniettabili.
• Scenari di Rilevamento: Sono stati progettati quattro scenari specifici per sconfiggere le strategie di triage a superficie singola o a finestra temporale singola:
  1. Ghost Logins: Autenticazioni IDP senza attività a valle (richiede ragionamento sull'assenza di eventi).
  2. Vishing: Una chiamata telefonica seguita da un'autenticazione IDP sotto il nome della vittima, non dell'attaccante (richiede join temporali cross-attore).
  3. Host Data Hoarding: Un'esfiltrazione in tre fasi su giorni consecutivi (copia, compressione, esfiltrazione) che supera le finestre di triage giornaliere.
  4. Social Engineering (Trust Building): Contatti benigni iniziali con finestre di attacco ritardate.
• Pipeline di Valutazione: Un sistema a tre stadi:
  1. Calibrazione: Stima del tasso di falsi positivi su dati puliti pre-inizio minaccia.
  2. Triage: Finestra scorrevole di 7 giorni con soglia di escalation a due segnali.
  3. Verdetto: Un agente investigatore correla la storia completa dell'attore per produrre un verdetto strutturato (innocente, sospetto, minaccia probabile).

3. Contributi Chiave

• Verificabilità Assoluta: È il primo benchmark sintetico in cui la telemetria osservabile e le etichette di verità fondamentale derivano dallo stesso motore deterministico, eliminando le contraddizioni cross-artifatto.
• Leaderboard Multi-Modello: Valutazione di 10 modelli (tra cui Devstral 2, Claude Opus/Sonnet/Haiku, Llama 3.3/4, Mistral, Qwen3) su due metriche distinte: Triage F1 e Verdict F1.
• Nuove Metriche Operative: Introduce il Baseline False-Positive Rate come metrica critica, dimostrando che l'accuratezza del verdetto da sola è insufficiente per valutare l'utilità operativa.
• Formati SIEM: Esportazione nativa in formati standard (JSONL, CEF, ECS, LEEF) per l'ingestione diretta in strumenti come Splunk, Elastic, QRadar e Sentinel.
• Analisi di Sensibilità ai Prompt: Studio su come la struttura del prompt (strutturata vs. naturale) influenzi l'allucinazione lessicale e la capacità di ragionamento.

4. Risultati Principali

L'analisi del leaderboard rivela quattro scoperte fondamentali:

1. Dissociazione Triage/Verdetto: Otto modelli raggiungono un identico Triage F1 = 0.80, ma si dividono in due tier per il Verdict F1: Tier A (1.0) e Tier B (0.80). La competenza nel triage non garantisce un'accuratezza nel verdetto superiore.
2. Importanza del Tasso di Falsi Positivi (FP): Modelli con identica accuratezza nel verdetto (F1=0.80) differiscono di due ordini di grandezza nel tasso di falsi positivi di base.
   • Esempio: Llama 3.3 70B ha un FP rate del 0.813 (39 falsi allarmi su 48 dipendenti innocenti), rendendolo operativamente inutilizzabile, mentre DeepSeek e Mistral Large mantengono un FP rate di 0.021.
3. Attribuzione della Vittima come Discriminatore: La capacità che separa il Tier A (Devstral 2, Claude Opus) dal Tier B è l'attribuzione corretta della vittima nello scenario Vishing.
   • I modelli Tier A riconoscono che una sessione anomala (dispositivo/IP sconosciuto) su un account, combinata con sessioni normali simultanee dello stesso utente, indica un furto di credenziali, esonerando l'utente (Chris).
   • I modelli Tier B rilevano l'attacco ma classificano erroneamente la vittima come "sospetta" o "minaccia probabile", fallendo nel ragionamento comparativo.
4. Soglia di Escalation Specifica per la Minaccia: Una soglia di escalation a due segnali (efficace per minacce complesse) esclude strutturalmente le minacce "negligenti" (es. un singolo commit con credenziali), dimostrando la necessità di pipeline parallele specifiche per classe di minaccia.

Analisi dei Prompt:
L'analisi di sensibilità mostra che prompt non strutturati inducono allucinazione lessicale (vocabulary hallucination) anche nei modelli Tier A. I modelli generano etichette semanticamente corrette ma non canoniche (es. "data hoarding" invece di "host data hoarding"), che vengono penalizzate a zero dal sistema di scoring esatto. Tuttavia, la logica di ragionamento sottostante rimane intatta nei modelli Tier A, mentre nei modelli Tier B la rimozione della struttura del prompt può portare al collasso della capacità di rilevamento.

5. Significato e Implicazioni

Il lavoro di Flynt stabilisce nuovi standard per la valutazione delle minacce interne basate su LLM:

• Shift Operativo: Dimostra che l'accuratezza del verdetto (F1) è una metrica ingannevole se non accompagnata dal tasso di falsi positivi. Un modello che esamina tutti i dipendenti per trovare le minacce non è un sistema di rilevamento, ma un sistema di revisione costoso.
• Architettura di Valutazione: La separazione tra "fisica" (dati) e "cognizione" (testo) risolve il problema della coerenza nei dati sintetici, permettendo test rigorosi su scenari di correlazione complessi che i dataset statici non possono supportare.
• Capacità di Ragionamento: Identifica l'attribuzione della vittima in scenari di compromissione delle credenziali come una capacità di ragionamento avanzata che distingue i modelli di fascia superiore (Tier A) da quelli di fascia inferiore, andando oltre la semplice rilevazione di anomalie.
• Open Source: La disponibilità del codice, del framework di simulazione e del dataset su GitHub e HuggingFace favorisce la riproducibilità e l'evoluzione del campo, offrendo una base solida per futuri sviluppi in sicurezza SOC.

In sintesi, OrgForge-IT non è solo un nuovo dataset, ma un framework metodologico che evidenzia come i modelli LLM debbano essere valutati non solo sulla capacità di "trovare" segnali, ma sulla capacità di correlare contesti complessi, attribuire correttamente le responsabilità e mantenere bassi i costi operativi (falsi positivi) in ambienti rumorosi e realistici.