Sintesi Tecnica: Benchmarking ed Esplorazione delle Capacità degli LLM per le Investigazioni su Attacchi

Definizione del Problema

I team di sicurezza si trovano di fronte a un volume travolgente di falsi allarmi e a una carenza di competenze specializzate necessarie per analizzare i log di audit di sistema durante le investigazioni sugli attacchi. Sebbene i Large Language Models (LLM) abbiano mostrato potenziale nella forense di sicurezza, esiste un divario significativo nel lavoro pubblicato che valuti le loro capacità specifiche nell'analizzare i log di audit di sicurezza e condurre investigazioni sugli attacchi. Questo divario deriva dalla mancanza di dataset diversificati e ben etichettati e dalla natura complessa e amorfa delle investigazioni reali, che richiedono di colmare il divario semantico tra le chiamate di sistema a basso livello e i comportamenti degli attaccanti ad alto livello.

Metodologia

Il Benchmark AuditBench

Per affrontare queste limitazioni, gli autori introducono AuditBench, un nuovo benchmark di valutazione progettato per valutare le capacità degli LLM nell'analisi dei log di sicurezza. Il benchmark comprende:

• Ambito: Quattro comuni compiti di investigazione della sicurezza:
  1. Classificazione (Triage degli Alert): Determinare se un alert corrisponde a un attacco reale o a un falso allarme.
  2. Investigazione sulla Persistenza: Identificare i meccanismi che permettono agli attaccanti di mantenere l'accesso al sistema.
  3. Investigazione sul Movimento Laterale: Identificare le connessioni in uscita che consentono l'accesso remoto e il controllo.
  4. Investigazione sull'Esfiltrazione dei Dati: Identificare eventi in cui dati sensibili vengono spostati esternamente.
• Composizione del Dataset: Il benchmark contiene 51 scenari distinti (25 generati da nuovi dati "Lab" e 26 curati dal dataset pubblico DARPA OpTC).
  • Dati Lab: Generati su macchine virtuali Linux e Windows utilizzando il framework MITRE ATT&CK e Atomic Red Team (ART) per simulare specifiche tecniche di attacco e attività benigne.
  • Dati OpTC: Curati dal dataset DARPA OpTC, il più grande dataset pubblico di log di audit di sistema, con verifica manuale delle etichette di ground truth.
• Rappresentazioni dei Dati: Il benchmark valuta due distinte rappresentazioni dei log:
  1. Raw (Grezzi): Output diretto dai collector di log nativi del sistema operativo (es. auditd, procmon).
  2. Edge (Archi): Una rappresentazione pre-elaborata e basata su grafi (provenance graph) dove le linee di log vengono convertite in archi che rappresentano relazioni soggetto-azione-oggetto. Questa rappresentazione riduce la ridondanza e il volume, particolarmente per i log di Windows.
• Framework di Valutazione: Una pipeline automatizzata che calcola il True Positive Rate (TPR), il False Positive Rate (FPR) e i punteggi F1. Valuta inoltre la qualità delle spiegazioni generate dagli LLM utilizzando un approccio di Natural Language Inference (NLI), in cui un LLM funge da giudice per verificare se la spiegazione è semanticamente implicata dalla ground truth.

Configurazione Sperimentale

Lo studio ha valutato cinque modelli LLM di frontiera: GPT-5, GPT-5 mini, Gemini 2.5 Pro, Gemini 2.5 Flash e Llama 4 Maverick. Gli esperimenti hanno testato varie scelte di design, tra cui:

• Dimensione del Modello: Confronto tra grandi modelli di frontiera e modelli più piccoli ma ad alte prestazioni.
• Prompt Engineering: Confronto tra due versioni di prompt (un template generale vs una versione raffinata con vincoli di dominio specifici e istruzioni di persona).
• Rappresentazione dei Dati: Valutazione delle prestazioni su rappresentazioni raw rispetto a quelle edge.
• Chunking: Analisi dell'impatto di diverse dimensioni di chunk dei log sulle prestazioni.

Risultati Chiave

1. Prestazioni Miste e Falsi Positivi

Nessun modello ha raggiunto una prestazione strettamente superiore in tutti i compiti. Una tendenza dominante osservata è stata un'interpretazione eccessivamente sospetta dei log di audit, che ha portato ad alti tassi di falsi positivi (FPR) in molti compiti.

• Esfiltrazione: I modelli si sono generalmente comportati meglio nei compiti di esfiltrazione dei dati, con alcuni che hanno raggiunto un alto TPR e un basso FPR.
• Movimento Laterale: Questo compito ha prodotto i punteggi F1 mediani più bassi, con i modelli che classificavano frequentemente attività benigne come attacchi.
• Classificazione: Sebbene alcuni modelli abbiano raggiunto un TPR perfetto, spesso hanno sofferto di alti FPR, segnalando attività di sistema benigne come malevole.

2. Dimensione del Modello vs Prestazioni

Contrariamente all'aspettativa che i modelli più grandi siano sempre migliori, lo studio ha scoperto che modelli più piccoli spesso eguagliano o superano le prestazioni dei modelli più grandi.

• Su diversi compiti (es. persistenza e movimento laterale su dati edge), modelli più piccoli come GPT-5 mini e Lmente Llama 4 Maverick hanno ottenuto punteggi F1 più alti o equivalenti rispetto a GPT-5 e Gemini 2.5 Pro.
• Ciò suggerisce che per le investigazioni di sicurezza, i professionisti potrebbero non richiedere i modelli più grandi e costosi per ottenere risultati ottimali.

3. Impatto della Rappresentazione dei Dati

La scelta della rappresentazione dei dati ha influenzato significativamente le prestazioni, ma l'effetto è stato dipendente dal modello.

• Per alcuni modelli (es. Llama 4), la rappresentazione edge compatta ha portato a prestazioni rigorosamente migliori in tutti i compiti rispetto ai log raw.
• Per altri (es. Gemini 2.5 Pro), i log raw hanno talvolta prodotto risultati migliori.
• Ciò indica che la pre-elaborazione e la trasformazione dei dati sono leve critiche per ottimizzare sia i costi che le prestazioni.

4. Effetti del Prompt Engineering

Le variazioni del prompt hanno avuto effetti dipendenti dal modello. Mentre un prompt raffinato (Prompt v2) ha generalmente migliorato le prestazioni per molti modelli riducendo i falsi positivi attraverso specifici vincoli di dominio, ha degradato le prestazioni per altri (es. Gemini 2.5 Flash sulla classificazione). Questo mette in guardia contro le strategie di prompt "one-size-fits-all" quando si confrontano i modelli.

5. Qualità della Spiegazione e Analisi degli Errori

• Qualità della Spiegazione: Quando i modelli identificavano correttamente gli attacchi (True Positives), le loro spiegazioni generate erano di alta qualità (punteggio medio di entailment > 4.0/5.0), catturando accuratamente i comportamenti chiave dell'attacco senza dettagli spurii.
• Caratteristiche degli Errori: I falsi positivi erano raramente condivisi tra i modelli (bassa sovrapposizione di errori). I principali driver dei falsi positivi sono stati:
  1. Nomi di Oggetti di Sistema: I modelli hanno segnalato attività basandosi su nomi di file o processi "non standard" o dall'aspetto sospetto (es. clear_logs, invis.vbs).
  2. Sequenze di Eventi e Volume: I modelli hanno interpretato erroneamente attività ad alto volume o specifiche catene di esecuzione (es. svchost che spawna cmd.exe) come malevole senza sufficiente contesto.

Significato e Contributi

Il documento sostiene di fornire una risorsa fondamentale per le comunità della sicurezza e dell'IA:

1. Benchmark Novità: Contribuisce con AuditBench, un dataset e un framework di valutazione open-source che copre diversi scenari di attacco, attività benigne e molteplici rappresentazioni di log. Ciò consente uno studio sistematico degli LLM nell'analisi dei log di sicurezza.
2. Approfondimenti Empirici: Lo studio offre una guida pratica ai professionisti, suggerendo che modelli più piccoli e trasformazioni specifiche dei dati (come le rappresentazioni edge) possono essere più convenienti e performanti rispetto al semplice aumento della dimensione del modello.
3. Guida al Design: Evidenzia come le scelte di design (prompt, rappresentazione dei dati) siano altamente specifiche per ogni modello, esortando sviluppatori e team di sicurezza ad evitare confronti diretti tra modelli senza esplorare lo spazio di design per il proprio contesto specifico.
4. Direzioni Future: Il lavoro identifica la necessità di mitigare gli alti tassi di falsi positivi causati dalla sensibilità ai nomi degli oggetti e al volume delle attività, e suggerisce di esplorare l'uso di ensemble di modelli per sfruttare la bassa sovrapposizione degli errori per migliorare la robustezza.

Gli autori sottolineano che il loro lavoro è un primo passo, che fornisce i dati e gli strumenti necessari per la ricerca futura volta a migliorare la robustezza e l'utilità degli LLM nelle operazioni di sicurezza.