CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?

Il paper introduce CyberThreat-Eval, un benchmark basato su flussi di lavoro reali e annotato da esperti per valutare le capacità dei modelli linguistici nell'automazione della ricerca sulle minacce informatiche, evidenziando le loro attuali limitazioni e proponendo un approccio iterativo con feedback umano.

L'essenziale

Immagina di essere un detective privato che deve risolvere migliaia di casi di crimine informatico ogni giorno. Il tuo ufficio è pieno di giornali, blog, forum e video su internet (questo si chiama OSINT, o "Intelligence da fonti aperte"). Il tuo lavoro è leggere tutto questo caos, capire quali notizie sono vere e pericolose, trovare le prove nascoste e scrivere un rapporto finale che spieghi chi è il colpevole e come fermarlo.

Questo è il lavoro degli analisti di cybersecurity. Ma c'è un problema: c'è troppo da leggere e il tempo è poco.

Gli scienziati hanno pensato: "E se usassimo un'intelligenza artificiale super potente (chiamata LLM, come ChatGPT) per fare questo lavoro per noi?".

Questo paper, intitolato CyberThreat-Eval, racconta la storia di un esperimento fatto da Microsoft per vedere se queste intelligenze artificiali sono davvero pronte a fare i detective al posto degli umani, o se hanno ancora bisogno di un "tutor" umano.

Ecco come funziona, spiegato con parole semplici e metafore:

1. Il Problema: I vecchi test erano come "Quiz di scuola"

Fino a poco tempo fa, per vedere se un'intelligenza artificiale era brava a fare cybersecurity, le si facevano fare dei quiz a risposta multipla (tipo: "Chi è l'attaccante? A) Russia, B) Cina, C) Un gatto").

• Il problema: Nella vita reale, un detective non riceve mai un quiz. Riceve un mucchio di documenti confusi e deve trovare la risposta, non sceglierla da un elenco. Inoltre, i vecchi test guardavano solo se le parole scritte dall'AI corrispondevano a quelle giuste (come un professore che conta le parole uguali), ma non se il contenuto era davvero utile o pericoloso.

2. La Soluzione: CyberThreat-Eval (Il "Vero Campo di Battaglia")

Gli autori hanno creato un nuovo banco di prova chiamato CyberThreat-Eval. Invece di quiz, hanno ricreato il lavoro vero di un detective in tre fasi:

• Fase 1: Il Filtro (Triage)

  • Metafora: Immagina di avere una montagna di lettere. Devi decidere velocemente quali buttare e quali aprire.
  • Cosa fa l'AI: Deve leggere un articolo e dire: "È pericoloso? Sì/No". Se sì, quanto è urgente?
  • Risultato: L'AI è bravissima a non perdere nulla (se c'è un pericolo, lo vede), ma è un po' "paranoica": spesso pensa che siano pericolose anche cose innocue. Questo crea troppo lavoro per gli umani che devono poi controllare tutto.

• Fase 2: La Ricerca Profonda (Deep Search)

  • Metafora: Hai trovato una lettera sospetta. Ora devi andare in biblioteca, cercare su internet e trovare altre lettere che parlano della stessa cosa per avere più prove.
  • Cosa fa l'AI: Deve cercare altri articoli collegati.
  • Risultato: Le AI "base" (quelle più grandi e potenti) sono brave a trovare molte nuove informazioni. Le AI "addestrate" (quelle che hanno studiato solo su libri di cybersecurity) sono più caute e ne trovano meno, ma a volte sono più precise.

• Fase 3: La Stesura del Rapporto (TI Drafting)

  • Metafora: Ora devi scrivere il rapporto finale per il capo. Devi dire: "Chi è il colpevole?", "Quali strumenti ha usato?" e "Come lo fermiamo?".
  • Cosa fa l'AI: Deve estrarre codici segreti (IoC) e spiegare la storia dell'attacco.
  • Risultato: Qui l'AI mostra i suoi limiti.
    • È brava a scrivere la storia dell'attacco ("Il colpevole ha usato questo trucco...").
    • È brutta a capire la psicologia del colpevole (chi è esattamente e perché lo fa).
    • È pericolosa quando deve estrarre codici tecnici precisi: a volte inventa numeri o indirizzi che non esistono (le famose "allucinazioni"). Immagina un detective che ti dice "Il ladro ha usato la chiave 12345", ma quella chiave non esiste. Se segui quel consiglio, perdi tempo.

3. La Verità Scomoda: L'AI è un "Apprendista", non un Maestro

Il paper scopre che l'AI è un ottimo assistente, ma non può lavorare da sola.

• Il dilemma: Se chiedi all'AI di essere molto precisa, diventa lenta e costosa. Se la rendi veloce, commette errori.
• Il problema principale: L'AI non ha "esperienza di strada". Sa leggere, ma non sa ragionare come un esperto umano che ha visto mille casi simili. Spesso manca di dettagli cruciali o inventa cose che sembrano vere ma sono false.

4. La Soluzione Finale: TRA (L'Agente di Ricerca con un "Tutor")

Per risolvere il problema, gli autori hanno creato TRA (Threat Research Agent).

• Come funziona: Immagina un apprendista detective (l'AI) che lavora insieme a un vecchio poliziotto esperto (l'umano) e a un archivio di prove infallibile (database esterni come VirusTotal).
  1. L'AI fa la prima bozza.
  2. Il sistema controlla automaticamente se i codici (le chiavi dei ladri) sono veri, consultando l'archivio esterno.
  3. L'esperto umano dà un feedback: "Ehi, qui hai dimenticato un dettaglio importante" o "Quel codice è sbagliato".
  4. L'AI impara da questo errore e corregge il rapporto.

Il risultato? Con TRA, l'AI diventa molto più affidabile. Trasforma una bozza confusa in un rapporto pronto per essere pubblicato, riducendo gli errori e il tempo di lavoro degli umani.

In Sintesi

Questo paper ci dice che l'Intelligenza Artificiale è come un motore potentissimo, ma se lo metti in un'auto senza volante e senza freni, si schianta.
Per la cybersecurity, l'AI non deve sostituire l'analista umano, ma deve essere il suo super-assistente. Per funzionare bene, ha bisogno di:

1. Controlli esterni (per non inventare dati).
2. Feedback umani (per imparare dai suoi errori).
3. Un processo di lavoro reale (non quiz scolastici).

Grazie a questo nuovo metodo, le aziende potranno finalmente automatizzare gran parte del lavoro noioso, lasciando agli umani il compito più difficile: pensare e prendere le decisioni finali.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?", pubblicato su Transactions on Machine Learning Research.

1. Il Problema

L'analisi dell'Open Source Intelligence (OSINT) è fondamentale per la produzione di report di Cyber Threat Intelligence (CTI) completi. Il processo umano tipico segue un flusso di lavoro a tre stadi:

1. Triage: Prioritizzazione degli articoli.
2. Deep Search: Raccolta di prove e informazioni supplementari.
3. TI Drafting: Stesura del report finale (inclusi Indicatori di Compromissione - IoC, tecniche MITRE ATT&CK, ecc.).

Sebbene i Large Language Models (LLM) offrano potenziale per l'automazione, i benchmark esistenti presentano limitazioni critiche:

• Formati di task irrealistici: Molti benchmark usano domande a scelta multipla o Q&A che non riflettono il lavoro reale degli analisti (che raramente scelgono tra opzioni A/B/C/D).
• Metriche incentrate sul modello: Le valutazioni si basano spesso su sovrapposizioni lessicali (es. ROUGE, BERTScore) invece che sulla qualità pratica, l'accuratezza fattuale o l'utilità operativa per l'analista.
• Copertura parziale del flusso di lavoro: Nessun benchmark esistente copre l'intero flusso end-to-end (triage, ricerca profonda e stesura) in modo integrato.

2. Metodologia e Contributi Chiave

Gli autori introducono CyberThreat-Eval, un nuovo benchmark annotato da esperti, raccolto dal flusso di lavoro CTI quotidiano di una delle principali aziende tecnologiche globali (Microsoft).

A. CyberThreat-Eval (Il Benchmark)

Il benchmark valuta gli LLM su compiti pratici attraverso i tre stadi del flusso di lavoro, utilizzando metriche incentrate sull'analista:

• Triage: Valuta la capacità di classificare gli articoli come "accettati" o "rifiutati" e di assegnare un punteggio di priorità basato su gravità e target.
• Deep Search: Valuta la capacità di recuperare URL esterni che contengono informazioni aggiuntive e nuove rispetto all'articolo sorgente.
• TI Drafting:
  • Estrazione di elementi chiave: Identificazione di IoC (hash, IP, domini) e mappatura delle tecniche MITRE ATT&CK (TTP).
  • Generazione di contenuti: Creazione di narrative coerenti su "Attori della Minaccia" (Threat Actors) e "Cause Radice" (Root Cause).

Metriche utilizzate: Accuratezza fattuale, qualità del contenuto (valutata da esperti umani o LLM-as-Judge calibrati), costi operativi (tempo di elaborazione, consumo di token) e precisione/recall.

B. Valutazione Sperimentale

Sono stati testati quattro modelli:

1. GPT-4o e o3-mini (modelli base).
2. GPT-4o (FT) e GPT-4o-mini (FT) (modelli fine-tuned su dati CTI specifici).

C. Threat Research Agent (TRA)

Per affrontare le limitazioni degli LLM puri, gli autori propongono TRA, un framework end-to-end che integra:

• Feedback umano nel ciclo (Human-in-the-loop): Gli esperti validano e correggono le bozze generate, creando un ciclo di miglioramento continuo.
• Integrazione di Ground Truth Esterno: Uso di database autoritativi (es. VirusTotal) per verificare automaticamente IoC e TTP, riducendo le allucinazioni.

3. Risultati Sperimentali

I risultati rivelano un quadro complesso delle capacità attuali degli LLM:

• Triage: Gli LLM mostrano un'alta recall (trovano quasi tutti gli articoli rilevanti, >90%), ma una bassa precisione (<40%), tendendo ad accettare articoli irrilevanti, aumentando il carico di lavoro degli analisti. L'assegnazione dei punteggi di priorità ha un'accuratezza del 55-60%.
• Deep Search: I modelli base (GPT-4o, o3-mini) recuperano più URL con informazioni aggiuntive rispetto ai modelli fine-tuned, che tendono a essere più conservativi.
• Estrazione di IoC: I modelli base ottengono buone prestazioni di precisione (~0.82-0.85), ma il fine-tuning non garantisce sempre miglioramenti e può aumentare i costi.
• Identificazione TTP (MITRE ATT&CK): Questa è l'area più critica. Tutti i modelli mostrano prestazioni scarse (precisione e recall < 0.35), indicando difficoltà nel ragionamento complesso sulle intenzioni degli avversari.
• Generazione di Contenuti:
  • Gli LLM sono bravi a generare narrative sulle Cause Radice (fatti tecnici, "come" è successo).
  • Faticano a generare profili completi degli Attori della Minaccia (spesso producono contenuti superficiali o privi di contesto strategico).
• Trade-off Costo-Prestazioni: Esiste un compromesso evidente: aumentare la precisione spesso richiede più tempo e token (es. o3-mini è preciso ma lento/costoso; i modelli fine-tuned sono più veloci ma meno precisi in certi compiti).

4. Risultati con TRA (Threat Research Agent)

L'integrazione del framework TRA ha portato miglioramenti significativi rispetto agli LLM "vanilla":

• Precisione IoC: Aumento di 26 punti percentuali nella precisione.
• Identificazione TTP: Miglioramento significativo (es. da 0.28 a 0.42 per o3-mini).
• Qualità dei Contenuti: Le narrative su Attori e Cause Radice hanno superato i 4.5/5 nelle valutazioni degli esperti, diventando "pronte per la pubblicazione".
• Efficienza: In alcuni casi, TRA ha ridotto la latenza complessiva grazie a una selezione più intelligente delle fonti.

5. Significato e Conclusioni

Il paper dimostra che, sebbene gli LLM possano automatizzare parzialmente la ricerca sulle minacce, non sono ancora pronti per un'automazione completa senza supervisione umana.

• Limiti attuali: Gli LLM mancano di esperienza di dominio profonda e faticano a distinguere tra informazioni corrette e errate senza verifiche esterne.
• Soluzione proposta: L'approccio ibrido TRA (LLM + Database Esterni + Feedback Umano) è essenziale per colmare il divario tra capacità generativa e affidabilità operativa.
• Impatto: CyberThreat-Eval fornisce il primo standard rigoroso e orientato all'analista per valutare l'automazione CTI, spostando il focus dalle semplici metriche di testo all'effettiva utilità operativa e alla riduzione dei costi.

In sintesi, il lavoro suggerisce che il futuro dell'automazione CTI risiede non nel sostituire l'analista, ma nel creare agenti collaborativi (come TRA) che integrano la potenza degli LLM con la verifica rigorosa dei dati e l'esperienza umana.