Riepilogo Tecnico: Individuazione delle Vulnerabilità dell'Intelligenza sulle Minacce Informatiche Assistita da LLM

Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) sono sempre più impiegati per automatizzare le attività di Intelligenza sulle Minacce Informatiche (CTI), che vanno dalla valutazione delle vulnerabilità alla risposta agli incidenti. Tuttavia, persistono significativi gap di affidabilità nei flussi di lavoro operativi. Mentre la letteratura esistente attribuisce spesso questi fallimenti a limitazioni generiche del modello, come le allucinazioni o il jailbreaking, questo documento sostiene che il collo di bottiglia dominante risiede nella natura unica del panorama delle minacce stesse. I dati CTI sono caratterizzati da eterogeneità, volatilità e frammentazione. Le prove sono spesso intrecciate, di provenienza crowdsourced e temporalmente instabili; proprietà che le valutazioni standard degli LLM raramente catturano. Di conseguenza, gli LLM faticano a ragionare efficacemente in queste condizioni, portando a tassi di fallimento sostanziali in compiti di sicurezza critici.

Metodologia

Gli autori propongono uno studio empirico completo e un nuovo quadro metodologico per identificare e categorizzare i fallimenti degli LLM nel ragionamento CTI.

1. Valutazione Empirica su Larga Scala

Lo studio valuta una suite diversificata di modelli, inclusi LLM generici all'avanguardia nel settore (ad esempio GPT-5, Claude-Sonnet-4, Gemini-2.5) e agenti specializzati nella cybersecurity (ad esempio DeepHat, SecGPT, Cyber-Zero). La valutazione copre l'intero ciclo di vita CTI attraverso quattro fasi:

• Contestualizzazione: Arricchimento delle osservazioni grezze con il contesto (ad esempio, mappatura dei log su CVE).
• Attribuzione: Identificazione degli avversari e collegamento degli eventi ai profili degli attori.
• Previsione: Previsione della probabilità di sfruttamento e dell'evoluzione delle campagne.
• Mitigazione: Raccomandazione di patch, regole di rilevamento e playbook di risposta.

I dataset includono benchmark consolidati (CTIBench, SevenLLM-Bench, SWE-Bench, CyberTeam) e rapporti sulle minacce reali provenienti da fonti autorevoli (NVD, CISA, avvisi dei vendor).

2. Categorizzazione dei Fallimenti con Umano nel Ciclo

Per affrontare la sfida di classificare in modo affidabile le modalità di fallimento senza etichette rigide, gli autori introducono un quadro stratificato con umano nel ciclo:

• Campionamento Stratificato: Le istanze sono partitionate in strati di quantili basati sui punteggi di similarità tra le uscite del modello e i materiali di riferimento. L'ispezione manuale di campioni "ancora" all'interno di ogni strato stabilisce intervalli di punteggio per le uscite "corrette" rispetto a quelle "fallite", riducendo il carico di lavoro manuale a <1,5% del totale delle istanze.
• Raffinamento Iterativo della Tassonomia: Un processo autoregressivo alterna la classificazione assistita da LLM e l'ispezione umana. I nuovi pattern di fallimento identificati dagli umani vengono aggiunti alla tassonomia fino alla convergenza.
• Deliberazione Multi-Agente: Per garantire stabilità, più LLM classificano indipendentemente le istanze, seguiti da un secondo turno di deliberazione. Gli ispettori umani intervengono solo quando manca il consenso tra gli agenti o le previsioni fluttuano tra i turni (<1,8% dei casi).

Contributi Chiave

1. Identificazione di Tre Fallimenti Cognitivi Specifici del Dominio

Lo studio identifica tre categorie dominanti di vulnerabilità che limitano l'efficacia degli LLM nella CTI, distinte dai difetti generici degli LLM:

• Correlazioni Spurie: Gli LLM attribuiscono eccessivamente basandosi su caratteristiche superficiali o co-occorrenti piuttosto che su legami causali. Gli esempi includono scambiare strumenti comuni per prove specifiche dell'attore (bias di co-menzone) o attribuire eccessivamente il riutilizzo dell'infrastruttura basandosi su Indicatori di Compromissione (IoC) deliberatamente riciclati.
• Conoscenza Contraddittoria: Le incongruenze tra le fonti CTI (ad esempio, rapporti conflittuali, contraddizioni temporali tra prove obsolete e recenti, conflitti semantici nella denominazione) confondono i modelli, portando a previsioni instabili o conflittuali.
• Generalizzazione Vincolata: Gli LLM faticano ad estendersi oltre distribuzioni familiari, fallendo su minacce emergenti (zero-day) o pattern non visti. Questo include il bias distribuzionale (eccessiva dipendenza dai dati di addestramento comuni) e la mancata consapevolezza ambientale (ignorando vincoli specifici di deployment).

2. Analisi delle Cause Radice attraverso le Fasi CTI

Il documento mappa queste vulnerabilità su specifiche fasi e tecniche CTI. Ad esempio, il bias di co-menzone sorge spesso durante la Contestualizzazione quando i sistemi di recupero trattano entità co-occorrenti come causalmente correlate. La Conoscenza Contraddittoria destabilizza frequentemente l'Attribuzione e la Mitigazione quando le fonti non concordano sull'identità dell'attore o sull'efficacia delle patch. I fallimenti della Generalizzazione Vincolata sono più prominenti nella Previsione e nella Mitigazione quando i modelli incontrano vettori di attacco nuovi o vincoli ambientali non presenti nei dati di addestramento.

3. Validazione tramite Interventi Causali

Gli autori validano queste cause radice attraverso studi di intervento causale. Perturbando token contestuali non causali (ad esempio, date, settori) preservando gli attributi causali (ad esempio, TTP, meccanismi di sfruttamento), dimostrano che le previsioni degli LLM spesso si invertono, confermando la dipendenza da correlazioni spurie.

4. Strategie Difensive

Il documento propone e valuta strategie di mitigazione mirate:

• Intervento Causale ($C^3$): Un controllo di coerenza controfattuale al momento dell'inferenza che costringe i modelli a verificare se le conclusioni rimangono stabili quando il contesto non causale viene alterato.
• Mitigazioni Granulari: Tecniche specifiche per ogni sottotipo di vulnerabilità, come il filtraggio delle prove al momento del recupero (per rimuovere il bias di co-menzone), il riordinamento consapevole del tempo (per risolvere le contraddizioni) e l'inferenza consapevole della novità (per gestire pattern non visti).

Risultati

• Gap di Prestazioni: La valutazione rivela gap universali in tutti i modelli. Gli LLM generici eccellono in compiti ad alta intensità di comprensione (ad esempio, punteggio di affidabilità della fonte) ma faticano con le uscite operative. Gli agenti specializzati nella cybersecurity mostrano prestazioni migliori in classifiche operative specifiche ma soffrono di generalizzazione vincolata sulle minacce emergenti.
• Tassi di Fallimento: Senza mitigazione, i tassi di fallimento sono significativi in tutte le fasi. Ad esempio, i modelli generici mostrano alti tassi di fallimento nel Rilevamento della Bandiera Falsa e nel Riutilizzo dell'Infrastruttura.
• Efficacia delle Difese:
  • Il proposto intervento causale $C^3$ produce guadagni universali di prestazioni, con miglioramenti notevoli nel Rilevamento della Bandiera Falsa (fino a +0,115 F1) e nella Costruzione della Cronologia degli Eventi (Δ medio ≈ 0,08).
  • Le mitigazioni granulari riducono significativamente i rapporti di vulnerabilità. Un approccio "completo" (combinando filtraggio del recupero e vincoli di inferenza) riduce i tassi di fallimento in tutte le categorie. Ad esempio, i fallimenti da Contraddizione Temporale negli LLM generici sono scesi dal 17,53% al 4,25% con la mitigazione solo per recupero, mentre i fallimenti da Correlazione Spuria sono stati affrontati al meglio da controlli solo di inferenza.

Significato e Affermazioni

Il documento afferma di aver scoperto "punti ciechi" nelle attuali vulnerabilità degli LLM specifici del dominio CTI. Sostiene che l'adattamento standard del modello o l'ingegneria dei prompt sono insufficienti perché i fallimenti sono radicati nelle proprietà intrinseche del panorama delle minacce (eterogeneità, volatilità, frammentazione).

Il significato di questo lavoro risiede in:

1. Spostamento del Focus: Spostare il discorso dai difetti generici degli LLM (allucinazioni) ai fallimenti di ragionamento specifici del dominio guidati dalla natura dei dati sulle minacce informatiche.
2. Fornitura di una Roadmap: Offrire un percorso concreto e informato dalla tassonomia per costruire agenti CTI resilienti e consapevoli del dominio.
3. Dimostrazione di Fattibilità: Mostrare che difese leggere e mirate (controlli di coerenza causale e filtraggio del recupero) possono mitigare sostanzialmente queste specifiche modalità di fallimento senza richiedere un riaddestramento massiccio.

Gli autori concludono che un'analisi CTI basata su LLM robusta richiede protezioni esplicitamente adattate all'eterogeneità del panorama delle minacce, fornendo intuizioni fondamentali per future adattazioni principiate nei sistemi LLM focalizzati sulla cybersecurity.