TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

Riepilogo Tecnico: TTPRINT

Enunciato del Problema
Estrarre automaticamente le tecniche MITRE ATT&CK da rapporti di Intelligence sulle Minacce Informatiche (CTI) non strutturati è un problema open-set, multi-etichetta che richiede la simultanea ottimizzazione di un elevato richiamo (catturare tutte le tecniche genuinamente descritte) e di una elevata precisione (evitare allucinazioni di tecniche non supportate). Gli approcci esistenti affrontano limitazioni significative:

• Metodi Basati su Regole e Supervisionati: Sistemi come TTPDrill o transformer finemente sintonizzati (ad es. LADDER, MITREtrieval) faticano a generalizzare attraverso stili di rapporto diversi e descrizioni di attacchi in evoluzione. Spesso si affidano a parole chiave esplicite o ontologie fisse, fallendo nel catturare comportamenti impliciti o parafrasati.
• Approcci LLM a Singola Passata: Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) mostrino promesse, applicarli in un singolo passo di inferenza accoppia gli obiettivi di generazione dell'ipotesi e verifica. Questo accoppiamento porta a due modalità di fallimento cumulativo: (1) i modelli sacrificano la copertura per la confidenza, omettendo comportamenti meno salienti, e (2) le discrepanze lessicali superficiali tra il linguaggio dei rapporti operativi e le definizioni canoniche MITRE causano mappature tecniche errate.

Metodologia: TTPRINT
Gli autori propongono TTPRINT, una pipeline a quattro stadi ispirata ai flussi di lavoro degli analisti umani, che utilizza un design "divergi-poi-convergi" per disaccoppiare la generazione orientata al richiamo dalla verifica orientata alla precisione.

1. Fase Divergente (Massimizzare la Copertura):

   • Estrazione dei Comportamenti: Il rapporto CTI grezzo viene decomposto in un insieme di comportamenti di attacco atomici e autosufficienti. Crucialmente, questa fase preserva specifici artefatti tecnici (nomi di strumenti, stringhe di comando, percorsi di registro) per prevenire il collasso del contesto, garantendo che gli stadi a valle abbiano dettagli sufficienti per un'identificazione accurata.
   • Proposta di TTP: Per ogni comportamento atomico, l'LLM propone un ampio insieme di tecniche candidate MITRE ATT&CK (fino a $k$ identificatori distinti a livello genitore). Questa fase dà priorità al richiamo, rimandando deliberatamente il giudizio per garantire che nessuna tecnica potenziale venga scartata prematuramente.

2. Fase Convergente (Filtrare per Evidenza):

   • Localizzazione degli Span: Un algoritmo deterministico ancorizza ogni comportamento proposto a una finestra di frase specifica e contigua (span di evidenza) all'interno del rapporto originale. Questo restringe tutto il ragionamento successivo al supporto testuale verificabile piuttosto che al contesto del documento completo, riducendo il rumore e i rischi di allucinazione.
   • Verifica TTP: L'LLM valuta ogni tecnica candidata contro tre input: il testo del comportamento, lo span di evidenza localizzato e la definizione ufficiale MITRE ATT&CK. Il modello restituisce un punteggio di confidenza ($c_{ver}$) che indica se l'evidenza supporta esplicitamente la tecnica.
   • Soglia: I candidati che superano una soglia di confidenza regolabile ($\tau$) vengono mantenuti. Questo parametro permette ai praticanti di controllare esplicitamente il compromesso precisione-richiamo senza riaddestramento o modifiche architetturali.

Contributi Chiave

• Principio Architettonico: Il documento identifica l'accoppiamento di precisione e richiamo nell'estrazione a singola passata come una limitazione strutturale e propone il principio divergi-poi-convergi, separando esplicitamente la generazione dell'ipotesi dalla verifica basata sull'evidenza.
• Pipeline TTPRINT: Un'implementazione innovativa che presenta una localizzazione deterministica degli span, garantendo che ogni previsione sia tracciabile a un passaggio sorgente specifico, abilitando la piena auditabilità.
• Risorse di Valutazione:
  • TRAM-Clean: Una versione sistematicamente pulita del benchmark TRAM ampiamente utilizzato, che corregge falsi positivi e negativi nelle annotazioni originali per fornire una baseline affidabile.
  • TTPRINT-Bench: Un nuovo benchmark a livello di documento composto da 150 rapporti CTI completi (2022–2025) con ground truth doppiamente annotato e giurato, progettato per valutare l'estrazione da documenti completi non strutturati piuttosto che da frasi isolate.

Risultati
Valutato su TRAM-Clean e TTPRINT-Bench, TTPRINT dimostra miglioramenti significativi rispetto alle baseline dello stato dell'arte:

• Prestazioni: TTPRINT raggiunge un Macro-F1 del 76,48% su TRAM-Clean e dell'87,39% su TTPRINT-Bench. Ciò rappresenta un miglioramento del 63,5% e del 29,4% rispetto alla baseline leader (CoT GPT-4o), rispettivamente.
• Precisione e Richiamo: A differenza dei metodi a singola passata che faticano a bilanciare entrambe le metriche, TTPRINT le migliora simultaneamente. Su TTPRINT-Bench, il richiamo è aumentato dal 50,70% al 95,50% e la precisione dal 69,90% all'82,15%.
• Studi di Ablazione: La rimozione di qualsiasi stadio (Estrazione dei Comportamenti, Localizzazione degli Span o Verifica) porta a un degrado significativo delle prestazioni. Notevolmente, la localizzazione degli span migliora sia la precisione che il richiamo riducendo la diluizione del contesto e i rischi di allucinazione.
• Indipendenza dal Modello: L'efficacia della pipeline si mantiene attraverso sei diversi backbones LLM (inclusi GPT-4o, Claude Sonnet, Gemini, Qwen e DeepSeek). Modelli più piccoli equipaggiati con la pipeline TTPRINT spesso superano modelli più grandi che utilizzano prompt a singola passata, suggerendo che il design architetturale è il principale motore delle prestazioni.
• Sensibilità alla Soglia: La soglia di verifica $\tau$ fornisce un controllo liscio e monotono sul fronte precisione-richiamo, permettendo agli utenti di selezionare punti operativi per scenari ad alto richiamo (triage SOC), bilanciati o ad alta precisione (risposta automatizzata).

Significato e Affermazioni
Il documento afferma che TTPRINT colma una lacuna critica nel flusso di lavoro dell'analista CTI fornendo un metodo per l'estrazione di TTP ad alto richiamo e precisa, direttamente tracciabile all'evidenza sorgente. Disaccoppiando generazione e verifica, il sistema mitiga i compromessi intrinseci dei prompt LLM a singola passata. Gli autori sottolineano che l'approccio è indipendente dal modello, permettendo alle organizzazioni con preoccupazioni sulla sovranità dei dati di distribuire LLM open-source ospitati localmente senza sacrificare le prestazioni. Il rilascio di TRAM-Clean e TTPRINT-Bench mira a elevare il campo dalla valutazione a livello di frase all'estrazione realistica a livello di documento, facilitando la futura ricerca nell'analisi automatizzata dell'intelligence sulle minacce.

Gli autori mantengono un ambito modesto, notando che il sistema si rivolge a rapporti in lingua inglese di principali fornitori di sicurezza e non risolve attualmente le ambiguità intrinseche nella tassonomia MITRE stessa (ad es. tecniche semanticamente adiacenti). Notano inoltre che, sebbene la qualità dell'estrazione sia validata rispetto ad annotazioni di esperti, l'impatto sulle metriche operative a valle (ad es. tempo di triage) richiede futuri studi di distribuzione controllata.