Riepilogo Tecnico: GRID – Rappresentazione a Grafo dei Dati di Intelligence per la Costruzione di Grafi della Conoscenza per Testi di Sicurezza

1. Enunciato del Problema

Il documento affronta la necessità critica che l'Intelligence sulle Minacce Informatiche (CTI) sia strutturata in grafi della conoscenza (KG) computabili e tracciabili per assistere gli agenti di sicurezza e i Modelli Linguistici di Grandi Dimensioni (LLM) nel ragionamento su prove connesse. Sebbene gli articoli CTI non strutturati (blog, rapporti) contengano dettagli ricchi sui comportamenti di attacco e sull'evoluzione del malware, gli approcci esistenti affrontano quattro sfide principali:

1. Mancanza di Integrazione di Dominio: Gli LLM generici spesso mancano di conoscenze specifiche del dominio della sicurezza, specialmente a scale di modello più piccole, costringendo a fare affidamento su API commerciali costose.
2. Scarsità di Dati: Manca un insieme di dati di alta qualità e pubblicamente disponibile che fornisca coppie allineate di testo CTI e i relativi grafi della conoscenza di verità fondamentale (ground-truth) per l'addestramento end-to-end.
3. Segnali di Ricompensa Costosi: L'estrazione documento-a-grafo end-to-end è un compito di generazione a campo aperto. Progettare ricompense per l'apprendimento per rinforzo (RL) è difficile; l'uso di un LLM come giudice per valutare le uscite complete del grafo ad ogni passo di addestramento comporta costi proibitivi.
4. Apprendimento Superficiale: Gli LLM tendono a fare affidamento su sovrapposizioni lessicali superficiali piuttosto che su una comprensione semantica profonda degli alias delle entità, delle gerarchie e dei vincoli di relazione all'interno delle narrazioni CTI.

2. Metodologia

Gli autori propongono GRID (Rappresentazione a Grafo dei Dati di Intelligence), un framework end-to-end progettato per costruire grafi della conoscenza sulla sicurezza da testi di lunga durata utilizzando un LLM da 4B parametri (Qwen3-4B-Instruct-2507). Il framework è composto da quattro componenti principali:

A. Annotazione Automatica dell'Allineamento Articolo-Grafo

Per risolvere il problema della scarsità di dati senza un'etichettatura manuale massiccia, GRID introduce un ciclo a due stadi di annotazione e revisione:

1. Estrazione Tracciabile: Un LLM estrae un grafo della conoscenza da un articolo CTI grezzo sotto vincoli rigorosi di "prova testuale", preservando gli ancoraggi delle prove testuali (spazi del testo sorgente) in modo letterale.
2. Revisione Condizionata al KG: L'articolo originale viene riscritto da un LLM per rimuovere i contenuti di sicurezza non catturati dal grafo estratto, mantenendo il contesto non di sicurezza e gli ancoraggi protetti.
   Questo processo produce coppie $(a', G')$ di alta qualità in cui l'articolo rivisto $a'$ è esplicitamente allineato con il grafo $G'$.

B. Riformulazione del Task-Bank per l'Addestramento RL

Invece di ricompensare direttamente la generazione completa del grafo, GRID riformula l'obiettivo di apprendimento in una banca di attività scriptate per ridurre i costi e stabilizzare le ricompense:

• Domande a Scelta Multipla: Genera domande a quattro opzioni in cui la verità fondamentale è un sottoinsieme di opzioni corrette. I distrattori sono progettati come casi di "quasi errore" o "allucinazione" (ad esempio, entità corrette ma relazioni errate).
• Target Regex: Converte ogni arco del grafo di verità fondamentale in un target regex a livello di tripla.
• Meccanismo di Ricompensa: Le ricompense sono calcolate in base a corrispondenze esatte per i compiti di scelta e a rapporti di corrispondenza normalizzati per i compiti regex. Questo sostituisce la costosa valutazione dell'intero grafo con controlli locali più economici a livello di attività.

C. Modellazione della Complessità dell'Articolo

Il framework assegna un punteggio di complessità scalare a ogni articolo in base alla lunghezza, ai conteggi di entità/relazioni e alle statistiche di connettività del grafo. Ciò consente un addestramento ordinato per complessità dell'articolo, permettendo all'agente RL di progredire da esempi più semplici a quelli più difficili.

D. Inferenza Guidata dall'Ontologia

GRID impiega un'ontologia specifica per la CTI (ispirata a STIX ma raffinata per l'estrazione pratica) che definisce i tipi di entità (ad esempio, threat-actor, malware, vulnerability) e le famiglie di relazioni. Questa ontologia guida l'LLM a:

• Inferire relazioni implicite in base a categorie tipizzate e gerarchie.
• Imporre la verità provata dal testo vietando il completamento esterno o l'elevazione del soggetto.
• Normalizzare gli alias e le relazioni per garantire la coerenza strutturale.

E. Protocollo di Valutazione

Il sistema utilizza un valutatore LLM-as-judge per la valutazione automatica. Il giudice valuta precisione e richiamo basandosi su regole di "prova testuale", richiedendo al modello di citare prove testuali di supporto per ogni arco previsto. Questo valutatore è stato calibrato rispetto a tre revisori umani, ottenendo un accordo dell'86,0%.

3. Contributi Chiave

1. Pipeline di Dati Automatica: Un algoritmo innovativo per generare allineamenti articolo-grafo tracciabili senza annotazione manuale su larga scala, creando efficacemente un dataset supervisionato da articoli CTI grezzi.
2. Strategia RL a Basso Costo: Un approccio "Task-Bank" che riformula l'estrazione del grafo a campo aperto in domande a scelta multipla e corrispondenza regex, riducendo significativamente il costo computazionale dell'addestramento RL rispetto alla valutazione online LLM-as-judge.
3. Estrazione Guidata dall'Ontologia: Un framework che integra un'ontologia specifica per la sicurezza per guidare l'LLM, migliorando la comprensione semantica e riducendo le allucinazioni senza fare affidamento sulla classificazione a etichette chiuse.
4. Benchmark Unificato: La creazione di un benchmark composto da 249 articoli CTI provenienti da cinque fonti distinte (GRID, CASIE, CTINexus, MalKG, SecureNLP) con un protocollo di valutazione automatica affidabile.

4. Risultati Sperimentali

Gli autori hanno valutato GRID sul benchmark unificato utilizzando un modello da 4B parametri.

• Prestazioni vs Baseline: Il principale modello di Ricompensa Task-bank ha ottenuto:
  • 84,62% di precisione media per sorgente.
  • 64,91% di richiamo medio per sorgente.
  • 68,53% di F1 medio.
  • Ha ottenuto il miglior richiamo tra tutte le baseline e un punteggio F1 superiore quasi in pareggio rispetto al concorrente più forte (CTINexus), utilizzando circa il 40% dei token di inferenza.
• Studi di Ablazione (RQ2 & RQ3):
  • L'approccio di Ricompensa Task-bank ha superato un modello di Ricompensa End2End (addestrato con valutazione online LLM-as-judge) di 11,06 punti di richiamo e 10,47 punti F1, essendo significativamente più economico (60 $ vs 942 $ nei costi di addestramento).
  • La rimozione del ramo regex (solo scelta) ha fatto crollare il richiamo di 31 punti, dimostrando la necessità della corrispondenza a livello di tripla.
  • Sia la riscrittura dell'articolo che l'addestramento ordinato per complessità si sono dimostrati necessari per prestazioni ottimali; la rimozione di uno dei due ha portato a ricompense di addestramento e punteggi di test inferiori.

5. Significato e Affermazioni

Il documento afferma che GRID fornisce una soluzione a basso costo e scalabile per dotare LLM open-source più piccoli di conoscenze nel dominio della sicurezza. Il suo significato risiede in:

• Efficienza dei Costi: Disaccoppiando la costruzione della supervisione (offline, costo una tantum) dall'addestramento (banca di attività riutilizzabile), GRID evita i costi proibitivi del RL online con valutazione dell'intero grafo.
• Prestazioni: Dimostra che un modello da 4B, quando opportunamente supervisionato tramite questo framework, può superare o eguagliare pipeline più grandi o complesse (come CTINexus) in termini di richiamo e F1, essendo al contempo più efficiente.
• Affidabilità: Il framework enfatizza l'estrazione e la valutazione "prova testuale", garantendo che i grafi della conoscenza generati siano radicati nel testo sorgente piuttosto che allucinati da conoscenze esterne.

Gli autori concludono che il loro approccio colma con successo il divario tra testo di sicurezza non strutturato e grafi della conoscenza strutturati, offrendo una pipeline pratica per agenti di sicurezza e sistemi di intelligence sulle minacce.