Sintesi Tecnica: Valutazione di LLM Open-Weight per la Generazione di Informazioni sulle Minacce Strutturate per Vulnerabilità di Veicoli Autonomi

Definizione del Problema

I veicoli connessi e autonomi (CAV) si affidano a complessi intrecci di componenti software e hardware, tra cui sensori, Unità di Controllo Elettronico (ECU) e telematica, il che li rende suscettibili a vulnerabilità di sicurezza. Queste vulnerabilità sono attualmente documentate come descrizioni testuali non strutturate nel database Common Vulnerabilities and Exposures (CVE). I professionisti della sicurezza necessitano di informazioni strutturate riguardanti gli asset interessati, i tipi di debolezza e i comportamenti di attacco per mitigare efficacemente i rischi. Sebbene il formato Structured Threat Information Expression (STIX) offra un modo standardizzato per rappresentare tale conoscenza, la conversione delle descrizioni CVE non strutturate in bundle STIX (che comprendono STIX Domain Objects [SDO], STIX Relationship Objects [SRO], Common Weakness Enumeration [CWE] e mappature MITRE ATT&CK) è un processo manuale laborioso.

Nonostante i Large Language Models (LLM) possiedano la capacità di comprendere il linguaggio e generare conoscenza strutturata, studi precedenti indicano che gli output STIX generati dagli LLM soffrono spesso di oggetti incompleti, relazioni errate, strutture non valide e attributi allucinati. Inoltre, gli dataset esistenti per la generazione di STIX si concentrano su testi di cybersecurity generali o compiti specifici come la predizione di CWE, mancando di un benchmark dedicato ai CVE relativi ai CAV mappati su bundle ST-IX completi. Esiste una necessità critica di valutare gli LLM open-weight per questo specifico dominio e di stabilire un dataset di ground-truth per facilitare una generazione affidabile di threat intelligence automatizzata.

Metodologia

Costruzione del Dataset (CAV-STIXGen)

Per affrontare la mancanza di benchmark specifici per il dominio, gli autori hanno costruito il dataset CAV-STIXGen attraverso un processo in sei fasi:

1. Costruzione delle Parole Chiave: Una lista di parole chiave specifiche del dominio è stata generata utilizzando LLM e raffinata dagli autori per coprire i componenti dei CAV (es. LiDAR, bus CAN, V2X) e i produttori.
2. Raccolta CVE: 445 record CVE candidati sono stati recuperati dalla National Vulnerability Database (NVD) utilizzando le parole chiave.
3. Filtraggio della Rilevanza: I record sono stati filtrati in base a criteri di inclusione (componenti del veicolo, ricarica EV, infotainment, ecc.) e criteri di esclusione (vulnerabilità generiche web/software). Ciò ha portato a 183 CVE unici e rilevanti relativi ai CAV.
4. Annotazione: Due autori hanno annotato manualmente SDO e SRO per ogni CVE secondo le specifiche STIX 2.1, raggiungendo un accordo inter-rater del 94%.
5. Mappatura: I CVE sono stati mappati alle categorie CWE e alle tecniche MITRE ATT&CK. Le mappature fornite dalla NVD sono state verificate e l'analisi manuale è stata condotta laddove i dati NVD erano mancanti.
6. Conversione: Le annotazioni validate sono state convertite in bundle JSON STIX 2.1 di ground-truth.

Valutazione degli LLM

Lo studio ha valutato 11 LLM open-weight (da 4B a 120B di parametri) appartenenti a quattro categorie: general-purpose, specializzati in cybersecurity, orientati al codice e modelli a grande capacità. La valutazione ha previsto:

• Input: Identificativi e descrizioni dei CVE.
• Strategie: Sono state testate tre strategie di prompting:
  • Contextless (Senza contesto): Istruzioni minime.
  • STIX-guided (Guidato da STIX): Istruzioni esplicite per tipi di oggetti, relazioni e mappature.
  • Dynamic Few-Shot (Few-shot dinamico): Prompting guidato aumentato da cinque esempi di ground-truth simili selezionati tramite punteggio di similarità.
• Parametri: Gli esperimenti sono stati eseguiti con temperature di 0, 0.25, 0.75 e 1.0.
• Metriche: Micro-precision, recall e punteggi F1 sono stati utilizzati per l'estrazione di SDO, SRO e CWE. Per MITRE ATT&CK, sono stati riportati sia Match@1 (almeno una tecnica corretta) che Match@All (tutte le tecniche corrette).
• Configurazione Multi-Agente: Una configurazione utilizzando Gemma-4-31B e Codestral-22B è stata testata per esaminare se la decomposizione basata su ruoli (separando i compiti di estrazione, mappatura e validazione) migliorasse le prestazioni.

Analisi dei Pattern di Minaccia

Il dataset di ground-truth è stato analizzato per identificare le categorie CWE e le tecniche MITRE ATT&CK più frequenti. L'analisi di co-occorrenza è stata eseguita utilizzando FP-Growth (supporto minimo 0.02) e regole di associazione (fiducia minima 0.30) per identificare i pattern di attacco ricorrenti.

Contributi Chiave

1. Dataset CAV-STIXGen: Un dataset benchmark annotato manualmente che mappa 183 CVE relativi ai CAV in bundle JSON STIX 2.1 di ground-truth, inclusi SDO, SRO, CWE e mappature MITRE ATT&CK.
2. Valutazione degli LLM: Una valutazione completa di 11 LLM open-weight per la generazione di threat intelligence strutturata da descrizioni di vulnerabilità CAV non strutturate.
3. Analisi delle Strategie di Prompting: Uno studio comparativo che dimostra come diversi livelli di guida del compito (contextless, guidato, few-shot) influenzino la qualità della generazione attraverso diverse dimensioni e tipologie di modelli.
4. Identificazione dei Pattern di Minaccia: Un'analisi dei dati di ground-truth che rivela i pattern di co-occorrenza frequenti tra CWE e MITRE ATT&CK specifici per il dominio della sicurezza dei trasporti.

Risultati

Caratteristiche del Dataset

Il dataset finale contiene 183 CVE, comprendenti 1.383 istanze SDO e 1.395 istanze SRO. I tipi di SDO più frequenti sono infrastructure, attack-pattern, vulnerability, identity e threat-actor. In media, ogni CVE contiene 7.56 SDO, 7.62 SRO, 1.15 mappature CWE e 1.61 mappature MITRE ATT&CK.

Prestazioni degli LLM

• Strategia di Prompting: Il prompting dynamic few-shot ha costantemente prodotto i risultati migliori in tutti i compiti. Il prompting contextless ha prodotto prestazioni scarse, particolarmente per oggetti e relazioni implicite.
• Prestazioni per Compito:
  • Estrazione SDO: È stata raggiunta un'alta prestazione, con i top modelli (es. Phi-4, LLaMA-70B, Codestral-22B) che hanno raggiunto punteggi F1 di 0.94 sotto dynamic few-shot prompting.
  • Estrazione SRO: La prestazione è stata inferiore a causa della complessità nell'identificare coppie sorgente/target corrette e i tipi di relazione. Il miglior risultato è stato un punteggio F1 di 0.63 (Qwen-Coder).
  • Mappatura CWE: È stata osservata un'alta accuratezza, con diversi modelli che hanno raggiunto punteggi F1 vicini a 0.99 sotto dynamic few-shot prompting.
  • Mappatura MITRE ATT&CK: Questo è rimasto il compito più impegnativo. Mentre i punteggi Match@1 sono migliorati (fino a 0.68 per Gemma-4-31B), i punteggi Match@All sono rimasti bassi, indicando la difficoltà di identificare tutte le tecniche valide per un singolo CVE.
• Confronto tra Modelli: Nessun singolo modello eccelleva in tutti i sottotesti. I modelli orientati al codice (Qwen-Coder, Codestral) e i grandi modelli general-purpose (LLaMA-70B, GPT-120B) si sono generalmente comportati meglio.
• Configurazione Multi-Agente: La configurazione multi-agente ha migliorato l'estrazione SDO per Gemma-4-31B (F1 0.91) ma non ha superato costantemente i risultati few-shot del miglior modello singolo per l'estrazione SRO (Codestral-22B ha raggiunto 0.43 F1).

Analisi dei Pattern di Minaccia

• CWE: Le debolezze più frequenti sono state CWE-787 (Out-of-bounds Write), CWE-284 (Improper Access Control) e CWE-20 (Improper Input Validation). Cinque dei primi 10 CWE nel dataset si sovrappongono alla lista CWE Top 25 del 2025.
• MITRE ATT&CK: Le tecniche più frequenti sono state T1499 (Endpoint Denial of Service), T1203 (Exploitation for Client Execution) e T1210 (Exploitation of Remote Services).
• Co-occorrenza: La coppia di tecniche più frequente è stata T1203–T1499 (presente in 10 CVE), seguita da T1210–T1499 e T1068–T1548.

Significato e Rivendicazioni

L'articolo afferma che il dataset CAV-STIXGen fornisce una base necessaria per valutare la generazione di threat intelligence assistita dall'IA nel dominio dei trasporti. I risultati dimostrano che, sebbene gli LLM open-weight possano estrarre efficacemente oggetti di vulnerabilità espliciti e mappare le debolezze (CWE), faticano con il ragionamento a livello di grafo richiesto per l'estrazione di relazioni complesse e la mappatura completa delle tecniche di attacco (MITRE ATT&CK).

Gli autori sostengono che la guida del prompt è critica; specificamente, il dynamic few-shot prompting supera significativamente gli approcci contextless o puramente guidati fornendo esempi pertinenti all'obiettivo. Concludono che, sebbene gli LLM possano automatizzare parti della traduzione CVE-to-STIX, i modelli attuali richiedono validazione esterna e potenzialmente approcci multi-agente o di retrieval-augmented per gestire la piena complessità della threat intelligence strutturata, in particolare per la costruzione di relazioni e la mappatura di attacchi multi-tecnica. Lo studio posiziona il dataset e le sue scoperte come una risorsa per dare priorità alla difesa nella sicurezza dei trasporti, identificando i pattern di minaccia ricorrenti.