💻 computer science

When to Trust the Map: Confidence-Aware LLM Routing for Automotive CVE-to-ATM Mapping

Questo articolo propone un framework di routing per LLM consapevole della confidenza che riformula la mappatura da CVE ad ATM in ambito automotive come un problema di automazione selettiva, utilizzando l'apprendimento in contesto gerarchico e punteggi di confidenza calibrati per instradare le mappature nelle categorie di auto-conferma, revisione o sospensione, migliorando così significativamente la precisione rispetto ai baseline zero-shot e isolando i casi incerti per la revisione dell'analista.

Autori originali: Heeyun Heo, Sangmin Park, Huy Kang Kim, Sanghoon Jeon

Pubblicato 2026-07-22

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Heeyun Heo, Sangmin Park, Huy Kang Kim, Sanghoon Jeon

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate il mondo digitale come una metropoli enorme e frenetica dove ogni auto è ora un dispositivo intelligente, che comunica costantemente con il cloud, con altre auto e persino con i semafori. Proprio come in una città, questa metropoli digitale ha la sua serie di malintenzionati che cercano di infiltrarsi, rubare dati o causare il caos. Per mantenere tutti al sicuro, gli esperti di sicurezza utilizzano due "linguaggi" diversi per descrivere queste minacce. Un linguaggio, chiamato CVE, è come il manuale tecnico di un meccanico; elenca esattamente quale bullone è allentato o quale filo è sfilacciato. L'altro linguaggio, l'ATM (Automotive Threat Matrix), è più simile al taccuino di un detective; descrive come pensa un criminale, quali sono i suoi obiettivi e quali trucchi specifici usa per commettere un crimine.

Il problema è che questi due linguaggi non comunicano bene tra loro. Una nota di un meccanico su un filo interrotto non dice automaticamente a un detective: "Ah, questa è una tattica di 'Esecuzione di Codice Remoto!'". Se proviamo a tradurli automaticamente usando l'Intelligenza Artificiale (IA), l'IA potrebbe confondersi, mescolare gli indizi o inventare con estrema sicurezza un crimine mai avvenuto. Nel mondo delle auto a guida autonoma, un errore non è solo un refuso; potrebbe significare che un'auto viene hackerata o che un sistema di sicurezza non si attiva. Quindi, la grande domanda non è solo "L'IA può tradurre queste minacce?", ma "Possiamo fidarci abbastanza dell'IA da lasciarla decidere da sola, o abbiamo bisogno di un essere umano che controlli il lavoro?".

È qui che entra in gioco il documento "When to Trust the Map" (Quando fidarsi della mappa). I ricercatori, lavorando con un team della Korea University e della Kookmin University, hanno deciso di smettere di chiedere all'IA di semplice "indovinare e controllare". Invece, hanno costruito un sistema intelligente che agisce come un poliziotto del traffico consapevole della propria fiducia. Si sono resi conto che, sebbene l'IA sia brava a generare idee, spesso soffre di "allucinazioni" — inventare cose con totale sicurezza. Per risolvere questo problema, hanno creato un framework che non si limita a produrre un elenco di minacce, ma assegna un punteggio di fiducia a ogni singola proposta, chiedendo essenzialmente all'IA: "Quanto sei sicura?".

Ecco come funziona il loro sistema, usando un'analogia giocosa: Immaginate che l'IA sia un giovane detective che cerca di risolvere un caso. Invece di lasciare che il detective vaghi liberamente, il sistema lo sottopone a un rigoroso campo di addestramento. Prima, il detective consulta una biblioteca di casi passati risolti (chiamata "apprendimento nel contesto" o in-context learning) per trovare schemi simili. Poi, il sistema non si limita a prendere l'IA per la parola: invia il caso a un secondo detective (un'IA "giudice") che guarda solo le prove grezze — il testo effettivo del rapporto di sicurezza — senza conoscere ciò che il primo detective ha ipotizzato. Questo secondo detective controlla se gli indizi supportano effettivamente la teoria.

Il sistema combina poi queste due voci: la coerenza del primo detective (ha indovinato la stessa cosa più volte?) e il controllo delle prove del secondo detective (il testo dice davvero questo?). Questi segnali vengono alimentati in un "meta-modello", che è come un saggio vecchio capo della polizia. Il capo calcola un punteggio di fiducia finale (un numero tra 0 e 1) per ogni singola proposta di minaccia. In base a questo punteggio, il sistema inserisce ogni proposta in uno di tre contenitori:

AUTO (La luce verde): Se il punteggio di fiducia è molto alto (sopra lo 0,74 nella loro modalità migliore), il sistema dice: "Questo è solido! Possiamo fidarci automaticamente". Nei loro test, quando il sistema era così fiducioso, aveva ragione l'87,8% delle volte. Questo è più del doppio dell'accuratezza derivante dal semplice indovinare casualmente o dall'uso di metodi IA più vecchi e semplici.
REVIEW (La luce giale): Se il punteggio è nel mezzo, il sistema dice: "Questo sembra interessante, ma non sono sicuro al 100%. Vediamo un esperto umano". Ciò assicura che i casi difficili o ambigui ricevano l'attenzione umana necessaria.
HOLD (La luce rossa): Se il punteggio è molto basso, il sistema dice: "Non ne ho idea e le prove sono deboli. Metti in pausa". Nei loro test, ogni singolo caso che il sistema ha inserito nel contenitore "HOLD" era effettivamente errato, dimostrando che il sistema sa quando non tirare a indovinare.

I ricercatori hanno testato questo sistema su un dataset di 269 veri rapporti di sicurezza automobilistica (CVE) che erano stati accuratamente etichettati da esperti umani. Hanno scoperto che il loro approccio "consapevole della fiducia" era molto più efficace nel filtrare le risposte errate rispetto a una IA standard che cerca semplicemente di rispondere alla domanda direttamente. Separando le "certezze" dalle "possibilità", hanno dimostato che possiamo automatizzare gran parte del lavoro pericoloso senza perdere in sicurezza.

Il documento sostiene esplicitamente l'idea che non possiamo semplicemente fare affidamento su un singolo modello di IA per svolgere questo compito perfettamente da solo. Hanno scoperto che, senza questo strato extra di controllo e punteggio di fiducia, i modelli di IA sono troppo inclini a errori e "allucinazioni" per essere affidati ad ambienti critici per la sicurezza come le automobili. Hanno anche escluso l'idea che chiedere semplicemente all'IA di ripetere la risposta più volte (coerenza) sia sufficiente; è necessario anche quel secondo "giudice" per controllare l'effettiva evidenza.

In breve, questo articolo suggerisce che non dobbiamo scegliere tra la sicurezza umana e la velocità dell'IA. Inveve, possiamo costruire un sistema che conosca i propri limiti. Agisce come un filtro intelligente, permettendo all'IA di gestire le minacce facili e ovvie automaticamente, segnalando al contempo quelle confuse agli esperti umani. Questa "automazione selettiva" potrebbe aiutare i produttori di auto ad aggiornare i loro piani di sicurezza più velocemente e con maggiore accuratezza, garantendo che, quando viene scoperta una nuova vulnerabilità, le contromisure appropriate siano applicate senza il rischio che l'IA commetta errori. I risultati, misurati sul loro specifico set di test, mostrano una via chiara da seguire: un framework in cui l'IA dice: "Sono abbastanza fiduciosa da guidare questa parte dell'auto", mentre l'umano rimane al posto di guida per tutto il resto.

Sintesi Tecnica: Instradamento di LLM Consapevole della Confidenza per la Mappatura CVE-to-ATM nel Settore Automotive

Definizione del Problema
Il documento affronta la sfida critica di mappare le Vulnerabilità e Esposizioni Comuni (CVE) alla matrice delle minacce automotive Auto-ISAC (ATM). Mentre le CVE descrivono vulnerabilità tecniche, l'ATM organizza il comportamento avversario in tattiche e tecniche. La mappatura automatizzata diretta è difficile perché queste rappresentazioni non sono allineate; le mappature errate in ambienti automotive critici per la sicurezza possono distorcere l'interpretazione delle minacce e la priorità delle mitigazioni. Inoltre, i framework general-purpose come MITRE ATT&CK mancano di un contesto specifico per l'automotive (ad esempio, iniezione CAN, compromissione OTA), e i Large Language Models (LLM) soffrono di allucinazioni e incoerenza nella generazione, rendendo inaffidabile l'automazione a output singolo per compiti critici per la sicurezza. Il problema centrale è formulato come una sfida di automazione selettiva: distinguere le mappature abbastanza affidabili da essere adottate automaticamente da quelle che richiedono la revisione di un analista.

Metodologia
Il framework proposto opera attraverso una pipeline in quattro fasi progettata per generare, verificare, calibrare e instradare le mappature candidate:

Generazione di Candidati Gerarchica a Due Stadi:
- Il sistema decompone il compito prevedendo prima una tattica e poi prevedendo le tecniche condizionate da tale tattica.
- Utilizza l'Apprendimento in Contesto Gerarchico (Hierarchical ICL) con OpenAI GPT-5.2 (sforzo di ragionamento = alto).
- Fase 1 (Tattica): Il modello seleziona tra 14 ID di tattiche validi utilizzando uno schema di function-calling per prevenire violazioni dell'ontologia.
- Fase 2 (Tecnica): Per ogni tattica predetta, il modello predice le tecniche appartenenti al sottoinsieme specifico associato a quella tattica. Recupera $k=8$ esempi semanticamente simili da un "Pool di Esemplari" (derivato da vecchie CVE) tramite recupero k-nearest-neighbor (kNN) per focalizzarsi su pattern specifici della tattica.
- Coerenza: Per mitigare l'instabilità dell'LLM, ogni fase viene invocata $N=5$ volte. Viene calcolato un punteggio di coerenza a livello di coppia come il prodotto della frequenza della tattica e della frequenza della tecnica data quella tattica.
Verifica Multi-Segnale:
- Per distinguere tra errori generati frequentemente e mappature corrette, il sistema impiega un LLM-as-a-Judge basato sull'evidenza.
- Il verificatore estrae sei elementi strutturati dal testo della CVE (allineati con ISO/SAE 21434 TARA), come i componenti interessati e le interfacce di attacco. Gli elementi non dichiarati sono contrassegnati come "sconosciuti" per imporre un ragionamento basato esclusivamente sulle evidenze.
- Il verificatore valuta ogni candidato su tre assi: supporto (support), contraddizione (contradiction) e sufficienza (sufficiency). I candidati vengono anonimizzati prima della verifica per prevenire bias.
Calibrazione della Confidenza:
- Un meta-modello (regressione logistica con regolarizzazione L2) viene addestrato su un Set di Sviluppo per integrare la stabilità di generazione (coerenza) e i segnali di verifica (supporto, contraddizione, sufficienza) in un unico punteggio di confidenza calibrato ( $\hat{p}$ ).
- Il modello include termini di interazione (es. coerenza $\times$ supporto) per garantire che la confidenza sia alta solo quando sono presenti sia la stabilità di generazione che il supporto fattuale.
- Viene applicata una calibrazione post-hoc (scaling sigmoidale e di temperatura) per correggere l'over/under-confidence.
Instradamento Operativo a Tre Livelli:
- In base a $\hat{p}$ $\overset{p}{^}$ , i candidati vengono instradati in tre livelli:
  - AUTO: Alta confidenza; confermati automaticamente per i registri delle vulnerabilità.
  - REVIEW: Moderata confidenza; instradati agli analisti con evidenze di supporto.
  - HOLD: Bassa confidenza; differiti fino a disponibilità di ulteriori evidenze.
- Le soglie ( $\tau_{auto}$ , $\tau_{hold}$ ) sono ottimizzate per bilanciare precisione e richiamo, permettendo diversi modi operativi (Alta Confidenza, Bilanciato, Alto Copertura).

Contributi Chiave

Formulazione: Il documento formalizza la mappatura CVE-to-ATM automotive come un problema di automazione selettiva, separando esplicitamente i casi confermabili automaticamente da quelli che richiedono la supervisione umana.
Framework: Introduce un framework di instradamento multi-segnale che combina ICL gerarchico, controlli di auto-coerenza e verifica basata sull'evidenza per guidare un processo decisionale calibrato a tre livelli.
Dataset: Gli autori hanno costruito un dataset di riferimento di 269 CVE automotive con 483 coppie tattica-tecnica annotate da esperti, affrontando la mancanza di dati pubblici per questo specifico compito di mappatura.

Risultati
Valutato su un set di test di 58 CVE (98 coppie gold), il sistema ha dimostrato miglioramenti significativi rispetto ai baseline:

Qualità dei Candidati: Il sistema proposto ha raggiunto una precisione di 0,395 (rispetto allo 0,277 di un baseline Flat Zero-shot GPT-5.2) mantenendo un richiamo (recall) equivalente (0,745), riducendo il numero medio di predizioni per CVE da 4,55 a 3,19.
Performance di Instradamento: In modalità High-Confidence (soglia $\tau_{auto} \approx 0,74$ ), il livello AUTO ha raggiunto una precisione di 0,878, più del doppio del tasso di base del set di candidati (0,395).
Calibrazione: Il punteggio di confidenza calibrato $\hat{p}$ ha raggiunto un AUROC di 0,868 nel distinguere candidati corretti da errati, superando significativamente un baseline basato solo sulla coerenza (AUROC 0,705).
Ablazione: La rimozione dei segnali del giudice basati sull'evidenza ha causato un drastico calo dell'AUROC, confermando che la sola coerenza è insufficiente per una stima affidabile della confidenza.

Significatività e Rivendicazioni
Il documento sostiene che questo framework fornisce una via percorribile per l'automazione selettiva nella cybersecurity automotive. Isolando le mappature ad alta confidenza, il sistema supporta i flussi di lavoro autonomi dei Sistemi di Gestione della Cybersecurity (CSMS) preservando al contempo l'attenzione degli analisti per i casi ambigui. Gli autori sottolineano che il framework offre evidenze decisionali tracciabili (punteggi di confidenza e segnali di verifica) richiesti per la conformità ISO/SAE 21434 e i flussi di lavoro di audit.

Gli autori rimangono modesti riguardo all'ambito, osservando che:

La valutazione è limitata all'attuale ontologia ATM (14 tattiche, 75 tecniche) e al dataset costruito.
Il sistema si basa su un singolo modello backbone (GPT-5.2) sia per la generazione che per la verifica, sebbene vengano utilizzate salvaguardie come l'evidenza basata sul contesto e l'anonimizzazione dei candidati per mitigare il bias di auto-conferma.
L'efficacia del livello "REVIEW" nella pratica richiede studi sul campo futuri con analisti della sicurezza.
Il sistema non gestisce attualmente effetti secondari indiretti o estensioni speculative, concentrandosi strettamente su fasi di attacco direttamente verificabili.

Articoli simili