💻 computer science

Validating Threat Modeling Results with the Help of Vulnerable Test Applications

Questo articolo propone e convalida un approccio fondato sulle vulnerabilità per valutare la completezza della modellazione delle minacce, dimostrando che uno strumento assistito da LLM (ThreMoLIA) supera lo strumento Microsoft Threat Modeling Tool nel rilevare vulnerabilità note all'interno di applicazioni di test intenzionalmente vulnerabili.

Autori originali: Oleksandr Adamov, Davide Fucci, Felix Viktor Jedrzejewski, Ricardo Britto, Nishrith Saini

Pubblicato 2026-05-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Oleksandr Adamov, Davide Fucci, Felix Viktor Jedrzejewski, Ricardo Britto, Nishrith Saini

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire un castello. Prima ancora di posare il primo mattone, vuoi assicurarti di aver pensato a ogni modo in cui un ladro potrebbe infiltrarsi. Questo processo di pianificazione si chiama modellazione delle minacce. Disegni mappe del tuo castello (diagrammi architetturali) e elenchi ogni possibile modo in cui un ladro potrebbe irrompere (minacce).

Il grande problema? Come fai a sapere che la tua lista è completa? Di solito, chiederesti a una guardia di sicurezza esperta di esaminare la tua lista e dirti: "Bravo, non hai dimenticato nulla". Ma cosa succede se l'esperto è stanco, o se ha un'opinione diversa dalla tua? È difficile esserne certi.

Questo articolo introduce un nuovo metodo intelligente per testare questi piani di sicurezza: Il Test della "Casa-Trappola".

L'Esperimento della "Casa-Trappola"

Invece di chiedere semplicemente a un esperto, i ricercatori hanno costruito due "case-trappola" digitali (applicazioni vulnerabili):

AzureGoat: Una configurazione cloud progettata per avere specifiche falle di sicurezza note.
VulnBank: Una finta applicazione bancaria progettata per essere piena di buchi, inclusi alcuni insidiosi legati all'intelligenza artificiale.

Queste case hanno una "scheda di punteggio" che indica esattamente dove si trovano i buchi. I ricercatori non hanno detto agli strumenti di sicurezza dove fossero i buchi; hanno semplicemente fornito agli strumenti i progetti (le mappe) e chiesto: "Trova le minacce".

I Contendenti

I ricercatori hanno messo alla prova due diversi "detective della sicurezza" l'uno contro l'altro:

Il Veterano (MTMT): Lo Strumento di Modellazione delle Minacce di Microsoft. È uno strumento ben noto e tradizionale che segue un rigido e consolidato manuale di regole (chiamato STRIDE) per individuare le minacce. Pensa a un detective esperto, eccellente nel trovare metodi classici come lo scasso delle serrature e la rottura delle finestre.
Il Neofita (ThreMoLIA): Un nuovo strumento alimentato da una grande intelligenza artificiale (un LLM). Questo detective è intelligente, legge i progetti e utilizza un'enorme libreria di conoscenze per indovinare dove potrebbero colpire i malintenzionati, inclusi trucchi moderni come la manipolazione dell'IA.

I Risultati: Chi ha trovato più buchi?

I ricercatori hanno contato quanti dei noti "buchi" nelle case-trappola ciascuno strumento ha individuato.

Nella Casa Cloud (AzureGoat):
- ThreMoLIA (l'IA): Ha trovato il 100% dei buchi (7 su 7). Ha colto tutto.
- MTMT (Il Veterano): Ha trovato solo il 57% (4 su 7). Ha saltato alcuni.
Nella Casa Bancaria (VulnBank):
- ThreMoLIA: Anche con solo il progetto di base, ha trovato il 73% dei buchi. Quando i ricercatori gli hanno fornito un contesto aggiuntivo (come un secondo sguardo ai documenti), ha trovato il 92% dei buchi. Crucialmente, ha trovato tutti i buchi di sicurezza legati all'IA.
- MTMT: Ha trovato solo il 55% dei buchi. Ha fatto un ottimo lavoro sui problemi bancari tradizionali (come problemi di accesso), ma ha mancato completamente tutte le vulnerabilità legate all'IA.

Cosa significa questo?

L'articolo conclude che l'uso di queste "case-trappola" è un ottimo modo per testare gli strumenti di sicurezza perché si dispone di una chiave di risposta nota. Non devi indovinare se lo strumento è buono; puoi semplicemente contare i colpi andati a segno.

Il punto principale è che lo strumento assistito dall'IA (ThreMoLIA) è stato migliore nel trovare vulnerabilità rispetto allo strumento tradizionale, specialmente quando il sistema coinvolgeva tecnologie moderne come l'IA. Lo strumento tradizionale è ancora valido per problemi classici, ma fatica con la nuova e complessa miscela di rischi di sicurezza vecchi e nuovi.

Le Avvertenze (Il "Carattere Piccolo")

Gli autori fanno attenzione a notare alcune cose:

Recall vs. Precisione: Questo test ha misurato quanti buchi reali sono stati trovati (recall), non quanti falsi allarmi sono stati sollevati. Lo strumento IA ha trovato più buchi reali, ma l'articolo non afferma che non sollevi mai falsi allarmi (anche se dice che il loro sistema li filtra).
Punteggio "Fuso": Il miglior punteggio dello strumento IA è stato ottenuto combinando due tentativi diversi. È come chiedere all'IA di risolvere il puzzle due volte e prendere le migliori risposte da entrambi. Questo richiede un po' più di lavoro rispetto alla singola esecuzione dello strumento tradizionale.
Ambito Limitato: Hanno testato solo due applicazioni specifiche. Sebbene i risultati siano promettenti, non hanno ancora testato questo metodo su reti di telecomunicazioni reali e massive (anche se questo è il loro prossimo obiettivo).

In breve: se vuoi sapere se uno strumento di sicurezza può individuare debolezze reali, non chiedere solo a un esperto. Dagli un edificio rotto e vedi se riesce a trovare tutte le crepe. In questo test, il detective alimentato dall'IA ha trovato più crepe di quello tradizionale.

Riepilogo Tecnico: Validazione dei Risultati della Modellazione delle Minacce con Applicazioni di Test Vulnerabili

Enunciato del Problema
La validazione dei risultati della modellazione delle minacce rimane una sfida significativa nell'ingegneria della sicurezza. Sebbene la modellazione delle minacce sia una pratica consolidata di "sicurezza by design" per identificare le minacce potenziali in fase iniziale, valutare oggettivamente la qualità di un modello di minacce generato è difficile. I metodi di validazione attuali si basano tipicamente sul confronto dell'output con un modello di riferimento prodotto da esperti o con una linea di base umana. Tuttavia, questi approcci ereditano i limiti del riferimento stesso: gli esperti possono non essere d'accordo, operare a diversi livelli di astrazione o semplicemente trascurare minacce rilevanti. Di conseguenza, manca un "oracolo" esterno e oggettivo per giudicare la completezza dei modelli di minacce senza fare affidamento esclusivamente sul giudizio umano soggettivo.

Metodologia
Per affrontare questo problema, gli autori propongono e valutano un approccio di validazione basato sulle vulnerabilità. Invece di confrontarsi con un altro modello umano, questo metodo utilizza applicazioni intenzionalmente vulnerabili con un insieme noto di vulnerabilità come oracolo di verità fondamentale. La domanda di ricerca principale è: In quale misura le minacce prodotte dagli strumenti di modellazione delle minacce, dati in input l'architettura, i Diagrammi del Flusso di Dati (DFD) e le descrizioni generali, coprono le vulnerabilità note nelle applicazioni analizzate?

Lo studio confronta due strumenti:

ThreMoLIA: Una soluzione di modellazione delle minacce assistita da LLM sviluppata dagli autori. Utilizza la Generazione Aumentata per il Recupero (RAG) per incorporare la documentazione del progetto, l'architettura di alto livello e i DFD. Supporta framework tradizionali (STRIDE, LINDDUN, OWASP Top 10, MITRE ATT&CK) e framework specifici per l'IA (MITRE ATLAS, OWASP Top 10 ML, OWASP Top 10 LLM).
Microsoft Threat Modeling Tool (MTMT): Uno strumento ampiamente utilizzato, basato su STRIDE e fondato sulle pratiche Microsoft SDL.

L'esperimento ha utilizzato due applicazioni di riferimento:

AzureGoat: Un'infrastruttura Azure progettata per essere vulnerabile, contenente 7 vulnerabilità note (errori di configurazione web e cloud).
VulnBank: Un'applicazione bancaria deliberatamente vulnerabile contenente 63 vulnerabilità note (difetti web, API e integrati con l'IA).

Procedura Sperimentale

Input: Entrambi gli strumenti hanno ricevuto gli stessi input: diagrammi architetturali, DFD e descrizioni. Le liste delle vulnerabilità note sono state trattenute durante la fase di modellazione e utilizzate solo per la valutazione.
Configurazione:
- MTMT è stato eseguito una volta per applicazione.
- ThreMoLIA è stato eseguito utilizzando il modello GPT-5 tramite l'API di OpenAI. È stato testato in diverse configurazioni: 0-shot (solo DFD), 1-shot (DFD + documentazione), 2-shot (DFD + documentazione aggiuntiva) e un risultato unito di 1-shot e 2-shot.
- Per mitigare la variabilità degli LLM, ThreMoLIA è stato eseguito tre volte per configurazione e i risultati sono stati aggregati.
Metrica: La metrica principale è la Copertura delle Minacce, definita come il rapporto tra le vulnerabilità note coperte da almeno una minaccia modellata e il numero totale di vulnerabilità note ( $V_{coperte} / V_{note}$ ). Una vulnerabilità è stata considerata "coperta" se un esperto ha determinato che una minaccia modellata descriveva semanticamente la vulnerabilità o la condizione che ne permetteva lo sfruttamento. Lo studio nota che i falsi positivi (allucinazioni) sono stati rimossi durante il passaggio di validazione basato su LLM, e le minacce valide senza corrispondenti vulnerabilità non sono state penalizzate, poiché la modellazione delle minacce non ha un limite teorico superiore per le minacce valide.

Risultati Chiave
I risultati, riassunti nella Tabella I del documento, dimostrano che ThreMoLIA ha ottenuto una copertura delle vulnerabilità superiore a MTMT in entrambe le applicazioni:

AzureGoat: ThreMoLIA ha ottenuto una copertura del 100% (7/7 vulnerabilità), mentre MTMT ha coperto il 57,1% (4/7).
VulnBank:
- ThreMoLIA (0-shot) ha coperto il 73,0% (46/63), già superando MTMT.
- ThreMoLIA (1-shot) ha raggiunto l'85,7% (54/63).
- ThreMoLIA (2-shot) ha raggiunto l'82,5% (52/63).
- ThreMoLIA (Unito 1+2) ha ottenuto il 92,1% (58/63).
- MTMT ha coperto il 55,6% (35/63).
Risultati Specifici: MTMT ha funzionato bene su problemi convenzionali di gestione delle sessioni e difetti lato client, ma ha mancato tutte le 10 vulnerabilità relative al supporto clienti basato su IA in VulnBank. Al contrario, le migliori configurazioni di ThreMoLIA hanno coperto tutte le 10 vulnerabilità IA e tutte le 9 vulnerabilità di autenticazione/autorizzazione.
Complessivamente: La migliore configurazione di ThreMoLIA ha coperto il 92,9% (65/70) del totale delle vulnerabilità in entrambe le applicazioni, rispetto al 55,7% (39/70) di MTMT.

Significato e Affermazioni
Il documento afferma che le applicazioni di test vulnerabili forniscono un benchmark pratico per valutare la copertura delle minacce, offrendo un'alternativa misurabile alle linee di base basate solo su esperti. Spostando la valutazione da "Lo strumento ha corrisposto a un rapporto specifico di un esperto?" a "Lo strumento ha coperto le debolezze effettivamente presenti nel sistema?", l'approccio riduce la dipendenza dal consenso soggettivo umano.

Lo studio evidenzia che, sebbene MTMT rimanga efficace per le preoccupazioni architetturali standard e di tipo STRIDE, ThreMoLIA è più adatto a scenari applicativi misti che combinano superfici di attacco convenzionali e relative all'IA. I risultati suggeriscono che la modellazione assistita da LLM, in particolare quando potenziata con la documentazione del progetto (strategie di prompting), può migliorare significativamente la scoperta di vulnerabilità complesse e specifiche per l'IA.

Limitazioni e Lavori Futuri
Gli autori riconoscono diverse limitazioni:

La copertura è solo una dimensione della qualità; un'elevata recall non garantisce l'assenza di minacce irrilevanti.
Il risultato unito di ThreMoLIA non è strettamente equivalente in termini di costi a una singola esecuzione deterministica di MTMT.
Lo studio è stato limitato a sole due applicazioni.
Esiste il rischio che il modello GPT-5 sia stato addestrato su dati provenienti da queste specifiche applicazioni vulnerabili, sebbene gli autori abbiano mitigato questo aspetto rinominando le applicazioni negli input.

Il documento conclude che la validazione basata sulle vulnerabilità è un utile complemento alle linee di base degli esperti. Gli autori intendono estendere questa metodologia agli ambienti di telecomunicazione (incluse le reti core 5G e le infrastrutture cloud-native) e hanno intenzione di rilasciare ThreMoLIA come open source.