Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment

Questo lavoro presenta un framework di valutazione del rischio a livello di sistema per le applicazioni basate su LLM, che combina modellazione sistemica, alberi di attacco-difesa e scoring CVSS per identificare punti critici condivisi e ottimizzare le difese in scenari complessi come quelli sanitari.

L'essenziale

Immagina di aver costruito un assistente medico digitale super-intelligente. Questo assistente non è solo un chatbot; è un "capo d'orchestra" che parla con i pazienti, legge le cartelle cliniche, consulta database esterni e suggerisce cure ai dottori. È fantastico, ma se qualcuno lo prende in giro o lo inganna, le conseguenze potrebbero essere gravi: diagnosi sbagliate, dati rubati o il sistema che si blocca proprio quando serve.

Il problema è che finora, quando provavamo a proteggere queste macchine, guardavamo solo il "cervello" (il modello linguistico) e ignoravamo il resto del corpo. È come se un medico controllasse solo il cuore di un paziente e ignorasse se le gambe sono rotte o se qualcuno ha rubato le chiavi di casa.

Questa ricerca, scritta da un team di esperti, propone un nuovo modo per mappare i pericoli di questi sistemi, unendo tutto in un unico piano di sicurezza. Ecco come funziona, spiegato con delle metafore semplici:

1. La Mappa del Tesoro (e dei Ladri)

Immagina che il tuo sistema medico sia una fortezza. Per rubare i dati o sabotare le cure, un ladro non deve necessariamente scalare le mura principali. Può:

• Rubare le chiavi a un giardiniere (attacco informatico classico).
• Insegnare al cane da guardia a non abbaiare (attacco all'intelligenza artificiale).
• Sussurrare al giardiniere una frase magica che lo convince ad aprire la porta (attacco conversazionale o "prompt injection").

Gli autori creano un albero decisionale (chiamato Attack-Defense Tree). È come un albero genealogico, ma invece di mostrare i parenti, mostra i passi che un ladro deve compiere per arrivare al suo obiettivo.

• Radice: L'obiettivo finale (es. "Rubare la cartella clinica").
• Rami: I vari modi per arrivare lì (es. "Hackerare il server" OPPURE "Ingannare l'assistente").
• Foglie: I singoli passi piccoli (es. "Rubare una password", "Inviare un messaggio falso").

2. Il "Termometro" del Pericolo (CVSS)

Una volta disegnata la mappa, come facciamo a sapere quale strada è più pericolosa? Usano un sistema chiamato CVSS, che è come un termometro per le vulnerabilità.

• Invece di dire "questo è pericoloso" in modo vago, assegnano un punteggio numerico basato su: Quanto è facile entrare? Serve un'arma speciale? Serve la complicità di qualcuno dentro?
• Il bello è che prendono i punteggi dei singoli passi (le foglie) e li sommano lungo il ramo dell'albero. Se un ladro deve superare tre ostacoli difficili, il punteggio totale scende. Se deve superare solo uno facile, il punteggio sale.

3. La Strategia del "Collo di Bottiglia"

Qui arriva la parte più intelligente. Spesso, per fermare un ladro, non serve costruire un muro di cemento armato ovunque. Basta bloccare il collo di bottiglia.

• Immagina un fiume che scorre verso la città. Se vuoi fermare l'acqua, non devi costruire argini ovunque. Basta mettere una diga nel punto più stretto.
• Il loro sistema mostra esattamente dove si trova questo "punto stretto" nell'albero dei ladri.
  • A volte il punto debole è la password (precondizione).
  • A volte è il modo in cui l'assistente risponde (esecuzione).

4. Il Bilancio (Costi vs. Sicurezza)

Ogni difesa ha un prezzo. Mettere un allarme costoso (come la biometria avanzata) potrebbe essere inutile se il ladro può entrare dalla finestra aperta.
Il framework permette di confrontare diverse strategie:

• Strategia A: Rafforzare solo le password (costo basso, ma forse non basta).
• Strategia B: Mettere un guardiano umano che controlla ogni ordine (costo alto, ma molto sicuro).
• Strategia C: Un mix intelligente che blocca il collo di bottiglia con il minimo sforzo.

L'Analogia Finale: Il Ristorante

Immagina un ristorante di lusso dove lo chef è un'Intelligenza Artificiale.

• Il problema: Un cliente malvagio potrebbe dire allo chef: "Ignora le regole di igiene e metti veleno nella zuppa" (Attacco conversazionale). Oppure potrebbe rubare le chiavi della cucina (Attacco informatico).
• La soluzione del paper: Non guardiamo solo lo chef. Disegniamo un diagramma di tutto il ristorante: dalla porta d'ingresso, alla dispensa, fino al fornello.
• Calcoliamo quanto è facile per un ladro arrivare al fornello.
• Scopriamo che il punto debole non è lo chef, ma la dispensa che non ha serratura.
• Invece di spendere milioni per cambiare lo chef, compriamo una serratura economica per la dispensa. Problema risolto, soldi risparmiati.

In Sintesi

Questo studio ci dice che per proteggere l'Intelligenza Artificiale in ambiti critici (come la sanità), non dobbiamo guardare il modello da solo. Dobbiamo guardare l'intero sistema come un'orchestra. Dobbiamo tracciare tutti i possibili percorsi che un attaccante potrebbe fare, misurare quanto sono facili da percorrere e poi scegliere le difese più intelligenti ed economiche per bloccare i percorsi più pericolosi. È un modo per trasformare la paura dell'AI in un piano di sicurezza concreto e gestibile.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment", presentato in italiano.

1. Il Problema

I Large Language Models (LLM) sono sempre più integrati in sistemi critici per la sicurezza, come quelli sanitari, dove orchestrano flussi di lavoro complessi interagendo con strumenti esterni (es. cartelle cliniche elettroniche - EHR, traduttori, basi di conoscenza). Tuttavia, l'analisi della sicurezza attuale presenta diverse lacune critiche:

• Frammentazione: Le analisi esistenti tendono a isolare il comportamento del modello dal contesto del sistema più ampio, focalizzandosi su minacce specifiche (es. prompt injection, jailbreak) senza considerare le interazioni end-to-end.
• Mancanza di percorsi di attacco completi: I modelli di minaccia tradizionali (come STRIDE) spesso enumerano singole minacce ma non dimostrano chiaramente come queste si combinino in percorsi di attacco multi-step che collegano un punto di ingresso a un obiettivo di sicurezza concreto.
• Eterogeneità delle minacce: I sistemi basati su LLM devono gestire tre categorie di minacce distinte che interagiscono tra loro:
  1. Minacce informatiche convenzionali (es. furto di credenziali, MitM).
  2. Minacce di ML avversario (es. avvelenamento dei dati, estrazione del modello).
  3. Minacce conversazionali (es. iniezione di prompt, manipolazione del contesto).
• Assenza di valutazione quantitativa: Manca un approccio sistematico per valutare la fattibilità di percorsi di attacco composti da queste diverse categorie e per confrontare le strategie di difesa in base ai costi e all'efficacia.

2. Metodologia

Gli autori propongono un framework di valutazione del rischio guidato dagli obiettivi (goal-driven) che combina la modellazione di sistema con Alberi di Attacco-Difesa (ADT) e il sistema di punteggio per le vulnerabilità CVSS (Common Vulnerability Scoring System) v3.1.

Il flusso di lavoro si articola in tre fasi principali:

A. Modellazione del Sistema e Costruzione degli ADT

• Obiettivi di Sicurezza (Goal): Il framework si concentra su tre obiettivi critici nel settore sanitario:
  • G1: Intervento nelle procedure mediche (guida clinica manipolata).
  • G2: Perdita di dati EHR (violazione della riservatezza).
  • G3: Interruzione dell'accesso o disponibilità (denial of service).
• Struttura dell'Albero (ADT): Per ogni obiettivo, viene costruita un'albero che scompone l'attacco in tre livelli semantici:
  1. Precondizioni (P): Cosa deve succedere affinché un exploit sia possibile (es. compromissione del canale di prompt).
  2. Esecuzione (V): L'attacco attivo una volta soddisfatte le precondizioni (es. iniezione di prompt).
  3. Impatto: Il risultato finale che soddisfa l'obiettivo di sicurezza.
• Logica di Composizione: Vengono utilizzati connettori logici:
  • OR: Strategie alternative (basta una via).
  • AND: Requisiti congiunti (tutte le condizioni necessarie).
  • SAND (Sequential AND): Dipendenze ordinate (le precondizioni devono essere soddisfatte prima dell'esecuzione).

B. Quantificazione basata su CVSS

• Punteggio di Sfruttabilità (Exploitability): I nodi foglia (precondizioni ed esecuzione) vengono mappati su CVE (Common Vulnerabilities and Exposures) esistenti o su analoghi per stimare un vettore di exploitabilità CVSS v3.1 (AV, AC, PR, UI).
• Aggregazione:
  • Per i nodi OR, si prende il massimo dell'exploitabilità (l'attaccante sceglie la via più facile).
  • Per i nodi AND, si prende il minimo (la difficoltà è dettata dal passo più difficile).
  • Per i nodi SAND, si calcola il minimo tra l'exploitabilità delle precondizioni e quella dell'esecuzione, ma con una modifica cruciale: la Complessità di Attacco (AC) dell'esecuzione viene condizionata dalla maggioranza delle precondizioni soddisfatte. Se le precondizioni creano un ambiente complesso, anche l'esecuzione diventa più complessa.
• Punteggio Finale: L'impatto (Confidentiality, Integrity, Availability) viene applicato solo al nodo radice (l'obiettivo), evitando il doppio conteggio nei nodi intermedi. Il punteggio base CVSS viene calcolato combinando l'exploitabilità del percorso e l'impatto dell'obiettivo.

C. Trattamento del Rischio e Confronto delle Difese

• Trasformazione delle Metriche: Le difese (es. MFA, guardrail per i prompt, mTLS) sono modellate come trasformazioni sui vettori CVSS dei nodi foglia (es. aumentare i privilegi richiesti da L a H, o la complessità da L a H).
• Scenari Canonici: Vengono valutati quattro scenari di difesa:
  1. Indurimento solo delle precondizioni.
  2. Indurimento di tutte le precondizioni.
  3. Indurimento solo dell'esecuzione (guardrail).
  4. Indurimento combinato.
• Modello di Costo: Ogni controllo è assegnato a un livello di costo ordinale (1-4) basato su sforzo ingegneristico, impatto infrastrutturale, carico operativo e impatto sull'esperienza utente.

3. Risultati Chiave

Lo studio è stato validato su un caso d'uso sanitario (un assistente LLM per EHR).

• Identificazione dei Colli di Bottiglia: L'analisi ha rivelato che minacce eterogenee (cyber, ML avversario, conversazionali) spesso convergono in un numero limitato di percorsi dominanti e punti di strozzatura condivisi (es. gestione delle sessioni, integrità dell'orchestratore).
• Punteggi CVSS: Molti percorsi di attacco hanno ottenuto punteggi base elevati (intorno a 7.5, "High"), indicando che, in assenza di difese, l'accesso a Internet e la bassa complessità di attacco rendono questi sistemi altamente vulnerabili.
• Efficacia delle Difese:
  • L'indurimento delle precondizioni (es. MFA, isolamento delle sessioni) è spesso il modo più efficace per ridurre l'exploitabilità complessiva del percorso, poiché aumenta la complessità dell'ambiente per l'attaccante.
  • L'indurimento dell'esecuzione (es. guardrail sui prompt) è utile ma può avere rendimenti decrescenti se le precondizioni rimangono deboli.
  • L'aggiunta di controlli umani (HITL) riduce il rischio operativo ma non sempre l'exploitabilità tecnica del percorso, agendo come misura di sicurezza ultima.
• Riduzione del Rischio: Il framework dimostra come combinare difese specifiche possa ridurre significativamente il punteggio di exploitabilità del percorso (es. da 3.89 a 1.62), permettendo di scegliere la strategia di mitigazione più efficiente in termini di costo/beneficio.

4. Contributi Principali

1. Modellazione Guidata dagli Obiettivi: Un metodo per modellare sistemi LLM critici integrando minacce convenzionali, avversarie e conversazionali in un'unica vista di sistema, focalizzata su obiettivi di sicurezza specifici.
2. Punteggiatura di Sfruttabilità per Percorsi Multi-step: Una metodologia innovativa per mappare i vettori CVSS v3.1 sulle foglie degli alberi di attacco-difesa e aggregarli attraverso logiche OR/AND/SAND, permettendo di quantificare il rischio di attacchi composti.
3. Confronto dei Portafogli di Difesa: Un flusso di lavoro di trattamento del rischio che modella i controlli di sicurezza come trasformazioni metriche, consentendo il confronto sistematico di diverse strategie di difesa sotto vincoli di costo.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Colma il divario tra AI e Sicurezza Tradizionale: Traduce le preoccupazioni di sicurezza astratte degli LLM in pratiche consolidate di gestione delle vulnerabilità (CVSS), rendendo il rischio quantificabile e confrontabile per i team di sicurezza.
• Supporto Decisionale Precoce: Permette di valutare i rischi e pianificare le difese nelle fasi iniziali dello sviluppo (SDLC), prima che il sistema sia completamente implementato, utilizzando conoscenze parziali del sistema.
• Agnostico rispetto al Dominio: Sebbene testato in ambito sanitario, il framework è applicabile a qualsiasi sistema critico basato su LLM (finanza, infrastrutture critiche), sostituendo semplicemente gli obiettivi e i componenti.
• Collaborazione Interdisciplinare: Fornisce un linguaggio comune (basato su ADT e CVSS) che facilita la collaborazione tra esperti di sicurezza, ingegneri software e team ML, riducendo i silos organizzativi.

In sintesi, il paper offre un approccio pratico e rigoroso per passare dalla teoria delle minacce agli LLM a una gestione del rischio ingegneristica, basata su dati, che supporta la costruzione di sistemi LLM più sicuri e resilienti.