Sintesi Tecnica: Verifica di Intento e Danno: Una Difesa Unificata contro le Minacce Generate da LLM

1. Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati in applicazioni interattive, ma rimangono vulnerabili a interazioni avversarie che inducono output dannosi, ingannevoli o violanti le policy. I meccanismi di difesa esistenti soffrono di un limite strutturale: tipicamente analizzano o il prompt dell'utente (intento) o la risposta generata (danno) in isolamento, ma non entrambi congiuntamente.

Gli autori identificano una critica vulnerabilità di "separazione tra intento e danno". In molti attacchi reali, l'intento avversario viene espresso nel prompt attraverso una formulazione benigna, educativa, difensiva o orientata alla ricerca, mentre il danno azionabile si manifesta solo nella risposta generata. Viceversa, una risposta può discutere contenuti sensibili in un contesto legittimo (ad esempio, educazione alla sicurezza o analisi dei malware) senza abilitare il danno. Le difese a lato singolo falliscono in questi casi: le difese basate solo sul prompt perdono le risposte dannose mascherate da una formulazione benigna, mentre le difese basate solo sulla risposta bloccano eccessivamente richieste legittime contenenti contenuti sensibili perché non sono in grado di ragionare sull'intento dell'utente. Ciò crea un punto cieco strutturale in cui le interazioni insicure appaiono benigne se osservate da un solo lato.

2. Metodologia: Verifica Prompt–Risposta

Per affrontare questa vulnerabilità strutturale, gli autori propongono la Verifica Prompt–Risposta, un principio di sicurezza che valuta congiuntamente l'intento dell'utente e il danno della risposta prima che la risposta venga consegnata all'utente. Questo è istanziato attraverso un framework di difesa multi-agente centrato sulla verifica che opera come uno strato post-generazione.

Architettura del Framework

Il framework impiega tre agenti specializzati, i quali ricevono tutti il prompt dell'utente e la risposta generata dall'LLM come input, ma si concentrano su dimensioni di ragionamento ortogonali:

1. Analista del Compito (Task Analyst - TA): Valuta il prompt dell'utente per identificare l'intento avversario. Classifica le richieste in cinque tipi di task (generativo, rigenerativo, istruzionale, contestuale, multi-turno) e distingue tra utilizzi legittimi (es. educazione alla sicurezza) e tentativi di sfruttare l'LLM per la generazione malevola.
2. Analista della Sicurezza (Safety Analyst - SA): Valuta la risposta generata dall'LLM per contenuti dannosi attraverso cinque categorie di minacce: jailbreak, prompt injection, phishing/social engineering, codice malevolo/abuso cibernetico e contenuti dannosi/tossici. Si concentra sulla capacità di azione e sulla gravità della minaccia piuttosto che su parole chiave superficiali.
3. Giudice (Judge): Agisce come risolutore di conflitti. Esamina criticamente le valutazioni del TA e del SA attraverso un protocollo di dialogo strutturato in due round. Il Giudice risolve i disaccordi applicando regole decisionali coerenti con la sicurezza, dando priorità alla gravità del danno quando viene rilevato un contenuto procedurale ad alto rischio, o riducendo i falsi positivi quando viene stabilito un chiaro intento benigno.

Protocollo di Dialogo a Due Round

Gli agenti interagiscono tramite un protocollo deterministico a due round per imporre la verifica indipendente e l'esame incrociato:

• Round 1: Il TA e il SA valutano indipendentemente la coppia prompt-risposta senza accesso al ragionamento dell'altro. Ciò impedisce che la formulazione avversaria nel prompt contamini la valutazione del danno e impedisce che l'output dannoso pregiudichi la classificazione dell'intento.
• Round 2: Entrambi gli agenti ricevono le valutazioni del Round 1 dell'altro e sono invitati a perfezionare la propria posizione. Ad esempio, il SA può elevare la propria valutazione se il TA identifica che una richiesta di "informazione" è in realtà una ricerca di danno procedurale, o il TA può rivedere una classificazione se il SA identifica un danno azionabile nel contenuto.
• Decisione Finale: Il Giudice esamina l'intero scambio e produce una decisione finale di autorizzazione o rifiuto.

Adattabilità

Il framework codifica tutta la logica di sicurezza nelle Istruzioni di Sistema (System Instructions - SI) piuttosto che nei pesi del modello. Ciò consente al sistema di adattarsi a nuove categorie di minacce o strategie solo tramite aggiornamenti delle SI, senza dover riaddestrare il modello sottostante o raccogliere nuovi dati. L'architettura è agnostica rispetto al modello e può essere implementata su diversi backbone di LLM.

3. Valutazione e Risultati

Il framework è stato valutato attraverso cinque categorie di minacce (jailbreak, prompt injection, phishing, codice malevolo/abuso cibernetico e contenuti dannosi) utilizzando 18 impostazioni di dataset, inclusi JailbreakBench, AdvBench, PhishBots, MOCHA e HarmBench.

Metriche di Prestazione Chiave

• Accuratezza della Rilevazione: Il framework ha superato costantemente i baseline più forti applicabili per ogni categoria. In tutte le categorie di minacce, il punteggio F1 medio è migliorato da 0,898 (baseline più forti) a 0,952.
• Tasso di Successo dell'Attacco (ASR): Il framework ha ridotto l'ASR medio al 4,1%.
• Falsi Positivi: Sulle richieste benigne ma sensibili (es. educazione alla sicurezza, discussione di policy), il framework ha ridotto il Tasso di Falsi Positivi (FPR) da 0,116 (baseline Single-Agent+CoT) a 0,062, riducendo significativamente il blocco eccessivo.
• Confronto con i Baseline: Rispetto a un baseline Single-Agent+CoT, il framework completo ha migliorato l'F1 medio da 0,872 a 0,953.

Robustezza agli Attacchi Adattivi

Gli autori hanno valutato la robustezza contro attacchi adattivi consapevole dell'architettura, in cui gli attaccanti conoscono la struttura del verificatore e tentano di aggirare i singoli componenti (ad esempio, offuscamento dell'intento o attacchi mirati al Giudice).

• Sotto attacchi di offuscamento dell'intento, il framework completo ha ridotto l'ASR adattivo a 0,073, rispetto allo 0,219 del Single-Agent+CoT.
• Sotto attacchi mirati al Giudice, il framework ha mantenuto un ASR medio di 0,089, rispetto allo 0,241 del baseline.
• I risultati indicano che il framework degrada più gradualmente perché gli attacchi devono sovvertire simultaneamente l'analisi dell'intento, la valutazione del danno e la risoluzione dei conflitti.

Compromesso di Costo

Il framework introduce latenza e consumo di token aggiuntivi (2,81 secondi e 1.740 token per campione) rispetto ai baseline a passaggio singolo. Gli autori concludono che questo costo è giustificato per interazioni incerte, ad alto rischio o sensibili dal punto di vista delle policy, dove prevenire la consegna non sicura è fondamentale.

4. Contributi Chiave

1. Identificazione della Separazione tra Intento e Danno: Il paper stabilisce che separare l'intento avversario (nel prompt) dal danno azionabile (nella risposta) è un limite strutturale delle difese esistenti a lato singolo.
2. Principio di Verifica Prompt–Risposta: Propone un principio di sicurezza unificato che verifica entrambi i segnali congiuntamente prima della consegna, istanziato tramite un framework multi-agente con ruoli specializzati (Analista del Compito, Analista della Sicurezza, Giudice).
3. Copertura Unificata delle Minacce: Il framework dimostra miglioramenti costanti in cinque diverse categorie di minacce abilitate da LLM senza richiedere il riaddestramento del modello.
4. Validazione della Robustezza: Attraverso studi di ablazione e valutazioni di attacchi adattivi, il paper mostra che la verifica incrociata strutturata supera il ragionamento a singolo agente, i baseline CoT e l'aggregazione basata su regole, mantenendo bassi i tassi di falsi positivi sulle richieste benigne ma sensibili.
5. Percorso di Implementazione Pratica: Il design basato su SI offre un approccio agnostico rispetto al modello che può essere aggiornato dinamicamente per affrontare minacce in evoluzione.

5. Significato e Rivendicazioni

Il paper sostiene che la verifica prompt–risposta fornisce una base pratica per mettere in sicurezza le applicazioni LLM contro le minacce avversarie in evoluzione. La sua importanza risiede nel colmare il "punto cieco strutturale" dove le difese esistenti non riescono a correlare l'intento con l'esito. Separando ed esaminando esplicitamente i segnali di intento e di danno, il framework offre un meccanismo di difesa più robusto, meno suscettibile alla formulazione avversaria e all'offuscamento dell'intento.

Gli autori posizionano questo lavoro non come un sostituto del red-teaming continuo o della revisione umana, ma come uno strato complementare che migliora l'affidabilità delle interazioni con l'LLM in ambienti ad alto rischio. I risultati suggeriscono che il vantaggio principale non è semplicemente l'uso di più agenti, ma la separazione esplicita dei segnali di sicurezza che le difese esistenti spesso collassano o ispezionano in isolamento.