Sintesi Tecnica: Compromessi tra Sicurezza e Fedeltà nella Difesa contro il Prompt Injection

1. Definizione del Problema

Le difese attuali contro l'indirect prompt injection nei Large Language Models (LLM) soffrono di un punto cieco critico: valutano la sicurezza esclusivamente in base al fatto che un'istruzione iniettata sia stata eseguita (dirottata/hijacked). Questa metrica non riesce a distinguere tra due comportamenti qualitativamente differenti che portano entrambi alla "non-esecuzione":

1. Elaborazione Fedele (Faithful Processing): Il modello tratta correttamente il testo iniettato come dati non attendibili da elaborare secondo il compito (ad esempio, tradurre il testo, estrarre entità da esso).
2. Soppressione (Suppression): Il modello ignora o sopprime interamente il testo iniettato, trattandolo come rumore da scartare.

Sebbene entrambi i comportamenti impediscano al modello di seguire comandi malevoli, la soppressione costituisce un fallimento della fedeltà per i compiti che richiedono la preservazione o la trasformazione del contenuto di input (ad esempio, traduzione, editing di documenti o riassunto). I benchmark esistenti non riescono a rilevare questa distinzione perché spesso mancano di "separabilità comportamentale" — ovvero la capacità di produrre output distinguibili per l'esecuzione, l'elaborazione o l'ignoranza. Di conseguenza, una difesa che raggiunge un'alta sicurezza attraverso un'aggressiva soppressione di contenuti benigni con struttura simile a istruzioni può apparire robusta pur corrompendo l'utilità dell'applicazione.

2. Metodologia: Il Benchmark SECFID

Per colmare questa lacuna, gli autori introducono SECFID, un benchmark progettato per rendere la fedeltà misurabile insieme alla sicurezza.

Principio di Design Centrale: Separabilità Comportamentale

SECFID costruisce istanze in cui tre distinti comportamenti del modello producono output osservabili e distinguibili:

• EXECUTED (Eseguito): Il modello segue l'istruzione iniettata (ad esempio, rispondendo direttamente a una domanda sonda).
• PROCESSED (Elaborato): Il modello tratta il testo iniettato come dato e lo incorpora nell'output del compito (ad esempio, traducendo la sonda o includendo un'entità introdotta dalla sonda in un elenco).
• IGNORED (Ignorato): Il modello sopprime il testo iniettato, producendo un output identico all'input pulito senza la sonda.

Famiglie di Compiti

Il benchmark utilizza due famiglie di compiti per garantire questa separabilità:

1. Compiti su Testo Completo (Traduzione, Editing): Questi richiedono la preservazione o la trasformazione dell'intero input. Se una sonda viene ignorata, l'output presenta un'omissione misurabile rispetto al riferimento elaborato.
2. Compiti su Testo Parziale (Estrazione di Entità, Conteggio): Questi richiedono l'aggregazione di elementi specifici. Le sonde sono costruite per introdurre nuove entità o alterare i conteggi. Se elaborate, l'output include questi nuovi elementi; se ignorate, non li include.

Metriche di Valutazione

Gli autori definiscono due metriche primarie derivate dalle etichette comportamentali:

• Sicurezza: $1 - \text{Tasso di Esecuzione}$. Misura la robustezza contro il dirottamento delle istruzioni.
• Fedeltà: $1 - \text{Tasso di Ignoranza}$. Misura la capacità del modello di evitare la soppressione di contenuti rilevanti per il compito.
• Elaborazione Sicura (Safe Processing): L'intersezione tra essere elaborati e non eseguiti ($\text{PROCESSED} \land \neg \text{EXECUTED}$), che rappresenta il comportamento robusto ideale.

Il benchmark comprende 1.168 istanze attraverso 48 configurazioni di modelli (inclusi modelli API chiusi come Claude, Gemini, GPT e modelli a pesi aperti come Llama, Gemma, Qwen) e quattro meccanismi di difesa (ASIDE, DefensiveTokens, ISE, SECALIGN).

3. Risultati Chiave

La Frontiera Sicurezza–Fedeltà

Gli esperimenti rivelano un compromesso fondamentale: nessun modello o configurazione di difesa raggiunge contemporaneamente alta sicurezza e alta fedeltà.

• Modelli ad Alta Fedeltà: I modelli a pesi aperti senza difese (ad esempio, Llama 3.3 70B) raggiungono un'alta fedeltà (96,5%) ma una bassa sicurezza (47,8%), eseguendo spesso le iniezioni.
• Difese ad Alta Sicurezza: I modelli difesi (ad esempio, varianti di SECALIGN) raggiungono una sicurezza quasi perfetta (99,3%) ma subiscono cali significativi di fedeltà (71,0%–73,9%).
• La Frontiera: I modelli e le difese si distribuiscono lungo una frontiera dove i guadagni in sicurezza sono inversamente correlati alle perdite in fedeltà. La scalabilità della dimensione del modello sposta il punto operativo lungo questa frontiera, ma non elimina il compromesso.

Meccanismo di Difesa: Riparazione vs. Soppressione

Il documento dimostra che le difese con punteggi di sicurezza identici ottengono tali risultati attraverso meccanismi diversi:

• Riparazione (Repair): Alcune difese (in particolare SECALIGN) convertono gli input dirottati in un'elaborazione fedele. Riducono l'esecuzione insegnando al modello a trattare l'iniezione come dato.
• Soppressione (Suppression): Altre difese (in particolare DefensiveTokens) ottengono la sicurezza principalmente sopprimendo il contenuto iniettato. Converte i dirottamenti in output ignorati, portando a maggiori fallimenti di fedeltà.
• Gap Quantitativo: Su Llama 3.1 8B, SECALIGN ripara il 54,0% dei dirottamenti del modello base, mentre DefensiveTokens sopprime il 60,3% di essi.

Impatto del Ragionamento

Aumentare le capacità di ragionamento (ad esempio, modalità "thinking") generalmente migliora la sicurezza riducendo i tassi di esecuzione, ma non migliora in modo affidabile la fedeltà. In molti casi, livelli di ragionamento più elevati riducono leggermente la fedeltà, suggerendo che il ragionamento sia uno strumento per ridurre i dirottamenti piuttosto che un meccanismo per preservare l'integrità dei dati.

Estensione Agente (Agentic)

Il compromesso persiste negli scenari agentici (uso di strumenti). Mentre le API di frontiera e le varianti di SECALIGN mostrano un'alta sicurezza (94–100%) negli scenari di tool-use, la loro fedeltà varia ampiamente (dal 31,7% al 72,6%), confermando che il compromesso si generalizza oltre la generazione di testo.

4. Contributi

1. Identificazione dell'Ambiguità: Il documento stabilisce che la "non-esecuzione" è ambigua e non può distinguere tra una robusta separazione tra istruzione e dato e una dannosa soppressione dei dati.
2. Benchmark SECFID: Introduzione di un benchmark che decompone il comportamento in sicurezza e fedeltà, rendendo misurabile il costo nascosto della soppressione.
3. Mappatura Empirica del Compromesso: Dimostrazione di una stretta frontiera sicurezza-fedeltà attraverso 48 configurazioni, mostrando che le difese attuali spesso scambiano la fedeltà con la sicurezza.
4. Analisi dei Meccanismi di Difesa: Rivelazione che le difese con tassi di dirottamento corrispondenti differiscono drasticamente nel fatto che "riparano" i dirottamenti (elaborazione fedele) o "sopprimono" il contenuto.
5. Ottimalità Dipendente dalla Distribuzione: Un'analisi decisionale che mostra che la politica di difesa ottimale non è universale ma dipende dal rapporto di costo specifico della distribuzione tra una violazione della sicurezza (dirottamento) e una perdita di fedeltà (omissione di un segmento).

5. Significato e Assertività

Il documento sostiene che la sicurezza da sola misura solo metà della robustezza. Riportare metriche di sicurezza senza la fedeltà nasconde il prezzo con cui è stata acquistata la robustezza.

• Nessuna Politica Universale: Gli autori affermano che nessuna politica di difesa fissa è ottimale ovunque. Il comportamento corretto (elaborare vs filtrare) dipende dal contesto di distribuzione. Nei compiti ad alta fedeltà (ad esempio, traduzione), sopprimere il contenuto è inaccettabile; nei compiti ad alta sicurezza (ad esempio, agenti finanziari), sopprimere segmenti sospetti è preferibile.
• Da Diagnostico a Prescrittivo: Sebbene sia principalmente diagnostico, il documento dimostra che SECFID può essere utilizzato per migliorare le difese. Applicando la Direct Preference Optimization (DPO) con un ordine di preferenza $\text{PROCESSED} \succ \text{IGNORED} \succ \text{EXECUTED}$, hanno spostato con successo un modello difeso dalla soppressione verso l'elaborazione fedele, recuperando la fedeltà pur mantenendo la sicurezza.
• Implicazione Sociale: Il lavoro evidenzia il rischio di "fallimenti silenziosi" in cui difese fisse e agnostiche rispetto al compito corrompono l'integrità dei dati senza preavviso. Esso raccomanda difese regolabili e trasparenti che si allineino con la specifica tolleranza al rischio della distribuzione, piuttosto che punteggi di sicurezza "one-size-fits-all".

Il documento conclude che la difesa contro il prompt injection dovrebbe essere riportata come un punto operativo consapevole del compito piuttosto che come un singolo punteggio di sicurezza, e che le valutazioni future devono misurare esplicitamente la fedeltà per evitare di mascherare la degradazione dell'utilità del modello.