The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

Titolo

Il Trilemma della Difesa: Perché i Wrapper di Difesa contro l'Injection dei Prompt Falliscono

1. Il Problema

La ricerca affronta la questione fondamentale se sia possibile costruire un "wrapper" (un modulo di pre-elaborazione) attorno a un modello linguistico (LLM) che elimini completamente le vulnerabilità da prompt injection.
Attualmente, la maggior parte delle difese (classificatori di input, filtri di output, riscrittura costituzionale) assume implicitamente che sia possibile mappare gli input insicuri in equivalenti sicuri senza alterare gli input sicuri. Il paper dimostra che, sotto vincoli matematici specifici, questa premessa è falsa.

Il problema non risiede nella complessità degli attacchi o nell'ingegneria dei prompt, ma nella geometria intrinseca dello spazio dei prompt. In uno spazio connesso, la regione "sicura" è aperta ma non chiusa; di conseguenza, qualsiasi difesa continua che preservi l'utilità degli input sicuri è matematicamente costretta a fallire su alcuni punti al confine tra sicurezza e insicurezza.

2. Metodologia e Quadro Formale

Gli autori utilizzano un approccio rigoroso basato sulla topologia e sull'analisi matematica, formalizzato e verificato meccanicamente in Lean 4 (con 45 file e circa 350 teoremi).

• Definizione del Modello:

  • Spazio dei Prompt ($X$): Uno spazio topologico connesso (es. lo spazio vettoriale delle rappresentazioni dei prompt).
  • Funzione di Deviazione dall'Allineamento ($f: X \to \mathbb{R}$): Una funzione continua che assegna un punteggio di sicurezza.
    • $S_\tau = \{x \mid f(x) < \tau\}$: Regione sicura.
    • $U_\tau = \{x \mid f(x) > \tau\}$: Regione insicura.
    • $B_\tau = \{x \mid f(x) = \tau\}$: Confine.
  • Difesa ($D: X \to X$): Una funzione continua che pre-elabora l'input.
    • Preservazione dell'Utilità: $D(x) = x$ per ogni $x \in S_\tau$ (gli input sicuri non vengono modificati).
    • Completezza: $f(D(x)) < \tau$ per ogni $x \in X$ (tutti gli output sono sicuri).

• Ipotesi Chiave: La dimostrazione si basa sull'assunzione che la difesa sia continua (piccole variazioni nell'input producono piccole variazioni nell'output) e che lo spazio dei prompt sia connesso.

3. Contributi Chiave: Il Trilemma della Difesa

Il paper stabilisce che non è possibile soddisfare simultaneamente tre proprietà desiderabili: Continuità, Preservazione dell'Utilità e Completezza. Si può scegliere al massimo due su tre.

Gli autori dimostrano tre risultati gerarchici, con ipotesi progressivamente più forti:

A. Fissazione del Confine (Boundary Fixation)

• Teorema: In uno spazio connesso, se una difesa è continua e preserva l'utilità (fissa gli input sicuri), deve necessariamente fissare almeno un punto sul confine ($z$ tale che $f(z) = \tau$ e $D(z) = z$).
• Implicazione: Esistono prompt che si trovano esattamente al limite della sicurezza che la difesa non può modificare senza violare la preservazione dell'utilità o la continuità. Questi punti passano attraverso il sistema senza remediation.

B. Vincolo $\epsilon$-Robusto

• Teorema: Sotto l'ipotesi di regolarità di Lipschitz (la funzione di sicurezza e la difesa non cambiano troppo bruscamente), la difesa non può ridurre uniformemente la deviazione di allineamento molto al di sotto della soglia $\tau$ vicino ai punti fissi.
• Risultato: Esiste una banda di misura positiva attorno al punto fisso dove i prompt rimangono vicini alla soglia di sicurezza, rendendoli vulnerabili a piccole perturbazioni.

C. Regione Insicura Persistente

• Teorema: Sotto una condizione di trasversalità (quando la superficie di allineamento cresce più velocemente di quanto la difesa possa abbassarla), esiste un sottoinsieme di misura positiva di input che rimangono strettamente insicuri ($f(D(x)) > \tau$) dopo l'applicazione della difesa.
• Significato: Non si tratta solo di punti al limite, ma di una regione con volume misurabile dove la difesa fallisce sistematicamente.

4. Risultati Estesi e Validazione

Il paper estende questi risultati oltre il caso base:

• Dati Discreti: Anche su insiemi finiti (senza topologia), la completezza forza la non-iniettività (perdita di informazione). Una difesa completa deve collassare input distinti nello stesso output, distruggendo l'utilità semantica.
• Interazioni Multi-turno: L'impossibilità si ripete ad ogni turno di conversazione; un attaccante può sfruttare questo per convergere verso punti di fallimento.
• Difese Stocastiche: Anche le difese randomizzate falliscono; se la media è al confine, o la difesa è deterministica al confine o produce output insicuri con probabilità positiva.
• Pipeline Non Lineari: L'aggiunta di più stadi di difesa (pipeline) degrada esponenzialmente i vincoli di Lipschitz, peggiorando la situazione.

Validazione Empirica:
I risultati sono stati testati su tre LLM (Llama-3-8B, GPT-OSS-20B, GPT-5-Mini). Le previsioni teoriche (es. struttura a bacini, convergenza monotona degli attacchi, persistenza delle regioni insicure) sono state confermate dai dati sperimentali.

• Nota: Il modello GPT-5-Mini ha mostrato un "tetto" di allineamento (AD) a 0.50, rendendo la regione insicura vuota per quella soglia specifica, confermando che il teorema non si applica se la regione $U_\tau$ è vuota.

5. Significato e Implicazioni Pratiche

Il paper non sostiene che la difesa sia inutile, ma che la strategia di "eliminazione completa" tramite wrapper continui è matematicamente impossibile.

Prescrizione Ingegneristica:
Invece di cercare di eliminare tutte le vulnerabilità, gli ingegneri devono gestire il confine:

1. Rendere il confine "basso" (Shallow): Configurare la soglia $\tau$ in modo che il comportamento al limite sia un rifiuto educato piuttosto che una compliance dannosa. Se il fallimento è benigno, l'impossibilità matematica è irrilevante nella pratica.
2. Ridurre la costante di Lipschitz: Rendere la superficie di allineamento più liscia per restringere la regione di fallimento persistente.
3. Ridurre la dimensionalità: Limitare l'interfaccia dei prompt (formati standardizzati, parametri ristretti) per rendere lo spazio comportamentale trattabile.
4. Monitoraggio, non Eliminazione: Dato che i punti di confine persistono, è necessario implementare monitoraggio in tempo reale per rilevare l'avvicinamento al confine, piuttosto che tentare di pre-processare tutto in modo perfetto.

Limiti del Teorema:
I risultati si applicano specificamente ai wrapper continui che preservano l'utilità. Non precludono:

• Allineamento durante l'addestramento (RLHF, DPO).
• Cambiamenti architetturali del modello.
• Difese discontinue (es. blacklist rigide).
• Filtri lato output o sistemi con intervento umano.

In sintesi, il paper fornisce una prova teorica rigorosa che i wrapper di difesa attuali hanno limiti fondamentali intrinseci, spingendo la comunità verso strategie di gestione del rischio piuttosto che di eliminazione assoluta.