Sintesi Tecnica: Sull'Inseparabilità di Istruzioni e Dati nei Modelli Sequenziali a Embedding Condiviso

1. Definizione del Problema

Il documento affronta la persistente vulnerabilità dei Large Language Models (LLM) alla prompt injection, in cui gli avversari creano input utente che causano una deviazione del modello dalle sue istruzioni di sistema intenzionali. Mentre la comunità di ricerca ha proposto numerose difese (es. instruction tuning, guardrail, engineering delle rappresentazioni), tali misure hanno costantemente fallito nel fornire una protezione robusta e a lungo termine. Gli autori pongono una domanda fondamentale: è teoricamente possibile una prevenzione perfetta della prompt injection all'interno dell'attuale architettura a embedding condiviso dei transformer?

Il problema centrale è il design architettonico in cui le istruzioni di sistema affidabili e i dati utente non affidabili vengono elaborati attraverso una pipeline rappresentazionale condivisa. In queste architetture, entrambi gli input vengono mappati in lo stesso spazio vettoriale tramite una funzione di embedding condivisa, eliminando qualsiasi distinzione immutabile tra "codice" (istruzioni) e "dati" (input utente) una volta entrati nel modello.

2. Metodologia e Framework Formale

2.1 Il Modello di Azione Promptata (Prompted Action Model)

Gli autori formalizzano il sistema come un Modello di Azione Promptata $M = (\Sigma, d, E, f, A)$, dove:

• Embedding Condiviso ($E$): Sia le istruzioni affidabili ($s$) che il contenuto utente non affidabile ($u$) sono mappati attraverso la stessa funzione $E: \Sigma \to \mathbb{R}^d$.
• Spazio delle Azioni ($A$): Include la generazione di token e azioni di controllo autoritative (rifiuti, invocazione di strumenti, routing delle policy, scrittura in memoria).
• Proprietà di Sicurezza (Controllo Semanticamente Fedele - SFC): Gli autori definiscono l'SFC come il requisito per cui il comportamento di controllo-autoritativo dipende solo dal contenuto semantico dell'input non affidabile, e non da variazioni semanticamente irrilevanti nella sua codifica (es. offuscamento, suffissi avversariali).

2.2 Approccio Teorico

La prova di impossibilità si basa su tre distinti pilastri teorici:

1. Impossibilità del Recupero della Provenienza: Utilizzando la distanza di Variazione Totale (TV), gli autori dimostrano che quando gli input affidabili e non affidabili condividono uno spazio di rappresentazione, l'errore Bayes-ottimale per il recupero dell'origine (provenienza) di una rappresentazione è strettamente non nullo, a meno che le distribuzioni non siano disgiunte.
2. Esposizione del Percorso di Controllo (Control-Path Exposure): Dimostrano che nei meccanismi di attenzione standard, il contenuto non affidabile contribuisce all'aggregazione del valore dei nodi rilevanti per il controllo (quelli che determinano rifiuti o uso di strumenti). Pertanto, i dati non affidabili influenzano causalmente gli output di controllo.
3. Gap di Invarianza di Copertura Finita: Argomentano che poiché le classi di equivalenza semantica (es. tutte le possibili codifiche di una richiesta) sono infinite o super-polinomiali, e i dati di addestramento sono finiti, nessun meccanismo che operi esclusivamente all'interno della pipeline condivisa può garantire l'invarianza su tutte le possibili codifiche.

3. Contributi Chiave

1. Formalizzazione del Controllo Semanticamente Fedele (SFC): Il documento definisce l'SFC come la proprietà di sicurezza minima per i sistemi agentici, distinguendo tra dipendenza semantica legittima (rifiutare richieste dannose) e dipendenza rappresentazionale illegittima (aggirare i rifiuti tramite trucchi di codifica).
2. Il Teorema dell'Inseparabilità: Gli autori dimostrano che in qualsiasi architettura a embedding condiviso priva di una separazione forzata tra controllo e dati, l'SFC perfetta non può essere garantita all'interno della pipeline rappresentazionale condivisa. Si tratta di un risultato di impossibilità, non di una critica ai metodi di addestramento attuali.
3. Isomorfismo Strutturale con l'Architettura Von Neumann: Il documento stabilisce un'analogia precisa tra la prompt injection negli LLM e le vulnerabilità di buffer overflow nelle macchine Von Neumann. Come la memoria condivisa permette la confusione tra codice e dati (portando a overflow), l'embedding condiviso permette la confusione tra istruzioni e dati utente (portando a prompt injection).
4. Fondamento Empirico: Gli autori forniscono misurazioni che confermano le assunzioni teoriche:
   • Sovrapposizione del Vocabolario: I corpora di istruzioni e dati utente condividono la stragrande maggioranza dei token (copertura del 61,5%–82,3%), garantendo collisioni di embedding.
   • Sovrapposizione della Rappresentazione: Le distribuzioni degli stati nascosti per le istruzioni e i dati utente rimangono indistinguibili (elevata sovrapposizione MMD) anche negli strati profondi, particolarmente negli strati rilevanti per gli output di controllo.
   • Contaminazione Comportamentale: Gli esperimenti mostrano che anche quando i modelli rifiutano payload dannosi, i token non affidabili alterano gli stati nascosti rilevanti per il controllo, cambiando l'inquadramento (framing) e la lunghezza dell'output, confermando che il percorso di controllo è esposto.

4. Risultati e Conclusioni

• Impossibilità di una Prevenzione Perfetta: Il risultato centrale è che nessun difeso che operi esclusivamente all'interno della pipeline rappresentazionale condivisa (es. migliori classificatori, fine-tuning dell'allineamento o filtraggio in-pipeline) può garantire la prevenzione perfetta della prompt injection.
• Il Ruolo dell'Addestramento: Le difese attuali (RLHF, guardrail) agiscono come "patch" che migliorano il comportamento medio, ma non possono eliminare la vulnerabilità strutturale. Il documento cita l'ablaterà (chirurgia dei pesi che rimuove le capacità di rifiuto) come prova che la sicurezza è codificata come una direzione fragile nello spazio condiviso, piuttosto che come un circuito strutturalmente separato.
• Limiti dei Marcatori Posizionali/di Segmento: Il documento dimostra che le codifiche posizionali e i marcatori di segmento "soft" (es. [INST]) sono insufficienti perché codificano la posizione, non la provenienza immutabile, e possono essere falsificati dagli avversari.
• Limiti Quantitativi: Gli autori derivano un limite che mostra come, all'aumentare del budget computazionale di un avversario, la capacità di distinguere tra rappresentazioni affidabili e avversarie si avvicini al caso del tentativo casuale (la distanza TV si avvicina a 0).

5. Significato e Rivendicazioni

Il documento sostiene che la prompt injection non è semplicemente un difetto da correggere, ma una vulnerabilità strutturale inerente all'architettura a embedding condiviso.

• Analogia Architetturale: La significatività risiede nel riformulare la prompt injection come analoga alla confusione tra codice e dati nelle macchine Von Neumann. Proprio come i buffer overflow hanno richiesto una difesa a più livelli (stack canaries, ASLR, bit NX) e infine linguaggi sicuri per la memoria per contenerli, la prompt injection richiede la separazione architettonica tra i canali di istruzione e dati.
• Implicazioni per la Difesa: Gli autori sostengono che affidarsi esclusivamente a un "migliore addestramento" o alla "classificazione in-pipeline" è insufficiente. Una postura di difesa matura deve includere:
  1. Mitigazioni Architetturali: Imporre una separazione immutabile tra il controllo affidabile e il contenuto non affidabile (es. encoder disgiunti, attenzione tipizzata).
  2. Protezioni Runtime: Difese a più livelli simili ad ASLR o stack canaries.
  3. Cambio di Paradigma a Lungo Termine: Muoversi verso paradigmi rappresentazionali "semanticamente sicuri" che eliminano la confusione dell'embedding condiviso per costruzione.

Il documento conclude che, sebbene i sistemi utili non debbano ignorare l'input utente, la prevenzione perfetta è impossibile senza imporre la separazione del controllo a livello architettonico. Finché tale separazione non sarà raggiunta, la prompt injection rimarrà un rischio irriducibile nelle applicazioni integrate con gli LLM.