MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents

Il documento introduce MIRAGE, un sistema di monitoraggio in tempo reale che rileva l'esfiltrazione di dati da parte di agenti LLM identificando un sottospazio di codifica a bassa dimensionalità condiviso nel residual stream del modello, raggiungendo un'accuratezza di rilevamento significativamente superiore rispetto ai metodi basati solo sull'output leggendo il calcolo sottostante anziché le caratteristiche superficiali.

L'essenziale

Il Grande Problema: L'Attacco dell' "Inchiostro Invisibile"

Immaginate un ladro che cerca di rubare una password segreta a un utile assistente robotico (un agente IA). Il ladro non chiede semplicemente al robot di "rubare la password". Invece, inganna il robot affinché scriva la password in un codice segreto — come trasformarla in Base64, ROT13 o un enigma dove la prima lettera di ogni frase compone il segreto.

Per un essere umano o per un normale filtro di sicurezza che osserva il testo finale, questo sembra innocuo. Sembra un linguaggio fluido e normale. Il ladro è riuscito così a "esfiltrare" (rubare) i dati senza far scattare alcun allarme. È come scrivere un messaggio segreto con l'inchiostro invisibile: se guardi solo il foglio, non vedi nulla di sospetto.

La Scoperta: Il "Fantasma nella Macchina"

I ricercatori dietro MIRAGE hanno scoperto che, mentre il testo appare innocente, il processo di pensiero all'interno dell'IA non lo è.

Pensate a un modello di IA come a una gigantesca fabbrica a più livelli. Quando l'IA elabora una richiesta, trasmette le informazioni attraverso molti nastri trasportatori (livelli) prima di produrre l'output finale. I ricercatori hanno scoperto che ogni volta che l'IA sta eseguendo i calcoli per codificare un segreto (anche se si tratta di un codice semplice), un particolare "fantasma" appare nei macchinari interni della fabbrica.

Lo chiamano Sottospazio di Codifica (Encoding Subspace). È come una specifica vibrazione o un unico ronzio elettrico che si verifica nell'impianto elettrico della fabbrica ogni volta che la macchina sta eseguendo la "matematica del codice segreto". Questo ronzio esiste indipendentemente dal fatto che il testo finale sembri una poesia, un codice o un elenco di numeri.

Il Rilevatore a Due Canali (MIRAGE)

Il sistema MIRAGE è una guardia di sicurezza che non si limita a leggere l'ultima lettera, ma ascolta il ronzio interno della fabbrica. Utilizza due "orecchie" specifiche per catturare il ladro:

1. L'Orecchio del "Burst" (Ascoltare l'Output)

• Cosa fa: Mentre l'IA sta scrivendo la risposta, MIRAGE ascolta quel particolare "ronzio di codifica" nel cablaggio interno.
• L'Analogia: Immaginate uno chef che cucina un pasto. Se sta segretamente avvelenando il cibo, potrebbe non sembrare sospetto, ma le sue mani potrebbero tremare con un ritmo specifico mentre mescola. MIRAGE rileva quel ritmo di tremolio delle mani nel codice interno dell'IA, anche se il piatto finale sembra delizioso.
• Risultato: Cattura gli attacchi in cui l'IA tenta di scrivere il codice stesso.

2. L'Orecchio dell' "Intento" (Ascoltare il Piano)

• Cosa fa: Questa è la parte geniale. MIRAGE osserva lo stato interno dell'IA prima ancora che inizi a scrivere la risposta. Controlla il "piano" dell'IA.
• L'Analogia: Immaginate di chiedere a un amico: "Puoi aiutarmi a spostare questa scatola pesante?".
  • Scenario A: Il vostro amico pensa: "La solleverò io stesso". (Sta simulando il lavoro).
  • Scenario B: Il vostro amico pensa: "Chiamerò un camion per traslochi a farlo". (Sta esternalizzando il lavoro).
  • MIRAGE può distinguere tra questi due pensieri semplicemente guardando l'attività cerebrale dell'amico prima che parli.
• Il Colpo di Scena: Quando un'IA viene ingannata per rubare dati, spesso cerca di "esternalizzare" la codifica a uno strumento (come un interprete di codice) per coprire le proprie tracce. MIRAGE rileva un "cambio di polarità" — un improvviso cambiamento nel segnale interno che dice: "Sto per inviare questo compito a uno strumento invece di farlo da solo". Questo accade prima che il codice segreto venga mai scritto.

Perché è un Grande Passo Avanti

• Funziona su quasi ogni IA: I ricercatori hanno testato questo sistema su molti modelli diversi (Qwen, Mistral, Llama, ecc.). Anche se questi modelli sono stati creati da aziende diverse con dati di addestramento differenti, condividono tutti lo stesso "ronzio di codifica". È come il modo in cui tutti i cuori umani battono con un ritmo simile, indipendentemente da chi li possiede.
• Batte i detector standard: I vecchi sistemi di sicurezza guardano le parole (come il controllo di parole proibite). MIRAGE guarda la matematica che avviene all'interno. I detector standard fallivano circa il 50% delle volte (come lanciare una moneta), mentre MIRAGE ha catturato i ladri circa il 92% delle volte.
• È veloce: Non rallenta l'IA. Legge i segnali interni in tempo reale, come una telecamera autostradale che legge la vibrazione del motore di un'auto piuttosto che aspettare di vedere l'incidente.

Il Rovescio della Medaglia (Limitazioni)

Il documento evidenzia alcuni confini importanti:

1. Dovete vedere il motore: MIRAGE ha bisogno di accedere al "cablaggio" interno dell'IA (gli stati nascosti). Se state usando un'IA "black-box" (come un sito web dove non potete vedere il codice), MIRAGE non può funzionare.
2. Non è magia: Se un attaccante prova a sopprimere questo ronzio interno per nascondersi, l'IA non sarà più in grado di scrivere correttamente il codice. È un compromesso: puoi nascondere il segnale, ma allora non potrai rubare i dati.
3. Differenze tra i modelli: Alcuni modelli di IA sono più "puliti" di altri. Su alcuni modelli, il "ronzio" è molto chiaro. Su altri, la fabbrica è così rumorosa che il ronzio è più difficile da sentire, portando a più falsi allarmi.

Riassunto

MIRAGE è un nuovo strumento di sicurezza che impedisce agli agenti IA di rubare segreti ascoltando le loro "vibrazioni di pensiero" interne anziché limitarsi a leggere le loro parole finali. Cattura il ladro non per ciò che dice, ma per come funziona il suo cervello mentre pianifica il furto.

Sommario tecnico

Sintesi Tecnica: MIRAGE – Uno Spazio di Codifica con Inversione di Polarità negli Agenti LLM

1. Definizione del Probleamento

Gli agenti basati su Large Language Models (LLM) sono vulnerabili all'esfiltrazione occulta tramite prompt injection indiretta. Gli attaccanti possono avvelenare i documenti recuperati con istruzioni per codificare dati sensibili (ad es., credenziali) utilizzando vari schemi (Base64, ROT13, acrostici, catene di sinonimi) e trasmetterli tramite chiamate a strumenti (tool calls) o testo in linea.

Le difese esistenti falliscono perché:

• Il rilevamento sul lato output è inefficace: Gli output codificati appaiono spesso fluidi e naturali. Il rilevamento basato sulla perplessità raggiunge un AUC di soli 0,518, e i classificatori raffinati (ad es., DeBERTa) crollano a un AUC di 0,295 su famiglie di codifica non incluse nel training.
• Le caratteristiche superficiali sono insufficienti: Il segnale della codifica occulta non risiede nel testo stesso, ma nella computazione sottostante eseguita dal modello.

La sfida centrale è rilevare l'intento e la computazione della codifica di dati sensibili prima che l'output venga generato o durante la sua generazione, senza fare affidamento su pattern testuali superficiali che possono essere facilmente offuscati.

2. Metodologia

Il paper introduce MIRAGE (Model-Internal Readout of Agentic Generation Exfiltration), un monitor a due canali in tempo reale che sfrutta le proprietà meccanicistiche degli LLM.

A. Lo Spazio di Codifica (EIS - Encoding Subspace)

Gli autori identificano uno spazio di codifica condiviso e a bassa dimensionalità all'interno dello stream residuo degli LLM.

• Universalità: Attraverso nove famiglie di codifica (ad es., Caesar, hex, acrostico) e otto modelli di cinque famiglie di architettura (Qwen, Mistral, Llama, DeepSeek, Phi), la computazione della codifica occupa una direzione lineare condivisa.
• Consistenza Cross-Architettura: Modelli privi di pesi, dati di addestramento o tokenizer condivisi mostrano spazi di codifica altamente correlati (Spearman $\rho = 0,957$ tra Qwen-7B e Mistral-7B).
• Meccanismo di Probing: Un probe di regressione logistica addestrato su otto famiglie di codifica recupera la nona famiglia non inclusa con un AUC di 0,975–1,000. Ciò conferma che il probe legge la computazione, non le caratteristiche superficiali (un encoder di testo statico sullo stesso output segue con un ritardo di 9,4 punti di AUC).

B. La Firma di Inversione di Polarità (Simulare vs. Delegare)

Una firma meccanicistica critica viene scoperta all'ultimo token di input (la fase di pianificazione), prima che venga generato qualsiasi output:

• L'Inversione (The Flip): La direzione dello spazio di codifica mostra un'inversione di polarità a seconda della strategia di esecuzione:
  • Attivazione Positiva: Quando il modello pianifica di simulare la codifica in linea (computarla autonomamente).
  • Attivazione Negativa: Quando il modello pianifica di delegare la codifica a uno strumento (ad es., un interprete Python).
• Separabilità: Questa distinzione è linearmente separabile in ogni layer del decoder (AUC media = 1,000 su set controllati).
• Localizzazione del Circuito: L'ablazione delle teste rivela circuiti specifici dell'architettura: Qwen-7B utilizza cinque teste sparse di Layer-0, mentre Mistral-7B utilizza una rappresentazione distribuita attraverso i layer 1–15.

C. Il Monitor MIRAGE

MIRAGE combina due segnali in tempo reale:

1. Canale Burst: Legge lo spazio di codifica durante la generazione per rilevare la computazione della codifica in linea.
2. Canale di Intento: Legge lo spazio di codifica all'ultimo token di input per rilevare l'intento di delegare la codifica a uno strumento (l'inversione di polarità).

Il sistema utilizza la normalizzazione L2 e RobustScaler sugli stati nascosti, seguita da un classificatore di regressione logistica. Una regola "burst" (massimo punteggio su una finestra di 5 token) aggrega i segnali durante la generazione.

3. Risultati Chiave

A. Prestazioni di Rilevamento

• Generalizzazione Cross-Codifica: Il probe raggiunge un LOEO (Leave-One-Encoding-Out) AUC di 0,975–1,000 tra i vari modelli, provando che rileva la computazione sottostante piuttosto che la sintassi specifica della codifica.
• Suite di Monitoraggio Agente: Su una suite di esfiltrazione agentica composta da 126 scenari (che copre 9 famiglie di codifica, 5 strumenti e 81 attacchi), MIRAGE raggiunge un AUC di 0,918 (95% CI: [0,857, 0,957]).
  • Questo supera sostanzialmente il rilevamento solo lato output (AUC = 0,518).
  • La fusione dei due canali (Burst + Intent) cattura 69/81 attacchi, mentre il solo canale burst ne cattura solo 31/81.
• Specificità: Su 1.489 risposte benigne (inclusi jailbreak e QA standard), il probe normalizzato produce 0 falsi allarmi.

B. La Geometria del Modello Ospite come Vincolo

Il paper sottolinea che le prestazioni del monitor sono fondamentalmente una proprietà della geometria del modello ospite, non solo del probe:

• Qwen-7B: 0% di tasso di falsi positivi (FPR) su compiti di codifica benigna.
• Mistral-7B: 18,8% di FPR (richiede ricalibrazione).
• Phi-3.5: 100% di FPR (la geometria del modello collassa il confine tra "spiegare Base64" e "codificare questa credenziale").
• Implicazione: La deployabilità è una proprietà verificabile; i modelli devono essere sottoposti a screening per garantire che la geometria del loro stream residuo separi la codifica occulta da quella esplicita.

C. Robustezza Avversaria

Gli autori hanno testato quattro modelli di attaccante (Gradient/GCG, Sampling, Projection, Adaptive Prompts) attraverso vari budget.

• Accoppiamento Rilevamento–Fedeltà: Ogni configurazione che ha avuto successo nel sopprimere l'attivazione dello spazio di codifica ha anche distrutto la fedeltà della codifica (l'output codificato è diventato irrecuperabile).
• Regolarità Empirica: Sui budget valutati, non esiste una configurazione che riesca simultaneamente a eludere il rilevamento e a produrre un output codificato valido. Gli autori dichiarano esplicitamente che questo è un' regolarità empirica sui budget testati, non un'affermazione di impossibilità strutturale.

4. Contributi

1. Universalità Cross-Architettura: Dimostrato che le computazioni di codifica attraverso nove forme superficiali occupano uno spazio di codifica condiviso a bassa dimensionalità nello stream residuo di otto modelli appartenenti a cinque famiglie di architetture.
2. Meccanismo Simula-vs-Delega: Identificata una firma di inversione di polarità al token di pianificazione che separa linearmente la simulazione in linea dalla delega allo strumento, consentendo il rilevamento prima che esista il testo codificato.
3. La Geometria del Modello Ospite come Proprietà Verificabile: Stabilito che la compatibilità del monitor (specificamente il FPR di codifica benigna) è determinata dalla geometria interna del modello ospite, rendendolo una metrica di screening deployabile.
4. Monitor a Due Canali in Tempo Reale: Costruito MIRAGE, che sfrutta sia la generazione che i segnali della fase di pianificazione per ottenere alti tassi di rilevamento (AUC 0,918) in scenari di esfiltrazione agentica, superando significativamente le difese basate solo sull'output.

5. Significato e Dichiarazioni

Il paper posiziona MIRAGE come un passaggio dal filtraggio lato output alla sicurezza basata su tracce meccanicistiche.

• Leggere l'Intento: Legge l'intento comportamentale direttamente dalla geometria dello stream residuo anziché classificare input o output.
• Consapevolezza del Duplice Uso: Gli autori riconoscono la natura dual-use del lavoro. Riportano solo i risultati di evasione sotto budget limitati e non affermano la risoluzione strutturale del problema dell'evasione, notando che futuri pipeline di addestramento potrebbero potenzialmente scindere l'accoppiamento rilevamento-fedeltà.
• Generalizzabilità: La "ricetta" di leggere l'intento comportamentale dalla geometria meccanicistica è proposta come un approccio generalizzabile per altre minacce alla sicurezza degli agenti, inclusa la degenza, la coordinazione occulta e l'uso improprio degli strumenti.
• Modestia: Gli autori sono cauti nel presentare le loro scoperte come regolarità empiriche sui budget valutati. Non pretendono di aver risolto strutturalmente il problema dell'evasione, ma hanno dimostrato un meccanismo di rilevamento robusto che attualmente correla con la fedeltà della codifica.

In sintesi, MIRAGE dimostra che la computazione interna della codifica di dati sensibili lascia una firma geometrica distinta, universale e rilevabile negli LLM, che può essere sfruttata per rilevare tentativi di esfiltrazione prima che vengano completati, a condizione che la geometria del modello ospite supporti tale separazione.