Sintesi Tecnica: Flusso di Informazioni Geometrico (GIF) per gli LLM

1. Definizione del Problema

I Large Language Models (LLM) fungono sempre più da motore di calcolo centrale nei sistemi agentici, mediando le interazioni tra input non attendibili, contesto privato e azioni privilegiate. Questa architettura crea due rischi primari di sicurezza:

1. Violazioni dell'Integrità: Il contenuto controllato da un attaccante (ad es. prompt injection) può manipolare l'uso di strumenti successivi, la generazione di codice o gli aggiornamenti della memoria, causando l'esecuzione da parte dell'agente di azioni contrarie alle sue istruzioni attendibili.
2. Violazioni della Riservatezza: Il contesto privato può trapelare negli output generati, negli argomenti degli strumenti o nei riassunti, violando le policy di privacy dei dati.

Gli approcci esistenti al Controllo del Flusso di Informazioni (IFC) faticano in questo dominio. Il tradizionale IFC si basa su etichette di sicurezza grossolane (ad es. attendibile/non attendibile) propagate attraverso semantiche di programma esplicite. Tuttavia, gli LLM sono autoregressivi e opachi; qualsiasi token di input può influenzare debolmente qualsiasi token di output. L'applicazione di etichette grossolane porta a un overtainting (sovra-contaminazione) severo, in cui quasi tutto il contesto a valle viene contrassegnato come non attendibile, bloccando la legittima funzionalità. Al contrario, le difese euristiche (ad es. filtri di prompt, monitor basati sull'attenzione) mancano di una base semantica rigorosa, spesso mancando flussi di informazione mediati dal modello che si accumulano attraverso le tracce di esecuzione.

Esiste la necessità di una semantica del flusso di informazioni quantitativa per gli LLM che possa misurare esattamente quanta informazione locale da uno specifico intervallo di input sia osservabile attraverso un output a valle, distinguendo tra influenza benigna e fuga di informazioni che viola le policy.

2. Metodologia: Flusso di Informazioni Geometrico (GIF)

Gli autori propongono il Flusso di Informazioni Geometrico (GIF), un framework che traccia il flusso di informazioni analizzando la geometria locale della mappatura input-output dell'LLM.

Concetto Fondamentale

GIF misura la forza dell'influenza di un intervallo di input (un gruppo contiguo di token) su un output a valle perturbando l'embedding dell'intervallo e osservando lo spostamento nella distribuzione dell'output del modello.

• Basso Flusso: Se la perturbazione di un intervallo cambia appena la distribuzione dell'output, l'intervallo trasporta poco flusso di informazione.
• Alto Flusso: Se una piccola perturbazione causa uno spostamento significativo nella distribuzione dell'output, l'intervallo trasporta un alto flusso.

Formulazione Teorica

GIF formalizza questa intuizione come l'informazione mutua di Shannon tra una perturbazione casuale dell'intervallo di input e l'osservato output del token successivo.

1. Regolarità Locale: Il framework assume che, per piccole perturbazioni attorno a un prompt base, il comportamento dell'LLM possa essere approssimato dalla sua espansione di Taylor del primo ordine (lo Jacobiano).
2. Surrogato Gaussiano: Poiché calcolare l'esatta informazione mutua per modelli autoregressivi ad alta dimensionalità è intrattabile, GIF costruisce un canale surrogato Gaussiano locale. Questo canale corrisponde alla geometria della divergenza di Kullback-Leibler (KL) locale del vero canale dell'LLM.
3. Capacità come Misura: La misura operativa di GIF è la capacità di questo canale surrogato, definita come:
   $$\text{Cap}_T(\tau; x) = \frac{1}{2} \log \det(I + \tau M_T(x))$$
   Dove $M_T(x)$ è la matrice di "pullback di Fisher", che rappresenta la geometria dell'output trasportata a ritroso verso l'intervallo di input tramite lo Jacobiano del modello e la matrice di informazione di Fisher softmax.
4. Proxy di Influenza: Per efficienza computazionale, gli autori utilizzano anche la traccia di $M_T(x)$ (denotata come $\text{Inf}_T(x)$) come limite superiore lineare e proxy più economico per la capacità.

Implementazione e Scalabilità

Il calcolo dello Jacobiano completo è proibitivo per i modelli di grandi dimensioni. GIF impiega la stima della traccia randomizzata (Hutch++) per stimare il punteggio di influenza.

• Invece di materializzare lo Jacobiano completo, il sistema utilizza un piccolo numero di vettori sonda casuali per stimare la traccia della matrice di pullback di Fisher tramite prodotti vettore-Jacobiano (VJP).
• Ciò riduce il costo computazionale a un piccolo numero di passaggi in avanti (backward passes), rendendolo scalabile a modelli open-weight di grandi dimensioni.

Soundness (Correttezza)

Gli autori forniscono una dimostrazione meccanizzata in Lean 4 che dimostra che GIF è localmente sound. Sotto deboli assunzioni di regolarità, il punteggio GIF (capacità) è asintoticamente un limite superiore al vero flusso di informazione indotto da un prompt. Ciò garantisce che GIF non sottostimi asintoticamente la fuga di informazioni, fornendo una garanzia conservativa adatta ai certificati di sicurezza.

3. Contributi Chiave

1. Framework di Flusso di Informazioni Geometrico: Una definizione di GIF come misura locale dell'informazione mutua derivata dalle perturbazioni dell'embedding dell'intervallo sugli output del modello, fondata sulla geometria dello Jacobiano dell'LLM.
2. Dimostrazione di Soundness Meccanizzata: Una verifica formale in Lean 4 che prova che GIF è un vero surrogato dell'informazione mutua e soddisfa la correttezza locale (non sottostima il vero flusso).
3. Stimatore Scalabile: Un'implementazione pratica utilizzando la stima della traccia Hutch++ e approssimazioni a basso rango, consentendo di calcolare GIF su modelli grandi senza formare lo Jacobiano completo.
4. Valutazione Empirica: Valutazione completa attraverso tre benchmark (AgentDojo, MSB, AgentDAM) e sei modelli, dimostrando l'efficacia di GIF nel rilevare violazioni di integrità e riservatezza.

4. Risultati Sperimentali

Gli autori hanno valutato GIF rispetto ai baseline, inclusi l'attribuzione basata sull'attenzione (RTBAS), l'attribuzione basata sul gradiente (GIF-) e l'LLM-as-a-judge (GPT-5.5 xhigh).

• Performance di Rilevamento: GIF ha raggiunto tassi di recall quasi perfetti per le violazioni delle policy senza richiedere un declassificatore a valle. Ha superato costantemente le euristiche basate sull'attenzione (RTBAS) e i baseline basati sul gradiente (GIF-) in tutti i dataset.
• Efficienza dei Costi vs LLM Judges: Quando utilizzato per guidare declassificatori LLM leggeri, GIF ha eguagliato o superato i punteggi F1/F2 dei baseline diretti "LLM-as-judge" (ad es. GPT-5.5 xhigh), riducendo i costi di inferenza dei token fino a 81×.
• Trasferibilità: I flussi stimati utilizzando piccoli modelli surrogati (ad es. un modello da 0.6B) si sono trasferiti efficacementamente a modelli target molto più grandi (fino a 200× più grandi, ad es. 120B) e a diverse famiglie di modelli, suggerendo l'applicabilità in deployment black-box dove l'accesso ai gradienti è limitato.
• Precisione: Nei casi di studio, GIF ha identificato con successo flussi malevoli in attacchi a successo parziale (dove l'agente ha seguito parzialmente l'iniezione) e ha correttamente certificato lo zero flusso per i dati privati che non influenzavano l'output, evitando l'over-tainting comune nei metodi basati sull'attenzione.

5. Significato e Rivendicazioni

Il documento afferma che GIF stabilisce una fondazione pratica per l'IFC scalabile nei moderni sistemi agentici. La sua importanza risiede in:

• Semantica Principata: A differenza dei metodi euristici, GIF è fondato su una formulazione semantica formale (informazione mutua locale) con una dimostrazione di correttezza (soundness).
• Granularità: Va oltre le etichette grossolane "attendibile/non attendibile" per identificare regioni di input specifiche che esercitano una grande influenza su specifici output a valle, consentendo un controllo delle policy granulare.
• Scalabilità: Sfruttando approssimazioni geometriche e stime della traccia, rende fattibile l'analisi rigorosa del flusso di informazioni per LLM di grandi dimensioni in flussi di lavoro agentici reali.
• Potenziale Black-Box: La capacità di utilizzare piccoli surrogati per stimare i flussi per modelli più grandi apre la strada al deployment di queste difese anche quando l'interno del modello target non è completamente accessibile.

Gli autori concludono che GIF fornisce l' "astrazione mancante" necessaria per isolare input non attendibili, contesto privato e azioni privilegiate all'interno del calcolo opaco dei modelli autoregressivi, abilitando sistemi agentici sicuri e preservanti dell'utilità.