BodhiPromptShield: Pre-Inference Prompt Mediation for Suppressing Privacy Propagation in LLM/VLM Agents

1. Il Problema: Propagazione della Privacy negli Agenti LLM/VLM

Il lavoro affronta una vulnerabilità critica negli agenti basati su Large Language Models (LLM) e Vision-Language Models (VLM): il rischio di propagazione della privacy.

• Contesto: In questi sistemi, i prompt degli utenti contengono spesso informazioni sensibili (identificativi, dati finanziari, medici, testo estratto da immagini).
• La Sfida: A differenza dei sistemi tradizionali dove la privacy viene gestita a livello di documento statico, negli agenti interattivi il contenuto grezzo del prompt può fluire attraverso molteplici fasi: richieste di recupero (retrieval), scritture nella memoria, chiamate agli strumenti (tool calls) e log.
• Il Fallimento delle Soluzioni Esistenti: Le pipeline di de-identificazione attuali e i middleware di redazione aziendale si concentrano spesso sulla rimozione o mascheramento dei dati all'ingresso o nei documenti archiviati. Tuttavia, non gestiscono la propagazione cross-fase: se un dato sensibile viene copiato in una query di ricerca, memorizzato nella memoria dell'agente o passato come argomento a uno strumento prima di essere corretto, la privacy viene compromessa anche se il prompt originale è stato "pulito" in un secondo momento.
• Obiettivo: Determinare se è possibile mediare il prompt prima dell'inferenza per sopprimere la propagazione attraverso gli stati dell'agente, mantenendo al contempo sufficiente struttura semantica per il ragionamento e l'esecuzione a valle.

2. Metodologia: BodhiPromptShield

Gli autori propongono BodhiPromptShield, un framework di mediazione consapevole delle policy che opera a livello di interfaccia prima che il prompt raggiunga il modello o i suoi componenti interni.

Architettura e Flusso di Lavoro

Il sistema interviene in quattro fasi principali:

1. Estrazione delle Entità Sensibili: Identifica span sensibili nel prompt grezzo ($x$) utilizzando un mix di riconoscitori basati su regole (per entità strutturate come email, numeri di telefono), NER (Named Entity Recognition), giudizio contestuale e, per input multimodali, OCR o estrazione basata su VLM.
2. Sanitizzazione Semantica: Trasforma gli span sensibili in surrogati protetti ($\hat{s}$) selezionando dinamicamente una delle tre modalità in base alla policy:
   • Sostituzione con segnaposto tipizzati: (es. <PERSON_1>) per mantenere il tipo di entità senza rivelare il valore.
   • Astrazione Semantica: (es. sostituire un indirizzo completo con "un indirizzo residenziale ad Auckland") per preservare il contesto.
   • Mappatura Simbolica Sicura: Sostituzione con token opachi collegati a una tabella di mappatura sicura ($K$) accessibile solo in fasi autorizzate.
3. Inferenza dell'Agente: Il prompt sanificato ($\tilde{x}$) viene inviato all'agente per le fasi di recupero, memoria ed esecuzione degli strumenti.
4. Ripristino Controllato: I dati originali vengono ripristinati solo in momenti specifici e autorizzati (es. al momento dell'esecuzione finale di uno strumento), impedendo che i valori grezzi circolino nelle fasi intermedie.

Modello di Minaccia e Obiettivi

Il framework assume un ambiente parzialmente fidato e si difende contro:

• Osservatori onesti ma curiosi (che ispezionano log, query di recupero, ecc.).
• Avversari adattivi che tentano di eludere il rilevamento (sostituzioni Unicode, parafasi).
• Tentativi di recupero non autorizzato delle tabelle di mappatura.

L'obiettivo è ottimizzare un compromesso tra:

• Esposizione Diretta (PER): Ridurre la percentuale di span sensibili esposti.
• Rischio di Propagazione (SPE): Minimizzare la sopravvivenza dei dati sensibili attraverso i bordi dell'agente (retrieval -> memoria -> tool).
• Utilità (AC/TSR): Mantenere l'accuratezza delle risposte e il successo dei task.

3. Contributi Chiave

1. Riformulazione del Problema: Spostamento del focus dalla "mascheratura di un singolo documento" al "controllo della propagazione attraverso gli stati dell'agente".
2. Meccanismo di Mediazione Consapevole delle Policy: Un sistema che seleziona dinamicamente la modalità di sanitizzazione (segnaposto, astrazione, mappatura) in base al rischio e alla necessità di recupero, trattando il tempo di ripristino come una variabile di sicurezza esplicita.
3. Protocollo di Valutazione Consapevole della Propagazione: Introduzione del CPPB (Controlled Prompt-Privacy Benchmark), che misura non solo l'esposizione iniziale, ma la sopravvivenza dei dati sensibili attraverso le fasi di recupero, memoria e strumenti.
4. Evidenza Empirica Controllata: Separazione chiara tra risultati centrali supportati da registri e slice di supporto controllate, delimitando esplicitamente il campo di applicazione (senza garantire crittografia end-to-end).

4. Risultati Sperimentali

Le valutazioni sono state condotte su 256 prompt controllati (CPPB) che coprono task di comprensione, QA, esecuzione di agenti e input multimodali (OCR).

• Soppressione della Propagazione:
  • Senza protezione, l'esposizione è del 100% in tutte le fasi.
  • Le tecniche tradizionali (solo regex o de-identificazione generica) riducono l'esposizione iniziale ma lasciano alti tassi di propagazione (es. 60%+ nel recupero).
  • BodhiPromptShield riduce l'esposizione di propagazione (Stage-wise Propagation Exposure - SPE) dal 10,7% (fase di recupero) al 7,1% (fase di strumento), dimostrando che la mediazione pre-inferenza è cruciale.
• Privacy vs. Utilità:
  • Il framework raggiunge un PER (Privacy Exposure Rate) del 9,3% con un'alta conservazione dell'utilità (AC = 0,94, TSR = 0,92).
  • Supera la de-identificazione generica (che ha AC/TSR più bassi, ~0,73/0,71) e si avvicina alle prestazioni della redazione aziendale avanzata (8,1% PER), ma con un comportamento di utilità superiore grazie alla gestione semantica e al ripristino controllato.
• Robustezza Adversariale:
  • L'uso di normalizzazione Unicode/homoglyph riduce l'esposizione residua da attacchi di sostituzione da 94,1% a 43,9%.
  • Tuttavia, l'inferenza contestuale da prompt sanificati rimane una sfida (50% di accuratezza per un attaccante locale su certi attributi), indicando che il mascheramento diretto non elimina completamente il rischio di inferenza.
• Overhead di Latenza:
  • La modalità bilanciata aggiunge circa 41 ms di latenza media, un costo accettabile per i guadagni in privacy.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Cambia il Paradigma di Sicurezza: Dimostra che la privacy negli agenti AI non può essere garantita solo proteggendo il prompt iniziale o i dati archiviati; deve essere gestita come un flusso che attraversa l'orchestrazione dell'agente.
• Soluzione Pratica per il Deployment: Offre un middleware implementabile che funziona con LLM/VLM esistenti senza richiedere ri-addestramento del modello o cambiamenti crittografici profondi all'infrastruttura.
• Gestione del Compromesso: Fornisce un approccio sistematico per bilanciare privacy e utilità attraverso policy configurabili (da "lenient" a "strict"), permettendo alle organizzazioni di adattare il sistema ai propri requisiti normativi e di rischio.
• Limiti e Futuro: Il paper ammette onestamente che non fornisce garanzie crittografiche complete e che la robustezza contro attacchi di inferenza contestuale avanzata e l'adattamento a benchmark pubblici più ampi (come i2b2 clinico o DocILE) sono passi futuri necessari.

In sintesi, BodhiPromptShield rappresenta un passo avanti fondamentale verso agenti AI sicuri, spostando la difesa dal semplice "nascondere i dati" al "controllare il flusso dei dati" attraverso l'intero ciclo di vita dell'interazione con l'agente.