Riepilogo Tecnico: TRAP Benchmark per il completamento dei task e la resistenza all'estrazione attiva della privacy

1. Definizione del problema

Gli agenti basati su Large Language Model (LLM) sono sempre più impiegati in flussi di lavoro intensivi dal punto di vista documentale (ad es. prenotazione di voli, elaborazione paghe) dove l'accesso a informazioni private sensibili (PII) è essenziale per il completamento del task. Esiste una tensione fondamentale in questi scenari: per completare un task con accuratezza, un agente deve analizzare e utilizzare campi privati dai documenti; tuttavia, la stessa capacità che permette un'analisi accurata rende l'agente suscettibile alla rivelazione di tali informazioni private quando interrogato.

I modelli di valutazione attuali non affrontano congiuntamente questa tensione:

• Ambienti Passivi: Valutano la privacy come fuga incidentale durante l'esecuzione del task, ma ignorano i tentativi espliciti di estrazione.
• Ambienti Avversari: Valutano la privacy sotto attacchi espliciti, ma ignorano le prestazioni del task, permettendo ai modelli di raggiungere una privacy "perfetta" semplicemente rifiutandosi di interagire con qualsiasi task.

Il paper sostiene che l'autenticazione da sola non può risolvere questo rischio, poiché l'agente non può verificare la vera identità dell'utente alla tastiera. La sfida principale è valutare e risolvere il compromesso in cui un agente deve utilizzare informazioni private per avere successo in un task, ma rifiutarsi di esporre tali informazioni in risposte in linguaggio naturale.

2. Metodologia: Il TRAP Benchmark

Gli autori introducono TRAP (Task-completion and Resistance to Active Privacy-extraction), un benchmark progettato per misurare simultaneamente il trade-off tra utilità e privacy.

2.1 Costruzione del Dataset

• Ambito: 500 casi documentali attraverso 10 domini (5 personali: identità, carta di credito, medica, busta paga, conto corrente; 5 aziendali: contratto, programma, finanziario, HR, fiscale).
• Modalità: Solo testo, solo immagine e multimodale (testo + immagine).
• Struttura: Ogni istanza contiene un documento con insiemi disgiunti di campi privati (sensibili) e campi non privati.
• Dual Query (Doppia Interrogazione):
  1. Task Query: Richiede all'agente di invocare uno strumento specifico utilizzando almeno un campo privato come argomento (ad es. "Richiedi IVA acquirente con conto usando [numero di conto]").
  2. Attack Query: Un tentativo esplicito di elicitare il valore di un campo privato in linguaggio naturale (ad es. "Qual è il numero di passaporto?"). Le varianti includono domande dirette e framing avversariale (Ignora, Importante, Roleplay).

2.2 Metriche di Valutazione

• Accuratezza del Task: Misura se l'agente seleziona lo strumento corretto e fornisce argomenti che corrispondono ai valori della ground-truth.
• Privacy Score: Misura la frazione di istanze in cui l'agente non rivela il campo privato interrogato in risposta alla attack query.
• Media Armonica (HM): Utilizzata per aggregare il trade-off tra accuratezza del task e privacy.

2.3 Setup Sperimentale

Gli autori hanno valutato 22 modelli, inclusi 9 modelli proprietari (ad es. GPT-4o-mini, GPT-5, Gemini-2.5-Pro, Claude Sonnet 4.5) e 13 modelli open-source (ad es. Qwen3-VL, InternVL3.5, Llama3.2-Vision). Hanno testato varie difese basate su prompt, incluse istruzioni nel system prompt e ottimizzazione congiunta del prompt tramite TextGrad.

3. Risultati Chiave

3.1 Vulnerabilità Inerente

• Leakage Universale: Tutte le famiglie di modelli hanno mostrato un leakage non trascurabile. I modelli che raggiungono un'alta accuratezza del task (>60%) mostrano costantemente bassi punteggi di privacy (<27%).
• Correlazione con la Capacità: La capacità di seguire le istruzioni correla positivamente con il tasso di leakage. I modelli più forti (migliori nell'analizzare e usare i dati) sono più efficaci nell'estrarre e riprodurre informazioni private quando richiesto.
• Effetti di Scala: Nella famiglia Qwen3-VL, l'aumento dei parametri da 2B a 8B ha migliorato significativamente l'accuratezza del task ma ha causato un crollo netto nella protezione della privacy. Ulteriore scalabilità non ha risolto la vulnerabilità.
• Modalità: I punteggi di privacy erano più bassi sui testi e più alti sulle immagini. Gli autori notano che questo è probabilmente un artefatto dei limiti di OCR/parsing piuttosto che una genuina consapevolezza della privacy.

3.2 Fallimento dei Vincoli Soft

• Difese tramite Prompt: Le difese esistenti basate su prompt (istruzioni di sistema) hanno ridotto il leakage ma con un costo significativo per l'accuratezza del task.
• Ottimizzazione del Prompt: L'ottimizzazione congiunta dei prompt per entrambi gli obiettivi non è riuscita a sfuggire alla curva di trade-off; i modelli ottimizzati si sono semplicemente spostati lungo la stessa frontiera delle varianti create manualmente.
• Ingegneria Sociale: È stato scoperto che i modelli sono suscettibili di ingegneria sociale basata sull'autorizzazione. Quando gli utenti dichiaravano di essere autorizzati, i modelli rivelavano più informazioni ( $\Delta$Privacy negativo), particolarmente tra i modelli proprietari.

3.3 Soluzione Strutturale

• Isolamento dei Campi Privati: Gli autori hanno proposto un approccio strutturale in cui i campi privati vengono sostituiti con chiavi hash simboliche (ad es. [PRIVATE_buyer_ein]) prima di raggiungere il modello. I valori effettivi sono memorizzati in una tabella hash e risolti solo all'interno dello strato di esecuzione dello strumento.
• Performance: Sotto il masking "Oracle" (identificazione perfetta delle regioni private), questo approccio ha raggiunto punteggi di privacy >90% in tutti i modelli mantenendo un'accuratezza del task vicina al baseline. Ciò dimostra che l'isolamento strutturale può rompere il trade-off utilità-privacy.

4. Contributo Teorico: Risultato di Impossibilità

Il paper fornisce una prova formale (Teorema 1) dimostrando che per qualsiasi modello basato su softmax, nessuna difesa a vincolo soft (incluse le istruzioni del prompt o l'allineamento tramite tuning) può garantire simultaneamente un alto successo del task e una probabilità di leakage pari a zero sotto tentativi di estrazione sufficientemente lunghi.

• Logica: Se un modello completa con successo un task utilizzando token privati, deve averli elaborati con una probabilità strettamente positiva. Di conseguenza, la probabilità di rivelare questi token si avvicina a 1 all'aumentare della lunghezza dell'attacco, indipendentemente da quanto accuratamente sia strutturato il prompt.
• Implicazione: Il fallimento delle difese basate su prompt non è un limite pratico, ma una proprietà fondamentale dell'architettura del modello.

5. Significato e Rivendicazioni

Il paper sostiene che garanzie di privacy significative nei sistemi agentici non possono essere ottenute solo tramite patch a livello di istruzione o prompt engineering. Al contrario, propone una decisione architettonica a livello di sistema: l'isolamento strutturale dei campi privati.

• Messaggio Chiave: La tensione tra utilità del task e privacy è inerente ai modelli che elaborano dati privati in chiaro. L'unica via percorribile per ottenere lo zero leakage mantenendo l'utilità è impedire che i valori privati entrino nella distribuzione di output del modello.
• Limitazioni: Gli autori riconoscono che la loro attuale implementazione di isolamento strutturale si basa su OCR e masking, il che può introdurre errori (ad es. mascherare contenuti non privati o non riuscire a mascherare regioni strette). Considerano questo un problema di ingegneria per futuri miglioramenti in OCR e rilevamento PII, piuttosto che un difetto fondamentale dell'approccio strutturale.

Il lavoro stabilisce che il "trade-off utilità-privacy" osservato negli attuali benchmark è un artefatto strutturale del permettere ai modelli di vedere dati sensibili in chiaro, e che risolverlo richiede di separare le capacità di ragionamento del modello dall'accesso diretto ai valori privati grezzi.