Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

Sintesi Tecnica: Difesa contro gli Attacchi di Prompt Inversion tramite Inferenza Collaborativa Informatica-Teoretica

Problematica
L'inferenza collaborativa edge-cloud consente ai dispositivi con risorse limitate di sfruttare i Large Language Models (LLM) eseguendo localmente i primi strati e scaricando le attivazioni intermedie a un server cloud. Tuttavia, questa architettura espone i prompt sensibili dell'utente ad attacchi di tipo prompt inversion, in cui gli avversari ricostruiscono l'input originale dalle rappresentazioni condivse. Le difese esistenti, come l'iniezione euristica di rumore o la riduzione della dimensionalità, mancano di garanzie teoriche fondate riguardo alla fuga di informazioni e spesso non riescono ad affrontare la tensione fondamentale tra la preservazione dell'utilità del compito e la protezione dell'identità dei token. Inoltre, lavori precedenti hanno dimostrato che l'identità del token persiste attraverso tutti gli strati del transformer, rendendo inefficace una semplice offuscazione basata sulla profondità.

Metodologia
Gli autori propongono un framework di difesa informatico-teoretico che modella la fuga di privacy come l'informazione mutua (MI) tra il prompt di input $x$ e le attivazioni protette trasmesse $A$. La difesa è formulata come un problema di ottimizzazione minimax:

1. Obiettivo: Minimizzare $I(A; x)$ (fuga di privacy) massimizzando al contempo $I(A; y)$ (utilità per la predizione del next-token), soggetti a vincoli di latenza.
2. Architettura (Privacy Adapter): Il meccanismo centrale prevede l'inserimento di privacy adapter leggeri e addestrabili tra gli strati congelati del transformer sul lato client. A differenza degli adapter di tipo LoRA che aggiungono connessioni residue, questi adapter implementano un rigoroso collo di bottiglia informativo (information bottleneck):
   • Comprimono le attivazioni da una dimensione $d$ a uno spazio sottospaziale di bassa dimensione $r$ ($r \ll d$) tramite una proiezione verso il basso, una non-linearità e una proiezione verso l'alto.
   • Fondamentalmente, essi sostituiscono l'attivazione invece di perturbarla in modo additivo. Gli autori dimostrano teoricamente che le connessioni residue iniettive (comuni in altre difese) non possono ridurre l'informazione mutua, mentre i colli di bottiglia non-iniettivi impongono una compressione con perdita (lossy compression), riducendo realmente la MI.
3. Ottimizzazione: Il sistema impiega un programma di addestramento alternato. Una rete avversaria (un classificatore di token) viene addestrata per massimizzare l'accuratezza della ricostruzione (minimizzando la cross-entropy), mentre gli adapter vengono aggiornati per minimizzare una perdita combinata della cross-entropy dell'avversario e della perplexity del compito a valle. Questo stima e minimizza direttamente un limite superiore variazionale della MI.

Contributi Chiave

1. Framework Minimax Informatico-Teoretico: Il documento stabilisce una difesa formale contro la prompt inversion minimizzando esplicitamente l'informazione mutua tramite un avversario appreso, colmando il divario tra i limiti teorici della privacy e l'implementazione pratica.
2. Privacy Adapter con Garanzie Teoriche: Gli autori introducono moduli adapter che impongono la compressione con perdita. Forniscono una prova formale (Teorema 4.2) che le difese di tipo residuo (mappature iniettive) non possono ridurre l'informazione mutua, giustificando la necessità del loro design a collo di bottiglia non-iniettivo. Derivano inoltre limiti sull'errore di ricostruzione in funzione della dimensione del collo di bottiglia.
3. Analisi dei Token Sensibili: Il framework introduce una metodologia per distinguere tra il recupero di token sensibili (termini specifici del dominio come condizioni mediche o entità legali) e token strutturali comuni (parole di stop, punteggiatura). La teoria prevede, e gli esperimenti confermano, che il collo di bottiglia sopprime in modo sproporzionato i token ad alta entropia (sensibili) preservando al contempo i token a bassa entropia (comuni) necessari per la coerenza sintattica.
4. Valutazione Esaustiva: Il metodo è validato su tre LLM (LLaMA-2-7B/13B, Mistral-7B) e tre domini (Medicina, Legale, Recensioni di compagnie aeree) contro attacchi di prompt inversion basati sia sulla classificazione che sull'ottimizzazione.

Risultati Sperimentali

• Tradeoff Privacy-Utilità: Il metodo ottiene una riduzione significativa dei tassi di successo degli attacchi. In varie configurazioni, riduce il recupero dei token sensibili del 15–35% rispetto ai baseline; le migliori configurazioni (es. $\lambda=0.5$) mostrano fino a una riduzione di 35 punti percentuali nell'accuratezza dei token sensibili rispetto ai token comuni.
• Confronto con i Baseline: Gli adapter proposti superano le difese esistenti, inclusi rumore Gaussiano/Laplace, PCA e metodi di riduzione della perdita di informazione (NoPeek, masking basato su Fisher). Notevolmente, i metodi basati sul rumore affrontano spesso un "cliff di privacy-utilità" dove una forte privacy distrugge l'utilità (perplexity), mentre gli adapter mantengono una perplexity utilizzabile (es. PPL < 100) pur abbassando significativamente l'accuratezza dell'attacco.
• Efficienza: L'approccio introduce un overhead di latenza minimo (<9%) sui dispositivi edge (testato su Jetson Orin Nano) e aggiunge un numero di parametri trascurabile (<0.3% del modello completo).
• Robustezza: La difesa si generalizza attraverso diversi tipi di attacco; attaccanti "nuovi" addestrati da zero sulle attivazioni protette ottengono tassi di successo simili all'avversario di addestramento, confermando che la difesa non è solo l'occultamento delle informazioni da un modello specifico co-adattato.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima difesa di privacy informatico-teoretica per l'inferenza collaborativa di LLM sotto attacchi di prompt inversion. La sua principale significatività risiede nello spostamento del paradigma dalle perturbazioni euristiche alla compressione con perdita (lossy) basata su principi che offre limiti provabili sull'errore di ricostruzione. Gli autori sostengono che il loro approccio dimostra che le trasformazioni apprese e consapevoli del compito sono essenziali per la privacy pratica nei sistemi LLM edge-cloud, consentendo applicazioni sensibili (sanità, legale) di utilizzare gli LLM senza esporre i prompt grezzi dell'utente. Il lavoro stabilisce che la protezione della privacy non deve essere uniforme: sopprimendo selettivamente i token ad alta entropia, il sistema può proteggere i contenuti sensibili mantenendo l'integrità strutturale necessaria per l'inferenza a valle.