Vectors Are Not Neutral: Sensitive-Information Inference from Exported LLM Representations in Summarization

Riepilogo Tecnico: I Vettori Non Sono Neutri

Enunciato del Problema
I sistemi di riassunto basati su Modelli Linguistici di Grande Dimensione (LLM) esportano spesso rappresentazioni vettoriali compatte di input privati verso flussi di lavoro a valle per il recupero, il monitoraggio, l'audit o l'analisi. Sebbene i documenti sorgente possano rimanere soggetti a restrizioni di accesso, questi vettori derivati sono frequentemente gestiti sotto controlli di accesso differenti. Il paper sostiene che, anche quando i testi grezzi sono protetti, tali vettori esportati possono comunque supportare l'inferenza di informazioni sensibili riguardanti gli individui descritti, creando un rischio residuo di divulgazione di informazioni. Questa problematica non viene inquadrata meramente come un vettore di attacco malevolo, ma come una questione di governance e politica: i componenti a valle (ad esempio, analisti, revisori, fornitori di servizi) potrebbero avere accesso ai vettori senza essere autorizzati a ispezionare il testo originale o gli attributi sensibili strutturati. Se questi vettori sono trattati come artefatti derivati che non dovrebbero rivelare informazioni a livello di soggetto, il recupero riuscito di attributi sensibili costituisce un fallimento della privacy.

Metodologia
Gli autori istanziano questo problema utilizzando la generazione di riassunti di dimissione clinica (in particolare, la generazione del Breve Corso Ospedaliero o BHC) come caso di studio ad alto rischio. Utilizzano la razza registrata nei Fascicoli Sanitari Elettronici (EHR) come etichetta sensibile controllata per l'audit.

1. Artefatti Auditi: Lo studio si concentra su due specifici artefatti derivati dal prompt calcolati prima della generazione:
   • lasttok: Lo stato nascosto dell'ultimo token del prompt immediatamente prima della decodifica.
   • meanpool: La media di tutti gli stati nascosti dei token del prompt non di riempimento, simile agli embedding utilizzati per il recupero o l'indicizzazione semantica.
2. Protocollo di Valutazione: Gli autori impiegano un probing post-hoc su vettori esportati congelati. Addestrano sonde lineari (regressione logistica multinomiale) e non lineari (MLP a due strati) per prevedere l'etichetta della razza a cinque vie registrata negli EHR a partire dai vettori esportati. Le prestazioni sono misurate dall'accuratezza della sonda e dal LeakageGap (la deviazione assoluta dalla baseline casuale di 0,20 in un setting bilanciato a cinque vie).
3. Strategia di Mitigazione (SURFACELORA): Il paper introduce SURFACELORA, un metodo di fine-tuning efficiente in termini di parametri (PEFT) mirato a specifici vettori esportati.
   • Meccanismo: Combina un obiettivo di utilità standard (riassunto tramite LoRA) con un obiettivo avversario. Durante l'addestramento, un discriminatore leggero è collegato a un vettore esportato designato (ad esempio, lasttok).
   • Inversione del Gradiente: Viene utilizzata un'Layer di Inversione del Gradiente (GRL) per invertire i gradienti che fluiscono dal discriminatore verso gli adattatori LoRA. Ciò incoraggia il modello a preservare l'utilità del riassunto rendendo il vettore specifico target meno predittivo dell'attributo sensibile.
   • Specificità dell'Artefatto: Il metodo è progettato per mitigare la fuoriuscita sull'esatto vettore destinato all'esportazione. Il discriminatore durante l'addestramento mira a una rappresentazione specifica (ad esempio, lasttok), e gli autori sostengono che la mitigazione deve essere allineata all'artefatto specifico mantenuto nella distribuzione.
4. Selezione dei Checkpoint: Gli autori osservano un compromesso non monotono tra utilità e fuoriuscita durante l'addestramento. Pertanto, propongono una procedura di distribuzione in cui i checkpoint sono selezionati in base a un set di validazione tenuto da parte (bal_val) utilizzando un budget di fuoriuscita pre-specificato (ad esempio, LeakageGap $\le$ 0,025) e massimizzando ROUGE-L, piuttosto che utilizzare semplicemente l'ultimo step di addestramento.

Risultati Chiave

• Fuoriuscita Specifica all'Artefatto: Ridurre la recuperabilità di informazioni sensibili da un artefatto esportato (ad esempio, lasttok) non garantisce una ridotta recuperabilità da un altro (ad esempio, meanpool). Nei loro esperimenti, SURFACELORA ha ridotto con successo la recuperabilità della razza dall'artefatto target lasttok a livelli vicini al caso (accuratezza di circa 0,203) preservando l'utilità del riassunto. Tuttavia, l'artefatto meanpool non targetizzato è rimasto sostanzialmente predittivo (accuratezza di circa 0,316–0,323), dimostrando che la mitigazione non è trasferibile tra diverse rappresentazioni vettoriali.
• Insufficienza del Prompting e della Rimozione Post-hoc: È stato riscontrato che l'ingegneria dei prompt (aggiunta di direttive di neutralità) e le trasformazioni lineari post-hoc (ad esempio, rimozione PCA, INLP) sono insufficienti. Il prompting non è riuscito a rimuovere segnali recuperabili e ha introdotto contaminazione da meta-termini. Le trasformazioni post-hoc hanno ridotto la recuperabilità lineare ma non sono riuscite a eliminare la fuoriuscita non lineare.
• Fragilità del Compromesso: La relazione tra forza avversaria ($\lambda$) e fuoriuscita è non monotona. Continuare l'addestramento oltre il checkpoint ottimale può causare un "rimbalzo", dove la fuoriuscita aumenta nonostante la pressione avversaria continua. Ciò rende necessaria una selezione dei checkpoint basata sulla validazione.
• Output vs. Rappresentazione: Sebbene SURFACELORA abbia ridotto la fuoriuscita a livello di rappresentazione, non ha reso il testo generato invariante agli attributi sensibili. Gli attaccanti basati sull'output potevano ancora inferire la razza dai riassunti generati a tassi superiori al caso, sebbene leggermente inferiori rispetto alle baseline.

Significato e Affermazioni
Il paper rivendica tre contributi principali:

1. Inquadramento: Inquadra i vettori di riassunto esportati come target di audit concreti e specifici per artefatti per l'inferenza di informazioni sensibili, distinti dal testo grezzo o dal modello nel suo complesso.
2. Divergenza degli Artefatti: Dimostra che un recupero vicino al caso da un vettore esportato può coesistere con un recupero sostanziale da un altro, sfidando l'assunzione che la sanificazione di una rappresentazione di token canonica implichi una sicurezza più ampia.
3. Mitigazione Mirata: Introduce SURFACELORA, un metodo PEFT mirato all'artefatto che riduce efficacemente la recuperabilità su un vettore specifico (ad esempio, lasttok) preservando l'utilità.

Gli autori concludono che l'audit della privacy e la mitigazione per i sistemi di riassunto devono essere specifici per l'artefatto. Un'affermazione di mitigazione ha significato solo se identifica sia le informazioni sensibili oggetto di audit sia l'esatto artefatto vettoriale mantenuto, registrato o esposto. Se un sistema esporta embedding raggruppati (ad esempio, per il recupero), l'audit e la mitigazione devono mirare a quella specifica rappresentazione, poiché la sanificazione dello stato dell'ultimo token da sola è insufficiente. Il paper sottolinea che questa è una ricetta orientata alla distribuzione: audita il vettore specifico utilizzato nella pipeline e applica una mitigazione allineata a quel vettore.

Limitazioni
Gli autori riconoscono che il loro studio è limitato a un setting empirico specifico (riassunto BHC con razza registrata negli EHR) e non stabilisce la generalità su tutti gli attributi sensibili, i domini o le architetture di modello. Notano che la mitigazione multi-attributo (proteggere simultaneamente razza, età, genere, ecc.) rimane un problema aperto. Inoltre, chiariscono che la razza registrata negli EHR è trattata come una categoria amministrativa, non come un attributo biologico, e i risultati riguardano la recuperabilità delle categorie registrate e dei loro proxy testuali.