Concept-Aware Privacy Mechanisms for Defending Embedding Inversion Attacks

Riassunto Tecnico: SPARSE

1. Il Problema: Vulnerabilità e Inefficienza della Privacy negli Embedding

Il paper affronta la crescente minaccia degli embedding inversion attacks. Gli embedding testuali (come quelli generati da Sentence-T5 o SBERT) sono essenziali per applicazioni come la Retrieval-Augmented Generation (RAG), ma possono essere invertiti da avversari per ricostruire il testo originale o estrarre attributi sensibili (es. dati medici, età, nomi).

Le difese attuali basate sulla Differential Privacy (DP) presentano due limiti critici:

• Assunzione di sensibilità uniforme: I meccanismi DP tradizionali (come il meccanismo di Laplace) iniettano rumore in modo isotropico (sferico) su tutte le dimensioni dell'embedding, assumendo che ogni dimensione sia ugualmente sensibile.
• Trade-off Privacy-Utilità scarso: Per garantire una protezione robusta, viene iniettato un eccessivo rumore che degrada pesantemente la qualità semantica dell'embedding, rendendolo inutile per i task downstream (es. ricerca semantica).
• Mancanza di granularità: La privacy è contestuale; un utente potrebbe voler proteggere la propria condizione medica ma non il proprio genere. Le difese attuali non permettono una protezione specifica per "concetti".

2. Metodologia: Il Framework SPARSE

Gli autori propongono SPARSE (Sensitivity-guided Privacy-Aware Representations for better SEmantic-preserving), un framework user-centric che introduce una protezione basata su concetti. La metodologia si articola in due fasi principali:

A. Identificazione delle dimensioni sensibili (Neuron Mask Learning):
Invece di trattare tutte le dimensioni allo stesso modo, SPARSE identifica quali "neuroni" (dimensioni dell'embedding) codificano il concetto privato $C$ definito dall'utente.

• Viene appresa una maschera differenziabile $m \in [0, 1]^n$ utilizzando una distribuzione Hard Concrete.
• Il processo di addestramento utilizza un dataset composto da coppie di frasi: una con il concetto sensibile ($D^+$) e una con il concetto rimosso ($D^-$).
• La funzione di perdita (loss) combina una loss di classificazione (per distinguere tra $D^+$ e $D^-$ usando la maschera) e una regolarizzazione $L_0$ (per garantire che la maschera sia sparsa, isolando solo le dimensioni strettamente necessarie).

B. Perturbazione con il Meccanismo di Mahalanobis:
Una volta identificata la maschera, il rumore non viene applicato in modo sferico, ma in modo ellittico.

• Viene introdotto il Meccanismo di Mahalanobis, che estende il meccanismo di Laplace generalizzato.
• Il rumore viene calibrato sulla sensibilità delle dimensioni: le dimensioni identificate come sensibili dalla maschera ricevono una perturbazione maggiore, mentre le dimensioni non sensibili (che preservano la semantica generale) vengono lasciate quasi intatte.
• Questo approccio garantisce formalmente la Metric Local Differential Privacy ($\epsilon d$-LDP).

3. Contributi Chiave

1. Nuovo paradigma di difesa: Passaggio da una protezione globale e uniforme a una protezione specifica per concetto e guidata dalla sensibilità.
2. Meccanismo di Mahalanobis: Un'estensione della DP che permette l'iniezione di rumore anisotropo (ellittico) con garanzie teoriche rigorose.
3. Efficienza nel Trade-off: Capacità di ridurre drasticamente la fuga di informazioni (leakage) mantenendo un'alta utilità per i task di NLP.
4. Approccio Black-box efficace: Il sistema non richiede la conoscenza del modello di attacco per funzionare, ma si avvicina alle prestazioni di una difesa "white-box" (che invece conosce l'attaccante).

4. Risultati Sperimentali

Il framework è stato valutato su sei dataset e tre modelli di embedding (GTR-base, Sentence-T5, SBERT) contro vari attacchi (Vec2text, GEIA, MLC).

• Privacy-Utility Trade-off: Rispetto ai metodi allo stato dell'arte (LapMech e PurMech), SPARSE riduce significativamente il leakage (es. nel dataset STS12, il leakage scende dal 60% al 19% con $\epsilon=10$) mantenendo un'utilità downstream superiore.
• Robustezza: La difesa è efficace contro diversi modelli di attacco, inclusi quelli basati su LLM (sentence-level) e modelli MLP (token-level).
• Applicazioni Real-World: Test su dati clinici (MIMIC-III) e PII (Personally Identifiable Information) hanno dimostrato che SPARSE protegge efficacemente attributi come sesso, malattie e sintomi, superando le tecniche di semplice rimozione/mascheramento dei dati (PII masking) che distruggono la semantica.
• Analisi Qualitativa: L'analisi delle maschere ha confermato che le dimensioni sensibili sono effettivamente correlate ai concetti (es. parole legate ai giorni della settimana attivano dimensioni simili), validando l'approccio.

5. Significato e Impatto

Il lavoro di SPARSE è significativo perché sposta il focus della privacy dagli embedding come "blocchi monolitici" alla loro struttura interna granulare. Fornisce uno strumento pratico per sviluppatori di sistemi RAG e database vettoriali, permettendo di implementare politiche di privacy personalizzabili (es. "proteggi l'identità ma mantieni il contesto semantico") senza rendere i dati inutilizzabili per l'intelligenza artificiale.