Sintesi Tecnica: TIGER – Inversione dei Gradienti dei Transformer tramite Ottimizzazione della Distanza dello Spazio di Embedding

Definizione del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli condivisi mantenendo i dati grezzi dei client locali. Tuttavia, gli attacchi di inversione del gradiente hanno dimostrato che gli aggiornamenti del modello (gradienti) possono far trapelare informazioni sufficienti per ricostruire gli input privati dei client. Sebbene questi attacchi siano stati efficaci sui dati di immagini, la ricostruzione del testo per i modelli Transformer-based (LLM) rimane una sfida.

I metodi esistenti di inversione del testo affrontano limitazioni significative in scenari FL realistici:

1. Approcci basati sull'ottimizzazione: I metodi che ottimizzano input fittizi per corrispondere ai gradienti completi sono computazionalmente costosi e instabili per i modelli moderni, in particolare con batch size elevate.
2. Approcci basati su sottospazi: Il lavoro precedente (es. DAGER) sfrutta la struttura a basso rango dei gradienti degli strati lineari dei Transformer per identificare un sottospazio contenente i veri embedding dello strato. Tuttavia, questi metodi si affidano a test di appartenenza discreti (verificare se i token candidati giacciono nel sottospazio). Tale approccio è fragile sotto il rumore numerico (es. quantizzazione o Differential Privacy) e scala scarsamente per i modelli encoder con attenzione non causale, dove la ricostruzione sequenziale dei token è impossibile.

Di conseguenza, gli attacchi esistenti spesso falliscono o sottostimano i rischi di privacy in ambienti FL difesi che coinvolgono grandi batch, gradienti quantizzati o rumore.

Metodologia: TIGER

Gli autori introducono TIGER (Transformer Data Inversion from Gradients via Embedding-subspace Reconstruction), un attacco di inversione del gradiente continuo che trasforma il segnale del sottospazio in un obiettivo differenziabile. Invece di cercare su token discreti o far corrispondere i gradienti completi, TIGER ottimizza direttamente gli embedding dei token continui per minimizzare la loro distanza dai sottospazi indotti dal gradiente.

Meccanismo Centrale

TIGER sfrutta l'osservazione che, per uno strato lineare in un Transformer, lo span delle righe dell'input dello strato coincide con lo spazio delle colonne del corrispondente gradiente dei pesi (sotto condizioni di rango lievi).

• Segnale del Sottospazio: Dato il gradiente osservato $\frac{\partial \mathcal{L}}{\partial W^l_Q}$, l'attaccante calcola lo span delle colonne $S_l$.
• Obiettivo Continuo: Invece di testare candidati discreti, TIGER ottimizza una matrice di embedding di input grezzo continua $\bar{Z}_0$. L'obiettivo è garantire che gli stati nascosti $\bar{Z}_l$ indotti dal passaggio in avanti (forward pass) si allineino con i sottospazi osservati $S_l$.
• Funzione di Perdita: L'obiettivo primario è una perdita di distanza dello span forward ($\ell_{forw}$), che minimizza la distanza al quadrato tra gli stati nascosti recuperati normalizzati e la loro proiezione sul sottospazio indotto dal gradiente.

Adattamenti Specifici dell'Architettura

TIGER impiega strategie distinte per modelli decoder-only e encoder-only:

1. Modelli Decoder-Only (Causali):

   • Sfrutta le maschere di attenzione causale per recuperare i token sequenzialmente (token per token).
   • Poiché la rappresentazione alla posizione $i$ dipende solo dai token precedenti, l'attacco ottimizza gli embedding uno alla volta.
   • Deduplicazione: Per evitare che più sequenze in un batch collassino allo stesso primo token, viene aggiunta una perdita di deduplicazione ($\ell_{dedup}$). Questa penalizza l'embedding del primo token corrente se si allinea con il sottospazio già occupato dai primi token precedentemente recuperati nel batch.

2. Modelli Encoder-Only (Non Causali):

   • Il recupero sequenziale causale è impraticabile perché tutti i token in una sequenza sono interdipendenti.
   • TIGER esegue l'ottimizzazione congiunta di tutti gli embedding grezzi del batch.
   • Allineamento Bidirezionale: Per prevenire soluzioni degenerate (es. tutti i token recuperati che collassano verso una singola direzione), TIGER introduce una perdita di distanza dello span backward ($\ell_{back}$). Questa perdita impone che le direzioni della base indotta dal gradiente debbano anche risiedere nello span degli stati nascosti recuperati. Ciò assicura che il batch recuperato copra l'intero sottospazio osservato, scoraggiando soluzioni con token ripetuti o sequenze duplicate.

Inizializzazione e Ottimizzazione

• Inizializzazione: TIGER utilizza un prior Gaussiano dipendente dalla posizione, adattato da un ampio corpus (es. WikiText), per inizializzare gli embedding, fornendo un punto di partenza forte per l'ottimizzazione non convessa.
• Ottimizzazione: L'attacco esegue molteplici ottimizzazioni indipendenti ($N_{init}$) con diverse inizializzazioni, utilizzando l'ottimizzatore Adam per minimizzare la perdita di distanza dello span.
• Discretizzazione: Dopo la convergenza dell'ottimizzazione continua, gli embedding recuperati vengono proiettati al token del vocabolario più vicino tramite similitudine del coseno.

Contributi Chiave

1. Attacco TIGER: Un attacco di inversione del gradiente continuo, robusto e scalabile per i LLM Transformer che recupera il testo privato in scenari impegnativi (grandi batch, gradienti quantizzati, rumore DP).
2. Obiettivo di Sottospazio Differenziabile: Una nuova formulazione che converte la struttura a basso rango del gradiente in un obiettivo di embedding-sottospazio differenziabile. Questo evita il filtraggio discreto fragile ed estende l'attacco ai modelli encoder-only tramite una perdita di allineamento bidirezionale.
3. Valutazione Esaustiva: Esperimenti estesi su modelli moderni (GEMMA-3-4B-IT e EMBEDDINGGEMMA-300M) dimostrano che TIGER supera sostanzialmente gli attacchi precedenti negli scenari difesi e encoder-only, pur rimanendo competitivo nei contesti decoder non difesi.
4. Open Source: Un'implementazione open-source per facilitare la futura ricerca sui rischi di privacy e sulle difese.

Risultati Sperimentali

Gli autori hanno valutato TIGER su batch WikiText con diverse dimensioni di batch, lunghezze di sequenza e livelli di difesa (rumore del gradiente e quantizzazione), misurando le prestazioni tramite ROUGE-1 e ROUGE-L.

• Robustezza al Rumore (Decoder): In scenari non difesi, TIGER è competitivo o leggermente superiore a DAGER. Tuttavia, sotto rumore del gradiente di tipo Differential Privacy ($\sigma = 10^{-3}$), DAGER collassa verso una qualità di ricostruzione quasi nulla, mentre TIGER mantiene un recupero significativo (ROUGE-1 > 70%).
• Prestazioni Encoder: Sui modelli encoder-only, dove il recupero causale è impossibile, TIGER raggiunge un ROUGE-1 di circa il 60% su batch di 16 sequenze, superando significativamente gli attacchi basati sull'ottimizzazione precedenti (es. LAMP).
• Quantizzazione: TIGER rimane efficace sotto precisione BF16, mentre DAGER fallisce completamente a causa dell'inaffidabilità dei suoi test discreti basati su soglie.
• Scalabilità: TIGER scala verso sequenze più lunghe e batch più grandi in modo più efficace rispetto ai metodi precedenti, specialmente negli scenari encoder.

Significato e Rivendicazioni

Il paper sostiene che TIGER rivela vulnerabilità di privacy significative nei LLM Transformer che erano precedentemente sottostimate.

• Resilienza dei Gradienti: Lo studio dimostra che i gradienti dei transformer mantengono sostanziali informazioni testuali anche dopo perturbazioni comuni come il rumore additivo (DP) o la riduzione della precisione numerica (quantizzazione).
• Limitazioni delle Difese Attuali: I risultati suggeriscono che il rumore del gradiente modesto o il calcolo a precisione ridotta non dovrebbero essere considerati sufficienti per eliminare i rischi di ricostruzione.
• Minaccia Più Ampia: Consentendo ricostruzioni di successo in scenari in cui attacchi precedenti falliscono (grandi batch, encoder, scenari difesi), TIGER espande il panorama delle minacce pratiche dell'inversione del gradiente, evidenziando la necessità di valutare e applicare con cura le difese della privacy nelle implementazioni di apprendimento federato.

Gli autori segnalano alcune limitazioni, specificamente che l'attacco si basa sulla struttura a basso rango dei gradienti, che diminuisce quando il numero totale di token supera la dimensione nascosta. Riconoscono inoltre che, sebbene TIGER recuperi un contenuto sostanziale, non sempre produce una ricostruzione ordinata esatta, suggerendo il potenziale per approcci ibridi che combinano il recupero continuo del sottospazio con il raffinamento discreto.