Riepilogo Tecnico: Ricostruzione dei Dati di Addestramento da Modelli Linguistici di Grandi Dimensioni Federati basati su Adapter

Definizione del Problema

I Modelli Linguistici di Grandi Dimensioni Federati (FedLLMs) che utilizzano l'affinamento basato su adapter (ad esempio, LoRA) sono diventati un approccio mainstream per l'apprendimento collaborativo che preserva la privacy. Congelando i massicci parametri della struttura portante (backbone) pre-addestrata degli LLM e addestrando solo moduli adapter a basso rango compatti, questi sistemi mirano a ridurre l'overhead computazionale, di archiviazione e di comunicazione. L'ipotesi prevalente è che questa efficienza dei parametri aumenti intrinsecamente la sicurezza, limitando l'informazione che può trapelare attraverso i gradienti condivisi, contrastando così gli esistenti attacchi di Inversione del Gradiente (GIA).

Tuttavia, questo articolo mette in discussione tale ipotesi. Esso sostiene che i FedLLM basati su adapter rimangano vulnerabili a gravi attacchi sulla privacy. Il problema centrale affrontato è la ricostruzione di testi privati sensibili dai gradienti condivisi degli adapter, nonostante tre sfide specifiche che rendono inefficaci i GIA tradizionali:

1. Dimensionalità Ridotta degli Aggiornamenti: Gli adapter aggiornano solo una piccola frazione dei parametri, riducendo drasticamente la dimensionalità del gradiente e oscurando l'informazione grezza rispetto all'affinamento a parametri completi.
2. Backbone Congelato: Il backbone pre-addestrato dell'LLM rimane congelato, il che significa che gli attaccanti non possono accedere ai gradienti dei critici strati di attenzione e transformer che tipicamente facilitano la ricostruzione del testo nelle impostazioni a parametri completi.
3. Vasto Spazio delle Soluzioni: Lo spazio combinatorio delle possibili ricostruzioni testuali è vasto, rendendo l'esplorazione diretta o la ricerca a beam (beam search) computazionalmente impraticabili, specialmente con batch size elevati.

Metodologia: L'Attacco UTR

Gli autori propongono l'attacco Unordered-word-bag-based Text Reconstruction (UTR), una nuova pipeline a due stadi progettata per sfruttare le proprietà strutturali uniche dei FedLLM basati su adapter.

Stadio 1: Inferenza del Sacchetto di Parole (Word Bag Inference)

Questo stadio prende di mira l'adapter di embedding per inferire un insieme non ordinato di token del vocabolario presenti nell'input privato del client, bypassando efficacemente l'ottimizzazione continua.

• Meccanismo: Il metodo sfrutta la natura deterministica dei livelli di embedding congelati. Analizza i gradienti dello strato completamente connesso (FC) di downsampling dell'adapter di embedding.
• Intuizione Matematica: Calcolando il Rapporto tra Gradiente di Peso e Bias (RWBG) per i neuroni nello strato FC, gli autori costruiscono un sottospazio lineare a basso rango $S$. Questo sottospazio è spaziato dai vettori di embedding nascosti dei token di input effettivi.
• Inferenza: L'attacco itera sul vocabolario del modello, controllando se l'embedding nascosto di un candidato token giace all'interno del sottospazio $S$ derivato dai gradienti del client. Se lo fa, il token viene incluso nel "sacchetto di parole". Ciò trasforma il problema dal fitting vettoriale al test di appartenenza in algebra lineare.

Stadio 2: Inferenza dei Dati (Data Inference)

Questo stadio assembla il "sacchetto di parole" non ordinato in sequenze di testo coerenti.

• Meccanismo: Utilizza una strategia di ricerca greedy vincolata guidata da filtri grammaticali, semantici e contestuali (EICW, CG, CS) per eliminare le combinazioni di token non valide.
• Inferenza di Appartenenza: Per validare le frasi candidate, il metodo utilizza i gradienti dell'adapter di livello (layer adapter). Inserisce le sequenze candidate attraverso il modello per generare embedding nascosti e controlla se questi embedding giacciono all'interno del sottospazio a basso rango $S_{LA}$ spaziato dal gradiente dell'adapter di livello.
• Adattamento dell'Architettura: Il metodo tiene conto delle differenze nell'architettura degli LLM. Per i modelli bidirezionali (ad es., BERT), l'intero testo può essere ricostruito in un unico passaggio. Per i modelli unidirezionali (ad es., GPT), la ricostruzione viene eseguita per prefisso, richiedendo più campioni candidati per assemblare la sequenza completa.

Contributi Chiave

1. Divulgazione della Vulnerabilità: Il documento dimostra che i FedLLM basati su adapter non sono immuni agli attacchi di inversione del gradiente, anche quando la maggior parte dei parametri del modello è congelata. Rivela che gli adapter a basso rango creano nuovi canali di fuga sfruttabili.
2. Framework dell'Attacco UTR: Gli autori introducono l'UTR, un attacco su misura che supera le sfide degli aggiornamenti a bassa dimensionalità e dei backbone congelati. Combina in modo unico l'analisi del sottospazio dei gradienti di embedding con la decodifica vincolata per ottenere una ricostruzione ad alta fedeltà.
3. Analisi Teorica della Fuga di Informazioni: Il documento fornisce una valutazione teorica dei limiti dell'attacco, definendo il numero massimo di token recuperabili ($k_{max}$) come limitato dal rango del sottospazio spaziato dai gradienti dell'adapter ($rank(S) \leq d_{bottleneck}$).
4. Valutazione Comprensiva: Lo studio valuta l'attacco attraverso diversi modelli (BERT, GPT2-Large, Qwen2.5-7B) e dataset (CoLA, SST-2, Rotten Tomatoes) sotto diverse dimensioni di batch e meccanismi di difesa.

Risultati Sperimentali

Gli esperimenti dimostrano che l'UTR raggiunge un'accuratezza di ricostruzione quasi perfetta, superando significativamente i baseline allo stato dell'arte come LAMP e DAGER.

• Accuratezza di Ricostruzione: L'UTR raggiunge punteggi ROUGE-1/2 superiori al 99% in tutti i modelli e dataset testati, anche con batch size fino a 128. Al contrario, i baseline come DAGER falliscono completamente nelle impostazioni di backbone congelato, e LAMP degrada significativamente all'aumentare della dimensione del batch.
• Scalabilità: L'attacco rimane efficace per grandi batch (fino a 128) su Qwen2.5-7B e BERT. Su GPT2-Large, le prestazioni calano su determinati dataset (SST, RT) per batch superiori a 32, a causa delle difficoltà nel ricostruire sequenze lunghe con meccanismi di attenzione unidirezionale.
• Valutazione della Difesa:
  • Privacy Differenziale (DP): La DP si dimostra una difesa efficace, riducendo il successo dell'attacco vicino allo 0% con livelli di rumore moderati ($\sigma \geq 1.5$). Tuttavia, gli autori notano che tali livelli di rumore rendono il modello inutilizzabile per compiti pratici.
  • Pruning del Gradiente (GP): Il GP offre una protezione fragile. Anche con un pruning aggressivo (99.9%), persiste una certa fuga di informazioni, e sono necessari tassi di pruning elevati per mitigare l'attacco, il che compromette gravemente l'utilità del modello.

Significato e Rivendicazioni

Il documento conclude che esiste una tensione fondamentale tra efficienza dei parametri e privacy nei FedLLM. L'opinione prevalente secondo cui l'adattamento leggero aumenti intrinsecamente la sicurezza è messa in discussione da queste scoperte.

• Compromesso Privacy-Performance: Lo studio evidenzia che, sebbene gli adapter riducano i costi di comunicazione, non garantiscono automaticamente la privacy. La natura a basso rango degli aggiornamenti, destinata all'efficienza, crea involontariamente un sottospazio specifico che può essere matematicamente invertito per recuperare dati di input discreti.
• Implicazioni per il Design: I risultati suggeriscono che affidarsi esclusivamente all'affinamento basato su adapter per la privacy sia insufficiente. Gli autori sottolineano la necessità di una valutazione sistematica dei rischi di ricostruzione nei paradigmi di FedLLM efficienti e indicano che difese efficaci (come la DP) possono comportare un costo in termini di utilità del modello.

Il lavoro funge da avvertimento critico per la comunità: le garanzie di sicurezza dei FedLLM basati su adapter non sono robuste come sembrano, rendendo necessarie nuove strategie difensive che non compromettano i benefici di efficienza offerti da questi modelli.