MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

Sintesi Tecnica: MineGrad – Attacchi di Inversione del Gradiente su LoRA Fine-Tuning

Definizione del Problema
Il Fine-Tuning Efficiente nei Parametri (PEFT), in particolare il Low-Rank Adaptation (LoRA), è diventato un approccio standard nell'Apprendimento Federato (FL) per mitigare i costi di comunicazione e computazione associati al fine-tuning di modelli pre-addestrati su larga scala. In questo paradigma, gli utenti scaricano un modello pre-addestrato congelato, effettuano il fine-tuning locale di moduli LoRA leggeri e condividono solo i gradienti di questi moduli con un server centrale. Sebbene ciò riduca il volume dei dati condivisi, la robustezza di questa configurazione contro un server malevolo rimane poco esplorata.

Gli attacchi di inversione del gradiente esistenti, che ricostruiscono dati di addestramento privati dai gradienti condivisi, affrontano significativi limiti quando applicati a LoRA. I lavori precedenti spesso si affidano a un pre-addestramento avversariale computazionalmente costoso con dataset pubblici, richiedono che il numero di token di addestramento sia inferiore al rango delle matrici LoRA (una condizione spesso violata nella pratica), o sono limitati a dati testuali con vocabolari predefiniti. Inoltre, attacchi come DAGER (Petrov et et al., 2024) faticano con lo spazio di gradiente ridotto inerente a LoRA, dove solo un piccolo numero di vettori di gradiente (determinato dal rango $r$) è osservabile per ogni layer.

Metodologia: MineGrad
Gli autori propongono MineGrad, un nuovo attacco di inversione del gradiente analitico che consente a un server malevolo di recuperare dati privati dell'utente (sia testo che immagini) sfruttando un modello pre-addestrato avversariale e parametri LoRA globali manipolati. A differenza dei metodi precedenti, MineGrad non richiede dataset pubblici del dominio target, non dipende dal fatto che il conteggio dei token sia inferiore al rango LoRA e è applicabile sia a compiti linguistici che di visione.

L'attacco opera sotto un modello di minaccia in cui il server può:

1. Diffondere un modello pre-addestrato avversariale agli utenti prima dell'inizio del fine-tuning.
2. Modificare i parametri LoRA globali inviati agli utenti in ogni round di addestramento.

Principi Chiave di Progettazione:

• Parametrizzazione Avversariale: Il server progetta i vettori di codifica della posizione (position encoding) del modello pre-addestrato e le matrici LoRA ($A$ e $B$) per incorporare i dati di fine-tuning direttamente nei gradienti.
• Mappatura Identità e Isolamento dei Token: Nei "target encoder" (Encoder da 1 a $S-1$), il server configura il meccanismo di self-attention affinché agisca come una mappatura identità. Le matrici LoRA sono progettate specificamente in modo che il gradiente rispetto a una specifica colonna della matrice $B$ isoli un embedding di un target token specifico. Ciò è ottenuto manipolando le codifiche di posizione per creare valori grandi e distinti in dimensioni specifiche, garantendo che il peso associato al target token nel calcolo del gradiente domini tutti gli altri.
• Aggregazione per il Recupero Completo: Poiché una singola matrice LoRA di rango $r$ può rivelare solo $r$ token per encoder, MineGrad utilizza molteplici encoder. Ogni encoder punta a un sottoinsieme distinto di token.
• Manipolazione dello Strato di Classificazione: L'ultimo encoder e lo strato di classificazione sono progettati per garantire che la funzione di perdita produca un gradiente non nullo che trasporti l'informazione aggregata dei target token. Il server manipola i pesi di classificazione per forzare un punteggio di classe specifico, consentendo l'estrazione analitica degli embedding dei token dal gradiente.
• Ricostruzione: Il server recupera analiticamente gli embedding dei token dividendo i gradienti osservati per costanti note derivate dai parametri avversariali. Gli originali word embedding vengono poi recuperati sottraendo i vettori di codifica della posizione (noti e avversariali).

Contributi Chiave

1. Nuovo Vettore di Attacco: Introduzione di MineGrad, il primo attacco di inversione del gradiente analitico specificamente progettato per il fine-tuning LoRA in FL che funziona senza dataset di dominio pubblico o vincoli restrittivi sul rango.
2. Ampia Applicabilità: Dimostrazione che l'attacco è efficace sia su compiti linguistici (usando Transformer encoder come BERT e RoBERTa) che su compiti di visione (usando Vision Transformers), superando le limitazioni del vocabolario dei precedenti attacchi solo testuali.
3. Superamento dei Vincoli di Rango: Il metodo recupera con successo i dati anche quando il numero di token di addestramento supera il rango delle matrici LoRA, uno scenario in cui i precedenti attacchi come DAGER falliscono.
4. Scalabilità: L'uso di molteplici encoder permette il recupero di intere sequenze indipendentemente dal basso rango ($r$) dei singoli moduli LoRA.

Risultati Sperimentali
Gli autori hanno valutato MineGrad su molteplici dataset di classificazione del testo (AG's News, DBPedia, Yahoo Answers, Yelp, TREC-6) e dataset di classificazione di immagini (CIFAR-10, CIFAR-100).

• Recupero del Testo: L'attacco ha raggiunto una ricostruzione quasi perfetta, con punteggi BLEU e ROUGE-L vicini a 1.0 attraverso vari modelli (BERT-base/large, RoBERTa-base/large) e dataset. La Tabella 2 illustra che le frasi reali vengono recuperate con alta fedeltà.
• Indipendenza dal Rango: Gli esperimenti hanno mostrato che, mentre la qualità della ricostruzione migliora con un rango più alto per un singolo encoder, l'impiego di molteplici encoder permette a MineGrad di raggiungere lo stesso alto livello di fedeltà con un rango molto piccolo (es. $r=2$) rispetto a un singolo encoder con un rango elevato (es. $r=16$).
• Lunghezza della Sequenza: Le prestazioni degradano all'aumentare della lunghezza della sequenza, ma rimangono efficaci. Gli autori notano che le prestazioni possono essere ulteriormente potenziate manipolando i word embedding pre-addestrati.
• Recupero Immagini: Per i Vision Transformers, l'attacco ha recuperato immagini con bassi punteggi LPIPS (0.20 ± 0.04 per CIFAR-10), indicando un'alta somiglianza visiva con gli input originali.
• Elaborazione Batch: Anche con batch size fino a 64, l'attacco ha recuperato una percentuale significativa di token (es. 52.2% per TREC-6), sebbene i tassi di recupero diminuiscano all'aumentare della dimensione del batch a causa della media degli embedding.
• Confronto: MineGuard ha superato significativamente DAGER, che ha subito un grave degrado delle prestazioni quando il conteggio dei token superava il rango LoRA.

Significatività e Rivendicazioni
Il documento sostiene che MineGrad rivela vulnerabilità critiche nelle garanzie di privacy del fine-tuning LoRA in ambito federato. Gli autori sottolineano che:

• Lo spazio di gradiente ridotto in LoRA non protegge intrinsecamente da un avversario forte capace di manipolare il modello pre-addestrato.
• Le attuali assunzioni secondo cui il PEFT offre una migliore privacy rispetto al fine-tuning completo sono insufficienti quando il server è malevolo.
• L'attacco è "one-shot", capace di recuperare i dati in un singolo round di addestramento (potenzialmente nelle fasi iniziali dell'addestramento quando l'accuratezza è bassa), il che significa che gli utenti potrebbero non rilevare l'attacco anche se monitorano la perdita di addestramento successivamente.
• Il lavoro evidenzia la necessità urgente di meccanismi di difesa verificabili per il PEFT in contesti di privacy. Gli autori notano che le prestazioni dell'attacco contro difese popolari come l'aggregazione sicura, il pruning e l'aggiunta di rumore sono presentate negli allegati del paper.

Gli autori concludono che, sebbene il loro attacco sia una dimostrazione di vulnerabilità, esso fornisce nuovi principi di progettazione per comprendere l'interazione tra modelli avversariali e propagazione del gradiente, esortando la comunità a sviluppare difese robuste per l'adozione crescente di PEFT in ambienti sensibili alla privacy.