Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach

1. Il Problema

I Large Language Models (LLM) federati (FedLLM) permettono a più entità di collaborare al fine-tuning di modelli linguistici senza condividere i dati grezzi, risolvendo problemi di risorse computazionali e privacy. Tuttavia, questo paradigma non è immune agli attacchi di Inferenza della Membra (Membership Inference Attacks - MIA).
Gli autori identificano che le tecniche MIA esistenti, sviluppate per il Federated Learning (FL) tradizionale, falliscono nei FedLLM a causa di tre caratteristiche uniche:

1. Scala dei parametri: I LLM hanno miliardi di parametri, rendendo proibitivo l'addestramento di "shadow models" (modelli ombra) richiesti dalle MIA tradizionali.
2. Convergenza rapida: I FedLLM partono da modelli pre-addestrati e convergono in poche epoche, riducendo l'esposizione dinamica dei dati che le MIA basate sulla dinamica di training sfruttano.
3. Semantica dei gradienti: A differenza delle immagini (dove i gradienti tendono all'ortogonalità), i gradienti nei LLM rimangono altamente correlati e non ortogonali. Inoltre, tecniche di Parameter-Efficient Fine-Tuning (PEFT) come LoRA o Adapters limitano la superficie di attacco, rendendo difficile ricostruire il contenuto lessicale direttamente dai gradienti.

L'obiettivo è colmare questo divario dimostrando che è possibile eseguire MIA efficienti contro i FedLLM senza shadow models o dati storici, sfruttando le proprietà algebriche intrinseche dei gradienti.

2. Metodologia: ProjRes

Gli autori propongono ProjRes, il primo attacco MIA passivo basato sui residui di proiezione, specificamente progettato per i FedLLM.

Concetto Chiave:
L'attacco si basa sull'osservazione che esiste una relazione algebrica diretta tra i vettori di embedding nascosti (hidden embeddings) di un campione e i gradienti aggiornati dai client. Se un campione è stato utilizzato nel training locale, il suo embedding semantico risiede nello spazio lineare generato dai gradienti del client.

Fasi dell'Attacco:

1. Costruzione della Rappresentazione del Campione:

   • L'attaccante (es. il server onesto ma curioso) esegue un passaggio in avanti (forward pass) sul modello globale per ottenere il vettore di embedding nascosto $f(x)$ del campione target.
   • Vengono analizzate le similarità coseno e le norme L1 delle differenze tra gli embedding.

2. Mappatura nello Spazio Semantico (Gradient Subspace):

   • Il server costruisce un sottospazio lineare $S$ utilizzando i vettori dei gradienti caricati dai client (tipicamente dai layer di downsampling degli Adapters o da altri moduli PEFT).
   • I gradienti contengono informazioni semantiche sui dati di input che li hanno generati.
   • Viene calcolata la proiezione ortogonale dell'embedding del campione $f(x)$ sul sottospazio $S$, ottenendo un embedding ricostruito $f(x)^{rec}$.

3. Calcolo del Residuo e Inferenza:

   • Si calcola il vettore residuo: $r = f(x) - f(x)^{rec}$.
   • Viene misurata la magnitudine del residuo utilizzando la norma L1 ($\|r\|_1$).
   • Logica: Se il campione $x$ appartiene al dataset di training del client, il suo embedding sarà ben allineato con lo spazio dei gradienti, risultando in un residuo molto piccolo. Se non appartiene, il residuo sarà grande.
   • Decisione: Se il residuo $r$ è inferiore a una soglia $\tau$, il campione viene classificato come "membro" (1), altrimenti come "non membro" (0).

Vantaggi Metodologici:

• Non richiede shadow models o classificatori ausiliari.
• Non necessita di dati storici o aggiornamenti multipli (funziona con un singolo round di gradienti).
• Sfrutta la sensibilità della norma L1 alle piccole deviazioni direzionali in spazi ad alta dimensionalità.

3. Contributi Chiave

1. Proposta di ProjRes: Il primo attacco MIA passivo ed efficiente basato sui residui di proiezione per FedLLM, che trasforma il problema di inferenza in un problema di corrispondenza di proiezione residua nello spazio semantico dei gradienti.
2. Riformulazione Teorica: Dimostrazione che le rappresentazioni semantiche (embedding) dei campioni nei LLM ad alta dimensionalità possono essere analizzabili reversibilmente tramite le informazioni dei gradienti, e che l'aumento della dimensionalità amplifica il rischio di perdita di privacy.
3. Generalità: L'attacco è applicabile a diverse strategie di fine-tuning (LoRA, Adapters, Q/K/V projection) e a diverse architetture di LLM.
4. Analisi delle Difese: Valutazione dell'impatto di meccanismi di difesa leggeri come la Privacy Differenziale (DP) e il pruning dei gradienti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 4 modelli LLM (BERT-Base, GPT2-Large, Llama3-8B, Qwen2.5-14B) e 4 dataset (CoLA, Yelp, SST-5, IMDB).

• Performance: ProjRes raggiunge un'accuratezza vicina al 100% (AUC $\approx$ 1.0) nella maggior parte degli scenari, superando gli stati dell'arte (SOTA) esistenti di un margine che va dal 9.65% al 75.75%.
• Robustezza:
  • L'attacco mantiene prestazioni perfette (AUC=1.0) indipendentemente dall'epoca di training (dalle prime alle ultime fasi), a differenza delle MIA basate sulla dinamica che degradano con la convergenza.
  • È efficace indipendentemente dalla posizione del layer trainabile all'interno del modello.
• Impatto delle Difese:
  • La Privacy Differenziale (DP) riduce l'efficacia dell'attacco solo quando il rumore è molto alto ($\sigma > 0.1$), ma ciò degrada drasticamente l'accuratezza del modello (sotto il 55%), rendendo la difesa impraticabile.
  • Il Pruning dei Gradienti (GP) offre una protezione limitata; anche con un pruning del 99.9%, ProjRes mantiene un AUC superiore a 0.6, specialmente con batch size piccoli.
• Efficienza: ProjRes ha un costo computazionale e di memoria aggiuntivo molto basso rispetto all'addestramento di shadow models, rendendolo scalabile anche per modelli molto grandi.

5. Significato e Implicazioni

Questo lavoro rivela una vulnerabilità di privacy precedentemente trascurata nei FedLLM. Dimostra che:

1. Le ipotesi di sicurezza attuali sui FedLLM sono insufficienti: la semplice localizzazione dei dati non garantisce la privacy se i gradienti (anche parziali, come in PEFT) vengono condivisi.
2. Esiste un legame algerico deterministico tra i dati di input e i gradienti nei LLM, che permette di ricostruire la partecipazione dei campioni senza bisogno di modelli complessi.
3. Le difese leggere attuali (DP, pruning) non riescono a bilanciare efficacemente privacy e utilità del modello.

Il paper conclude che è necessario un riesame fondamentale delle assunzioni di sicurezza nei FedLLM e invita allo sviluppo di nuovi meccanismi di difesa che siano sia efficaci che efficienti, oltre a suggerire la creazione di MIA a livello semantico per catturare rischi più ampi.