FedSpy-LLM: Towards Scalable and Generalizable Data Reconstruction Attacks from Gradients on LLMs

1. Il Problema

Con l'adozione crescente del Federated Learning (FL) e del Fine-Tuning Efficiente dei Parametri (PEFT) per addestrare i Modelli Linguistici su larga scala (LLM), la privacy dei dati sensibili rimane una preoccupazione critica. Sebbene il FL eviti la condivisione dei dati grezzi, gli aggiornamenti dei gradienti scambiati tra client e server possono essere sfruttati da un avversario (server onesto ma curioso o analista malevolo) per ricostruire i dati di addestramento privati.

Le ricerche precedenti su attacchi di ricostruzione dei dati (gradient inversion) hanno mostrato limiti significativi quando applicati agli LLM:

• Scalabilità: Funzionano bene solo con piccoli batch (1-8) e sequenze brevi.
• Generalizzazione: Spesso falliscono su architetture diverse (encoder-only, decoder-only, encoder-decoder).
• Efficienza PEFT: Gli attacchi esistenti faticano a ricostruire dati quando vengono utilizzati metodi PEFT (come LoRA o Adapters), poiché questi generano gradienti sparsi e a basso rango, riducendo l'informazione disponibile.
• Ordine delle sequenze: Recuperare i token corretti è insufficiente; ricostruire l'ordine sequenziale corretto è estremamente difficile a causa della perdita di informazioni posizionali dirette durante il fine-tuning.

2. Metodologia: FEDSPY-LLM

FEDSPY-LLM è un attacco di ricostruzione dati scalabile e generalizzabile progettato per superare le limitazioni sopra citate. Si basa su tre pilastri fondamentali:

A. Strategia di Decomposizione del Gradiente (Gradient Subspace Guidance)

Il metodo sfrutta la proprietà intrinseca dei gradienti delle reti neurali di essere a basso rango (rank-deficient), specialmente quando la dimensione del batch è inferiore alla dimensione dello stato nascosto.

• Teorema: I gradienti della perdita rispetto ai pesi di un layer lineare possono essere espressi come combinazioni lineari delle embedding di input.
• Applicazione: Invece di cercare nello spazio delle embedding completo (che è enorme), FEDSPY-LLM proietta le embedding candidate sullo spazio delle colonne (column span) della matrice del gradiente. Questo riduce drasticamente lo spazio di ricerca, guidando l'ottimizzazione verso soluzioni che sono linearmente compatibili con i gradienti osservati, permettendo di gestire batch più grandi e sequenze più lunghe.

B. Regularizzazione nello Spazio Nullo (Null Space Regularization) per PEFT

I metodi PEFT introducono un grande spazio nullo nei gradienti (poiché solo pochi parametri vengono aggiornati), creando ambiguità: molte embedding diverse possono produrre gradienti simili.

• Soluzione: FEDSPY-LLM identifica le direzioni nello spazio nullo che non influenzano la perdita e applica una penalità (regularizzazione) per vincolare le embedding ricostruite a non deviare significativamente lungo queste direzioni. Questo riduce l'ambiguità e migliora la precisione della ricostruzione anche con gradienti sparsi tipici di LoRA o Adapters.

C. Calibrazione dell'Ordine della Sequenza (Sequence Order Calibration)

Poiché i gradienti delle embedding posizionali sono spesso congelati, i token recuperati potrebbero non essere nell'ordine corretto.

• Meccanismo: Il metodo utilizza un approccio iterativo basato sull'allineamento dei gradienti. Per ogni posizione nella sequenza, valuta i token candidati calcolando il gradiente "isolato" di quel token in quella specifica posizione e confrontandolo con il gradiente della sequenza completa originale.
• Logica: Un token posizionato correttamente avrà un gradiente che si allinea meglio (maggiore similarità del coseno) con il gradiente della sequenza completa rispetto a un token posizionato erroneamente. Questo processo ricostruisce la sequenza token per token, preservando il contesto e l'ordine.

3. Contributi Chiave

1. Scalabilità e Generalizzazione: FEDSPY-LLM è il primo attacco in grado di ricostruire dati con batch size fino a 128 e sequenze lunghe, funzionando efficacemente su tutte e tre le principali architetture di trasformatori (Encoder, Decoder, Encoder-Decoder).
2. Robustezza PEFT: Dimostra di poter superare la sparsità dei gradienti introdotta da tecniche come LoRA e Adapters, un campo in cui gli attacchi precedenti fallivano.
3. Ricostruzione dell'Ordine: Introduce una fase di calibrazione che risolve il problema della perdita dell'ordine temporale dei token, garantendo ricostruzioni semanticamente coerenti e non solo un insieme di parole corrette.
4. Indipendenza dall'Architettura: A differenza di metodi precedenti che sfruttano caratteristiche specifiche (es. layer Pooler negli encoder), FEDSPY-LLM si basa sulla struttura lineare universale dei gradienti, rendendolo agnostico rispetto al modello target.

4. Risultati Sperimentali

Gli autori hanno valutato FEDSPY-LLM su diversi modelli (BERT, GPT-2, Llama-2/3, T5) e dataset (CoLA, Rotten Tomatoes, MIMIC-III) confrontandolo con lo stato dell'arte (DLG, TAG, LAMP, FILM, DAGER).

• Prestazioni Superiori: FEDSPY-LLM supera costantemente gli altri metodi. Ad esempio, su batch size 8, mostra un miglioramento del 55-160% nelle task di classificazione e fino al 250% nelle task di previsione della parola successiva rispetto ai baselines.
• Performance su PEFT: Anche con gradienti sparsi (SLoRA, FedAdapter), FEDSPY-LLM ricostruisce fino al 28% in più di sottosequenze rispetto ai metodi di base su BERT.
• Resilienza alle Difese: L'attacco rimane efficace anche in presenza di difese come il clipping dei gradienti e l'aggiunta di rumore gaussiano (DP-SGD), sebbene con una riduzione delle prestazioni, dimostrando che le attuali difese non sono sufficienti a proteggere completamente i dati testuali.
• Qualità della Ricostruzione: Le metriche ROUGE (in particolare ROUGE-L e N-gram) e l'Entity-F1 mostrano che FEDSPY-LLM recupera non solo le parole, ma anche la struttura della frase e le entità sensibili (es. nomi di pazienti in dataset medici) con alta precisione.

5. Significato e Implicazioni

Questo studio evidenzia una minaccia alla privacy più ampia e severa di quanto precedentemente riconosciuto nel contesto del Federated Learning per gli LLM.

• Rottura dell'illusione di sicurezza: Dimostra che l'uso di PEFT, spesso considerato una misura di sicurezza aggiuntiva per ridurre la superficie di attacco, non protegge efficacemente contro la ricostruzione dei dati se non accompagnato da meccanismi di privacy formale (come la Differenziale Privacy rigorosa).
• Urgenza di nuove difese: I risultati sottolineano la necessità critica di sviluppare tecniche di privacy più robuste per i sistemi FL che utilizzano LLM, poiché le attuali pratiche di fine-tuning distribuito espongono i dati sensibili degli utenti a rischi significativi di inferenza.

In sintesi, FEDSPY-LLM rappresenta un punto di svolta nella comprensione delle vulnerabilità dei gradienti negli LLM, costringendo la comunità di ricerca a ripensare le strategie di protezione dei dati nelle infrastrutture di apprendimento federato.