🤖 machine learning

Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering

Questo articolo rivela che i modelli linguistici federati sono vulnerabili alla fuga di privacy priva di gradienti, dimostrando che gli snapshot intermedi del modello e la manipolazione selettiva dei pesi da parte di partecipanti malintenzionati possono potenziare significativamente l'inferenza di appartenenza e la ricostruzione di dati privati senza la cooperazione del server.

Autori originali: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Pubblicato 2026-07-21

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un mondo in cui il tuo smartphone impara a prevedere la tua prossima parola, la tua email completa automaticamente le tue frasi o un'app medica aiuta a diagnosticare malattie, il tutto senza mai inviare i tuoi messaggi privati a un enorme server centrale. Questa è la promessa dell'Apprendimento Federato (Federated Learning). Invece di una grande azienda che accumula i tuoi dati in una cassaforte, il tuo dispositivo addestra un "cervello" condiviso (un modello linguistico) localmente. Esso invia solo piccoli aggiornamenti — come un riassunto di ciò che ha imparato — a un hub centrale, che li mescola insieme per migliorare il cervello globale. È come un gruppo di studenti che studiano per un esame: ognuno legge i propri libri, scrive i propri appunti e poi condivide solo gli appunti, non i libri stessi, in modo che tutti diventino più intelligenti senza che nessuno veda la biblioteca privata degli altri.

Tuttavia, c'è un problema. Anche se i dati grezzi rimangono sul tuo telefono, gli "appunti" (gli aggiornamenti del modello) possono talvolta rivelare accidentalmente cosa c'era dentro il libro. Se gli appunti sono troppo dettagliati, uno studente furbo potrebbe leggerli e indovinare i tuoi argomenti di studio segreti. Questo è il problema della fuga di privacy (privacy leakage). Per molto tempo, i ricercatori hanno pensato che se non avessi condiviso la matematica grezza (i gradienti), ma solo il risultato finale di un round di apprendimento (i pesi), saresti stato al sicuro. Ma cosa succederebbe se gli "appunti" della sessione di studio intermedia fossero in realtà più rivelatori dei risultati dell'esame finale? E se uno studente furbo potesse modificare i propri appunti per far sì che l'intera classe ricordi i tuoi segreti ancora meglio? È esattamente questo il mistero che questo articolo investiga.

Lo Studente Furbo e gli Appunti Magici

In questo studio, un team di ricercatori della Pennsylvania State University e del Dartmouth College ha deciso di interpretare il ruolo dello "studente furbo" in un'aula di Apprendimento Federato. Il loro obiettivo? Vedere se potevano rubare informazioni private — come numeri di telefono, dettagli della carta di credito o password segrete — dai dispositivi di altri studenti, anche senza l'aiuto dell'insegnante (il server) o senza vedere la matematica grezza.

La Grande Sorpresa: Il Mezzo della Classe Conta di Più

La prima cosa che i ricercatori hanno scoperto è stata un po' controintuitiva. Di solito, pensiamo che la versione finale di un modello sia la più potente. Ma in questo gioco dell'Apprendimento Federato, gli snapshot intermedi — gli "appunti" presi a metà del processo di addestramento — erano in realtà molto più pericolosi.

Immagina un insegnante che chiede alla classe di memorizzare una lista di 1.000 parole. Alla fine del semestre, la classe ha imparato il pattern generale del linguaggio, e le parole specifiche e strane (come un numero di carta di credito falso) potrebbero essere diventate un po' sfocate nella loro memoria. Ma se controlli la memoria della classe durante la settimana in cui stavano studiando specificamente quelle parole strane, la memoria è cristallina. I ricercatori hanno scoperto che uno studente malintenzionato potrebbe guardare questi snapshot "di metà termine" e trovare i dati privati molto più facilmente rispetto al guardare il modello finale. È come trovare una pagina specifica di un diario che è stata scritta ieri, piuttosto che cercare di indovinare l'intera storia da un riassunto scritto un anno dopo.

Il Trucco della "Manipolazione Selettiva"

Ma i ricercatori non si sono fermati al semplice guardare. Si sono chiesti: "Possiamo far sì che il modello ricordi questi segreti ancora meglio?"

Si sono resi conto che i grandi modelli linguistici (i "cervelli" in fase di addestramento) non sono tutti uguali. Alcune parti del cervello sono come centri di conoscenza generale, mentre altre sono come schedari specializzati. I ricercatori hanno scoperto che gli ultimi strati del "schedario" del modello (specificamente i sottostrati MLP) sono quelli che conservano i dati strani e fuori dall'ordinario, come numeri di telefono o cifre di carte di credito.

Così, hanno inventato due modi ingegnosi per "modificare" questi specifici schedari per rendere il modello ossessionato dai dati privati:

Ottimizzazione Selettiva dei Pesi (SWO - Selective Weights Optimization): Questo è come prendere una lente d'ingrandimento sulle pagine specifiche dove sono archiviati i dati segreti e alzarne il volume. L'attaccante confronta lo stato attuale del modello con un modello "normale" e amplifica le differenze in quegli strati specifici. È come se lo studente furbo sussurrasse alla classe: "Ehi, ricordate quel numero strano? Assicuriamoci di non dimenticarlo mai!"
Apprendimento della Trasformazione dei Pesi (WTL - Weights Transformation Learning): Questa è la versione avanzata. Invece di limitarsi ad alzare il volume, l'attaccante addestra una piccola IA per imparare esattamente come cambia il cervello del modello quando vede dati privati. Poi, applica quel pattern appreso al modello per potenziare la sua memoria dei segreti. È come se lo studente capisse la formula esatta che l'insegnante usa per memorizzare le cose e poi applicasse quella formula a tutta la classe.

I Risultati: Una Fuga Scioccante

I risultati sono stati sorprendenti. Usando questi trucchi di "manipolazione", lo studente malintenzionato è riuscito a:

Ricostruire il 71% dei dati privati (come trasformare un prompt "Il mio numero di carta di credito è..." nel numero completo) quando manipolava attivamente il modello durante l'addestramento.
Aumentare la capacità di indovinare se un pezzo specifico di dati era presente nel set di addestramento di qualcuno del 29%.

Anche senza l'aiuto dell'insegnante e senza bisogno di accedere alla matematica grezza (i gradienti) — perché il sistema condivide solo i pesi finali di ogni round — l'attacco ha funzionato incredibilmente bene. In effetti, ha funzionato meglio di molti attacchi precedenti che assumevano che l'insegnante fosse malvagio e aiutasse attivamente l'hacker. I ricercatori hanno testato questo su modelli popolari come GPT-2, BERT e Llama-2, e ha funzionato su tutti.

Il "Chi, Cosa e Come"

L'attacco funziona in questo modo:

Individuare la Vittima: L'attaccante osserva gli aggiornamenti del modello in ogni round di addestramento. Utilizza un test speciale per individuare i round in cui ha partecipato una vittima con dati privati. È come ascoltare il chiacchiericcio della classe e notare: "Ah, lo studente con il numero di carta di credito ha appena parlato".
Manipolare la Memoria: Una volta ottenuti quegli snapshot specifici, usano SWO o WTL per modificare i "schedari" del modello in modo che i dati privati risaltino come un occhio nel deserto.
Porre la Domanda: Infine, pongono al modello una domanda usando un template standard (come "Il tuo codice di verifica è...") e il modello, ora super-focalizzato sul segreto, sputa fuori i dati privati.

Possiamo Fermarlo?

I ricercatori hanno anche giocato in difesa. Hanno testato diversi modi per fermare questo studente furbo:

Privacy Differenziale (Differential Privacy): Questo aggiunge "rumore" o disturbo agli appunti. Aiuta a nascondere i segreti, ma rende anche l'intero discorso della classe un po' confuso, danneggiando la capacità del modello di scrivere buone frasi.
Scrubbing (Pulizia): Questo è come editare il diario prima che venga condiviso. Se rimuovi i numeri di carta di credito e i numeri di telefono dal testo prima dell'addestramento, il modello non può impararli. Questo funziona bene senza danneggiare la qualità del modello.
Add-DEPN: Questo è un modo sofisticato per dire agli "schedari" di essere un po' più silenziosi riguardo ai segreti. Riduce significativamente la fuga senza far sembrare il modello meno bravo.

Il team suggerisce che la migliore difesa sia una combinazione: pulire (scrub) i dati privati dal testo prima dell'addestramento, e poi usare una tecnica di regolarizzazione gentile (come Add-DEPN) per assicurarsi che il modello non diventi troppo ossessionato da qualunque segreto possa essere sfuggito.

Il Messaggio Chiave

Questo articolo dimostra che nel mondo dell'Apprendimento Federato, la privacy non riguarda solo l'occultamento dei dati grezzi; riguarda il modo in cui il modello ricorda le cose lungo il percorso. Un partecipante malintenzionato non ha bisogno di essere un hacker geniale con l'aiuto dell'insegnante. Deve solo sapere quando guardare e come modificare la memoria del modello per far risaltare i segreti. Sebbene sia una scoperta spaventosa, i ricercatori hanno anche fornito una tabella di marcia su come tappare queste falle, garantendo che il futuro dell'IA privata rimanga sicuro per tutti.

Sintesi Tecnica: Perdita di Privacy Gradient-Free nei Modelli Linguistici Federati attraverso la Manipolazione Selettiva dei Pesi

Problema

L'Apprendimento Federato (FL) è diventato uno standard per l'addestramento di Large Language Models (LLM) su dati sensibili alla privacy (ad es., record sanitari, informazioni finanziarie) senza centralizzare i dati grezzi. Tuttavia, la letteratura esistente suggerisce che la perdita di privacy rimanga un rischio significativo, in particolare attraverso attacchi di inversione del gradiente. La maggior parte del lavoro precedente assume l'accesso ai gradienti (ad es., in FedSGD) o si concentra su scenari centralizzati in cui il server è l'avversario.

Questo articolo affronta una lacuna critica: la perdita di privacy nei modelli linguistici basati su FL sotto il protocollo FedAvg, dove i gradienti non vengono mai condivisi e il server è assunto come onesto-ma-curioso (o passivo) piuttosto che come avversario attivo. Gli autori indagano se un cliente FL malizioso possa estrarre dati sensibili alla privacy (ad es., SSN, numeri di carte di credito, numeri di telefono) dai dataset locali di altri clienti senza l'accesso ai gradienti o la collusione del server.

Le sfide chiave identificate includono:

Modelli Intermedi vs. Finali: Gli LLM tendono a "dimenticare" specifici campioni di addestramento mentre generalizzano sull'intero corpus durante l'addestramento iterativo. Non è chiaro se gli snapshot intermedi del modello conservino più informazioni sensibili rispetto al modello finale convergente.
Vincoli Gradient-Free: Senza l'accesso ai gradienti dei clienti, gli attacchi di inversione tradizionali sono inapplicabili.
Amplificazione: Un cliente malizioso può potenziare attivamente o passivamente la memorizzazione dei dati sensibili nel modello per facilitarne l'estrazione?

Metodologia

Il framework d'attacco proposto opera in due fasi principali: Victim Round Identification (VRI) e Maximizing Data Memorization (MDM).

1. Modello di Minaccia

Avversario: Un cliente malizioso che partecipa al processo di FL.
Capacità: L'avversario ha accesso agli snapshot del modello globale (aggiornamenti aggregati) ad ogni round. Possiede una conoscenza pregressa della struttura (prefissi) dei dati sensibili che desidera estrarre (ad es., "Il tuo codice di verifica è...") ma non i valori sensibili specifici (suffissi).
Server: Assunto come passivo (onesto-ma-curioso) o non colluso nello scenario di base. Negli scenari di "collusione", il server condivide meta-informazioni o aggiornamenti locali.
Obiettivo: Estrarre i suffissi sensibili dai dataset locali di altri clienti tramite ricostruzione dei dati o inferenza di appartenenza.

2. Osservazioni Chiave e Ipotesi

Ipotesi 1 (Sensibilità Selettiva dei Pesi): Quando si effettua il fine-tuning di LLM su dati out-of-distribution (OOD) (come i PII), le variazioni dei pesi non sono uniformi. Nello specifico, i sotto-livelli MLP negli ultimi blocchi transformer ( $L^*$ ) subiscono trasformazioni significativamente più grandi rispetto ad altri livelli. Questi livelli sono sproporzionatamente responsabili della memorizzazione di dati sensibili e OOD.
Ipotesi 2 (Perdita di Privacy nei Round Intermedi): La probabilità che un modello FL memorizzi un dato specifico è maggiore nei round di addestramento in cui quel dato è presente rispetto ai round in cui è assente. Di conseguenza, gli snapshot intermedi dei "round vittima" potrebbero rivelare più informazioni rispetto al modello finale.

3. Pipeline dell'Attacco

A. Victim Round Identification (VRI)

L'avversario identifica quali snapshot del modello globale ( $G_i$ ) corrispondono ai round in cui hanno partecipato vittime con dati sensibili.

Meccanismo: L'avversario calcola la norma delle differenze di peso nei livelli sensibili ( $L^*$ ) tra lo snapshot globale $G_i$ e due modelli di riferimento: uno sottoposto a fine-tuning su testo regolare ( $G_r$ ) e uno su testo regolare + testo sensibile ( $G_s$ ).
Logica: Se $G_i$ è un round vittima, i suoi cambiamenti di peso in $L^*$ assomiglieranno statisticamente a $G_s$ (a causa della presenza di dati OOD) e differiranno significativamente da $G_r$ . Un t-test a coppie viene utilizzato per classificare gli snapshot come "vittima" o "non vittima".

B. Maximizing Data Memorization (MDM)

Una volta identificati gli snapshot vittima, l'avversario manipola i pesi del modello per amplificare la memorizzazione dei dati sensibili. Sono proposti due metodi gradient-free:

Selective Weights Optimization (SWO): Un metodo di ottimizzazione di ordine zero. Calcola la differenza iniziale tra i pesi dello snapshot vittima e i pesi di un modello di riferimento in $L^*$ . Successivamente, aggiorna iterativamente i pesi dello snapshot vittima per massimizzare l'entità di questa differenza preservando la direzione iniziale (polarità). Ciò avviene senza backpropagation attraverso i dati della vittima.
Weights Transformation Learning (WTL): Un approccio di apprendimento supervisionato. L'avversario addestra un modello separato (ad es., un Autoencoder Denso) per apprendere il pattern di trasformazione dai pesi addestrati su dati regolari ai pesi addestrati su dati sensibili. Questa trasformazione appresa viene poi applicata ai pesi dello snapshot vittima per potenziare la memorizzazione.

C. Modalità di Attacco

Attacco Statico: L'avversario esegue VRI e MDM dopo che l'addestramento FL è terminato, manipolando gli snapshot vittima identificati.
Attacco Dinamico: L'avversario interferisce attivamente durante l'addestramento. Aggrega gli snapshot vittima identificati in un modello ( $G_A$ ) e, quando partecipa a un round, invia al server un'aggregazione pesata del proprio aggiornamento locale e di $G_A$ , "avvelenando" efficacemente il modello globale con una memorizzazione amplificata.

Risultati Chiave

Gli autori hanno valutato il loro framework su Gemma, Llama-2, GPT-2 e BERT utilizzando dataset come Wikitext-103, Penn Treebank ed email di Enron.

Modelli Intermedi vs. Finali: Gli snapshot intermedi dei round vittima (IR) hanno costantemente superato il modello finale (LR) nella ricostruzione dei dati, validando l'Ipotesi 2.
Efficacia di MDM:
- Sia SWO che WTL hanno aumentato significativamente la perdita di privacy rispetto ai baseline.
- WTL ha generalmente superato SWO.
- Attacco Statico: Ha raggiunto fino al 63% di ricostruzione dei dati sensibili (senza cooperazione del server).
- Attacco Dinamico: Ha raggiunto fino al 71% di ricostruzione (senza cooperazione del server).
- Con Cooperazione del Server: L'attacco dinamico con assistenza del server ( $dynamic^+$ ) ha raggiunto il 71% di ricostruzione su Wikitext e il 64% sul dataset reale di Enron.
Membership Inference: I metodi proposti hanno aumentato il recall degli attacchi di inferenza di appartenenza del 29% rispetto ai baseline esistenti.
Utilità del Modello: Le tecniche MDM (SWO/WTL) hanno aumentato con successo la memorizzazione di dati sensibili pur preservando l'utilità del modello (la perplexity su testo regolare è rimasta largamente invariata).
Confronto con Avversari Più Forti: Gli attacchi proposti, anche senza collusione del server, si sono dimostrati competitivi o migliori degli attacchi che assumono che il server sia un avversario attivo (come Decepticons) in termini di tassi di ricostruzione per BERT e GPT-2.

Significato e Rivendicazioni

Il paper sostiene di essere il primo lavoro a dimostrare che un cliente malizioso in un normale setting di FL FedAvg può:

Identificare specifici round di addestramento in cui altri clienti hanno contribuito dati sensibili senza l'accesso ai gradienti.
Amplificare la memorizzazione di tali dati sensibili manipolando strategicamente i pesi selettivi (specificamente nei livelli MLP degli ultimi blocchi transformer).
Estrarre informazioni private (ricostruzione verbatim) a tassi significativamente più alti rispetto agli attacchi esistenti, superando persino gli scenari in cui il server è assunto come un avversario attivo.

Gli autori sottolineano che i loro attacchi sono gradient-free e applicabili a compiti di IA generativa (a differenza del lavoro precedente sulla privacy in FL focalizzato sulla classificazione). Argomentano che il fenomeno dell' "oblio" (forgetting) in FL non protegge la privacy; piuttosto, gli snapshot intermedi combinati con la manipolazione dei pesi creano una grave vulnerabilità.

Difese

Il paper valuta diverse difese:

Differential Privacy (DP): Riduce la perdita, ma degrada significativamente l'utilità del modello.
Scrubbing: Rimuovere i token PII prima dell'addestramento riduce la perdita senza danneggiare l'utilità, ma è difficile da perfezionare su dati non strutturati.
Add-DEPN (Regolarizzazione): Un approccio innovativo che applica una piccola correzione additiva ai "neuroni della privacy" invece di azzerarli. Questo offre un compromesso bilanciato, riducendo significativamente la perdita mantenendo un'alta utilità del modello.
Raccomandazione: Gli autori raccomandano una combinazione di scrubbing dei dati/deduplicazione come fase di pre-processing, seguita dalla regolarizzazione Add-DEPN sul modello locale.

Limitazioni

Lo studio è limitato a modelli transformer di media scala in lingua inglese. Gli autori notano che non sono stati esplorati modelli di produzione più grandi, impostazioni multilingue e altre modalità (ad es., vision transformer). Inoltre, il costo computazionale del FL completamente criptato (ad es., usando l'omomorphic encryption) rimane proibitivo per gli LLM.