Riepilogo Tecnico: NeuroImprint – Un Backdoor di Privacy nel Fine-Tuning di Modelli Linguistici Federati

1. Definizione del Problema

L'Apprendimento Federato (Federated Learning - FL) consente a più parti di collaborare al fine-tuning di grandi modelli linguistici (LLM) senza condividere i dati grezzi, una necessità data la sensibilità dei dataset specifici per dominio in ambito sanitario, finanziario e legale. Per gestire il costo computazionale del fine-tuning completo, il Parameter-Efficient Fine-Tuning (PEFT) è diventato lo standard, congelando il modello base e addestrando solo adattatori leggeri (ad esempio, LoRA, adattatori seriali/paralleli).

Tuttavia, questo paradigma affronta una vulnerabilità critica della privacy. Il PEFT è suscettibile di attacchi di ricostruzione dei dati, in cui un server di parametri malevolo tenta di recuperare i campioni di addestramento originali dalle variazioni del modello. Gli attacchi di ricostruzione esistenti affrontano significativi limiti nel contesto del moderno fine-tuning di LLM:

1. Complessità dell'Ottimizzatore: La maggior parte del fine-tuning di LLM utilizza ottimizzatori stateful (Adam/AdamW), che intrecciano i gradienti attraverso i passi tramite momentum e varianza adattiva, distruggendo l'informazione del gradiente passo-passo necessaria per l'inversione tradizionale.
2. Sequenze Discrete: Ricostruire sequenze di token discrete e lunghe è intrinsecamente più difficile rispetto alla ricostruzione di pixel di immagini continue; piccoli errori possono compromettere la sintassi e la semantica.
3. Interferenza del Batch: Grandi batch locali causano collisioni di gradienti, rendendo difficile isolare i singoli campioni.
4. Stealth (Occultamento): Gli attacchi devono non degradare l'utilità del modello per evitare il rilevamento.

Il documento sostiene che le difese attuali (come l'aggregazione sicura) e le metodologie di attacco esistenti siano insufficienti contro queste specifiche sfide nel contesto PEFT-FL.

2. Metodologia: NeuroImprint

Gli autori propongono NeuroImprint, un attacco di ricostruzione dati che funziona come un backdoor di privacy. L'avversario (il server di parametri) inizializza malevolmente un adattatore PEFF attaccato al layer di embedding del modello. Questo adattatore è progettato per "memorizzare" gli aggiornamenti per campione durante il fine-tuning locale del client, permettendo al server di invertire analiticamente questi aggiornamenti per recuperare il testo di addestramento.

Principi di Design Core

NeuroImprint affronta le quattro sfide del fine-tuning di LLM attraverso scelte architettoniche e algoritmiche specifiche:

• Sfida 1: Ricostruzione di Token Discreti.
  Invece di ottimizzare direttamente nello spazio discreto dei token, NeuroImprint opera nello spazio di embedding continuo. L'attacco recupera gli embedding testuali esatti (o quasi esatti) analiticamente e poi li mappa deterministicamente in sequenze di token.

• Sfida 2: Ottimizzatori Stateful (Adam/AdamW).
  L'inversione standard fallisce perché Adam accumula stato su molti passi. NeuroImprint impone l'attivazione temporale del singolo campione. Assicura che ogni "neurone di memorizzazione" sia aggiornato da al massimo un campione di addestramento durante l'intero percorso di addestramento locale. Ciò impedisce l'impasticciamento dei gradienti e l'intreccio dello stato, riducendo il problema dell'inversione da un processo complesso a più step a una reversione a singolo step trattabile.

• Sfida 3: Scalabilità dei Grandi Batch.
  Per prevenire collisioni tra campioni in grandi batch, l'attacco impiega un'organizzazione un-neurone-un-campione. Il backdoor è partizionato in molti slot di ricostruzione (bin) indipendenti, dove ogni campione viene instradato verso un neurone unico.

• Sfida 4: Stealth e Preservazione dell'Utilità.
  Il backdoor deve essere invisibile. NeuroImprint sfrutta l'invarianza di normalizzazione di LayerNorm. Progettando l'output layer del backdoor con vettori di riga identici e bias fissi, i valori di output sono costanti attraverso i token e le dimensioni nascoste. LayerNorm annulla matematicamente questi spostamenti costanti, garantendo che il backdoor contribuisca con zero alla perdita e alle prestazioni del modello, rendendolo indetectabile tramite metriche di performance.

Componenti Architetturali

Il backdoor $\Delta_{adv}$ è un adattatore parallelo inserito dopo il blocco di word embedding:

1. Layer di Proiezione ($L_1$): Utilizza la PCA per proiettare gli embedding ad alta dimensione in una dimensione inferiore ($\hat{h}$), riducendo l'overhead computazionale.
2. Layer di Memorizzazione ($L_2$): Un layer lineare con una specifica configurazione di pesi (vettori di riga identici) e una distribuzione di bias derivata da un dataset ausiliario ($D_{aux}$). Questo layer crea $m$ intervalli distinti.
3. Ranged Linear Unit (RaLU): Una nuova funzione di attivazione che sostituisce ReLU. A differenza di ReLU, che crea un pattern di attivazione a "piramide" (molti campioni che attivano gli stessi neuroni), RaLU imposta un limite superiore per ogni neurone. Ciò forza ogni campione ad attivare esattamente un neurone unico, garantendo il pattern di "attivazione lineare" richiesto per una pulita inversione sotto Adam/AdamW.
4. Layer di Output ($L_3$): Mappa i valori memorizzati nuovamente alla dimensione originale dell'embedding con valori costanti, garantendo la cancellazione di LayerNorm.

Esecuzione dell'Attacco

1. Inizializzazione: Il server crea il backdoor usando un dataset ausiliario ($D_{aux}$) per definire gli intervalli di bias.
2. Targeting: Il server invia il backdoor a un client vittima specifico (o a tutti i client, ma con diversi bias per i non-vittime per garantire che solo gli aggiornamenti della vittima siano significativi).
3. Fine-Tuning: Il client esegue il fine-tuning del modello. I neuroni del backdoor si aggiornano in base ai dati locali del client.
4. Ricostruzione: Dopo l'aggregazione (o se l'aggregazione sicura viene aggirata isolando la vittima), il server recupera i parametri aggiornati del layer di memorizzazione.
   • SGD: La ricostruzione esatta è possibile tramite l'inversione a forma chiusa dei gradienti di peso e bias: $\tilde{x} = \frac{\Delta W}{\Delta b}$.
   • Adam/AdamW: La ricostruzione approssimativa è possibile invertendo il segno dei gradienti, poiché l'aggiornamento a singolo step è isolato.

3. Contributi Chiave

• Nuovo Vettore di Attacco: Introduzione di NeuroImprint, il primo attacco di ricostruzione dati che mira specificamente al PEFT federato dei modelli linguistici, superando i limiti dei precedenti attacchi basati sulla visione o sull'inversione del gradiente.
• Framework Teorico: Analisi matematica rigorosa che dimostra come bypassare gli ottimizzatori stateful (Adam/AdamW) e l'aggregazione sicura attraverso l' "attivazione lineare" e l'inversione a forma chiusa.
• Meccanismo di Stealth: Un design che garantisce lo zero degrado delle prestazioni sfruttando l'invarianza di LayerNorm, rendendo l'attacco indetectabile tramite metriche di utilità standard.
• Validazione Empirica: Valutazione completa su quattro modelli (BERT, GPT-2, Qwen2, Llama3.2) e quattro dataset diversificati (AGNews, SQuAD, EMRQA-mSQuAD, GSM8K).

4. Risultati Sperimentali

Gli autori hanno valutato NeuroImprint in varie impostazioni, inclusi diversi ottimizzatori, dimensioni dei modelli e distribuzioni dei dati.

• Performance di Ricostruzione:

  • Tasso di Ricostruzione: L'attacco ha ricostruito con successo tra il 59% e il 79% di tutti i campioni di fine-tuning attraverso diversi modelli e dataset.
  • Fedeltà Semantica:
    • Sotto SGD, la ricostruzione era quasi esatta, con punteggi di similarità semantica spesso superiori a 0.99.
    • Sotto AdamW, la ricostruzione era approssimativa ma ancora altamente coerente dal punto di vista semantico, con punteggi di similarità compresi tra 0.52 e 0.92 (a seconda del dataset e del modello).
  • Esempio: Sul dataset SQuAD, SGD ha prodotto una ricostruzione del testo quasi perfetta, mentre AdamW ha prodotto testi con lievi distorsioni grammaticali che potevano essere ulteriormente rifinite da un LLM.

• Scalabilità e Robustezza:

  • Dimensione del Batch: Le performance sono rimaste stabili al variare del numero di bin di ricostruzione ($m$) rispetto alla dimensione del dataset ($d$). Un rapporto $m/d > 2$ ha fornito risultati ottimali.
  • Dati Non-IID: L'attacco è rimasto efficace anche con distribuzioni di dati altamente sbilanciate (basso $\alpha$ di Dirichlet), sebbene i tassi di ricostruzione siano leggermente diminuiti.
  • Trasferibilità Cross-Dataset: L'attacco ha dimostrato trasferibilità quando il dataset ausiliario ($D_{aux}$) differiva dal dataset target ($D_{target}$), ottenendo tassi di ricostruzione del 42%-73% anche con discrepanze di dominio (es. Medical QA a General QA).
  • Compatibilità LoRA: L'attacco è rimasto efficace anche quando i blocchi transformer venivano sottoposti a fine-tuning usando LoRA, poiché il backdoor dipende dai gradienti che fluiscono attraverso il layer di embedding, che rimane indipendente dal tipo di adattatore nei blocchi transformer.

• Stealth: Gli esperimenti hanno confermato che la presenza del backdoor non ha causato alcun degrado misurabile nell'accuratezza del modello, nella perdita o nei punteggi F1, validando la teoria della cancellazione di LayerNorm.

5. Significato e Rivendicazioni

Il documento afferma che NeuroImprint espone un rischio critico per la privacy nelle attuali pipeline di fine-tuning federato dei modelli linguistici.

• Cambio di Paradigma: Sfida l'assunto che PEFT e Federated Learning insieme forniscano garanzie di privacy sufficienti. Gli autori sostengono che gli stessi meccanismi progettati per l'efficienza (congelamento dei modelli base, uso di adattatori) e la robustezza (ottimizzatori stateful) possano essere sfruttati per creare un "backdoor di privacy".
• Praticità: L'attacco è pratico perché non richiede l'accesso ai gradienti grezzi (solo l'aggiornamento aggregato finale) e funziona sotto vincoli realistici (grandi batch, ottimizzatori Adam/AdamW).
• Implicazioni per la Difesa: Il documento suggerisce che le difese esistenti come l'aggregazione sicura siano insufficienti contro gli attacchi di manipolazione del modello. Evidenzia la necessità di controlli sulla provenienza degli adattatori e di audit per artefatti parametrici non standard (ad esempio, vettori di riga ripetuti o pattern di bias specifici) prima del deployment.

Gli autori concludono che, sebbene il loro lavoro dimostri una vulnerabilità, l'intento è quello di stimolare lo sviluppo di salvaguardie più forti per il fine-tuning federato dei modelli linguistici, assicurando che i benefici di privacy del FL non vengano minati da backdoor furtive.