Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization

Riepilogo Tecnico: Miglioramento dell'Apprendimento Federato Efficiente in Parametri con Rifattorizzazione Differenzialmente Privata

1. Enunciazione del Problema

Il documento affronta una vulnerabilità critica nell'Apprendimento Federato (FL) quando applicato ai Modelli Linguistici di Grande Dimensione (LLM) utilizzando l'Adattamento a Basso Rango (LoRA) sotto vincoli di Privacy Differenziale (DP). Sebbene LoRA consenta un fine-tuning efficiente aggiornando solo matrici a basso rango ($A$ e $B$) anziché l'intero set di parametri del modello, la sua combinazione con la DP Globale (dove un server fidato aggiunge rumore per proteggere i dati dei client) introduce un grave degrado dell'utilità.

Il problema centrale deriva da una mismatch matematico nell'aggregazione:

• Aggregazione Ideale: La vera media federata degli aggiornamenti dei pesi dovrebbe essere la media dei prodotti: $\text{Media}(B_i \cdot A_i)$.
• Aggregazione Standard FedLoRA: I metodi esistenti mediando indipendentemente i moduli a basso rango: $\text{Media}(B_i) \cdot \text{Media}(A_i)$.
• Il Conflitto: Poiché la media dei prodotti non è uguale al prodotto delle medie, il FedLoRA standard introduce errori matematici di "termine incrociato". Quando il rumore DP viene iniettato in questi moduli non corrispondenti, il rumore interagisce moltiplicativamente con tali errori, amplificando l'impatto negativo e portando a una precisione del modello subottimale. I tentativi esistenti di mitigare ciò (ad esempio, congelando un modulo LoRA) limitano l'espressività del modello e la convergenza.

2. Metodologia: FedPower e PowerDP

Gli autori propongono FedPower, un framework che ridisegna la pipeline di aggregazione lato server per eliminare errori strutturali e un nuovo meccanismo chiamato PowerDP per la rifattorizzazione a basso rango privata.

Flusso di Lavoro FedPower:

1. Lato Client: I client eseguono l'addestramento locale standard sui loro moduli LoRA ($A_i, B_i$) e inviano questi aggiornamenti leggeri al server.
2. Ricostruzione Lato Server: Invece di mediare separatamente $A$ e $B$, il server ricostruisce esplicitamente gli aggiornamenti equivalenti a rango pieno ($\Delta W_i = B_i A_i$) per ciascun client.
3. Clipping e Aggregazione: Il server applica il clipping a queste matrici a rango pieno per delimitare la sensibilità e calcola la media esatta ($\Delta W_{global} = \text{Media}(\Delta W_i)$). Questo passaggio elimina gli errori matematici di termine incrociato intrinseci nel FedLoRA standard.
4. Rifattorizzazione Privata: L'aggiornamento a rango pieno aggregato viene proiettato nuovamente in uno spazio a basso rango utilizzando PowerDP.

Meccanismo PowerDP:
PowerDP è un algoritmo di fattorizzazione a basso rango differenzialmente privato progettato per evitare le insidie della perturbazione ingenua dell'output (aggiunta di rumore alle matrici finali), che spesso sovrasta i segnali negli spazi a basso rango.

• Iniezione di Rumore in Elaborazione: Invece di una perturbazione a posteriori, PowerDP integra l'iniezione di rumore direttamente in una sequenza di iterazione simultanea di sottospazio (power iteration).
• Processo:
  1. Inizializzare una matrice di proiezione casuale $Q$.
  2. Proiettare iterativamente la matrice a rango pieno $W$ sugli spazi delle righe e delle colonne, ortonormalizzando a ogni passaggio per garantire la convergenza verso i vettori singolari dominanti.
  3. Passaggio Cruciale: Rumore Gaussiano calibrato viene iniettato nelle matrici di proiezione non normalizzate ($\tilde{B}$ e $\tilde{A}$) prima della ortonormalizzazione finale.
  4. La ortonormalizzazione finale (Gram-Schmidt) viene applicata dopo l'iniezione del rumore.
• Vantaggio: Iniettando il rumore prima della normalizzazione strutturale finale, il meccanismo preserva l'ortogonalità delle matrici risultanti e assorbe il rumore nell'orientamento del sottospazio, invece di distruggere la magnitudine dei valori singolari.

3. Contributi Chiave

1. Framework FedPower: Un nuovo framework FL che risolve il mismatch strutturale di aggregazione nel FedLoRA standard spostando l'aggregazione nello spazio a rango pieno prima della rifattorizzazione privata, eliminando così gli errori di termine incrociato e prevenendo la compounding del rumore DP.
2. Algoritmo PowerDP: Un meccanismo di rifattorizzazione a basso rango differenzialmente privato che incorpora rumore Gaussiano calibrato nella sequenza di iterazione di potenza. Questo preserva i vettori singolari principali e i segnali del modello soddisfacendo al contempo rigorose garanzie DP.
3. Garanzie Teoriche: Il documento fornisce prove rigorose che stabiliscono limiti stretti di sensibilità $\ell_2$ per le proiezioni di sottospazio. Dimostra che FedPower soddisfa sia la Privacy Differenziale a livello di campione che a livello di client $(\epsilon, \delta)$.
4. Validazione Empirica: Estesi esperimenti su quattro task del benchmark GLUE (MNLI, SST-2, QQP, QNLI) utilizzando RoBERTa-large mostrano che FedPower supera le basi esistenti DP-FedLoRA (incluso FFA-LoRA) in termini di accuratezza su vari budget di privacy ($\epsilon \in \{3, 6, 9\}$) con un sovraccarico computazionale trascurabile.
5. Robustezza della Privacy: La valutazione contro tre attacchi di inferenza di appartenenza (Shadow Model, Basato sulla Perdita e Calibrazione) conferma che FedPower riduce i tassi di successo degli attacchi al livello di un indovino casuale, proteggendo efficacemente i dati dei client.

4. Risultati Sperimentali

• Accuratezza: In ambienti non privati, FedPower supera il FedLoRA standard di circa 1,47 punti e FFA-LoRA di circa 0,71 punti in media. In ambienti privati (ad esempio, $\epsilon=3$), FedPower mantiene un'accuratezza media del 85,18%, superando significativamente FedLoRA (83,53%) e FFA-LoRA (84,98%).
• Convergenza: FedPower converge più velocemente delle basi, raggiungendo l'accuratezza target in meno round di comunicazione e con meno bit trasferiti.
• Confronto sull'Iniezione di Rumore: Lo studio confronta PowerDP con la Perturbazione dell'Input (rumore prima della fattorizzazione) e la Perturbazione dell'Output (rumore dopo la fattorizzazione). La perturbazione dell'output ha portato a un fallimento catastrofico dell'accuratezza (ad esempio, 60,59% a $\epsilon=3$), mentre PowerDP ha mantenuto un'alta accuratezza preservando l'integrità del segnale durante la fattorizzazione.
• Sovraccarico: Il sovraccarico computazionale della rifattorizzazione lato server è minimo (meno del 10% di aumento nel tempo di esecuzione) e i client non sostengono costi aggiuntivi.

5. Significato e Affermazioni

Il documento afferma che FedPower colma con successo il divario tra efficienza (tramite LoRA), privacy (tramite DP Globale) e accuratezza. Disaccoppiando lo spazio di ottimizzazione (basso rango sui client) dallo spazio di delimitazione della privacy (rango pieno sul server), il framework evita gli errori matematici che tipicamente affliggono il DP-FL con LoRA.

Gli autori affermano che il loro approccio fornisce una difesa provatamente sicura contro gli attacchi di inferenza di appartenenza a valle, mantenendo l'alta utilità richiesta per il fine-tuning pratico degli LLM. Il lavoro è posizionato come soluzione per il FL cross-silo (ad esempio, sanità, finanza) dove la sensibilità dei dati è elevata, e suggerisce una futura applicabilità al FL cross-device e a distribuzioni di dati eterogenee (non-IID), sebbene questi siano indicati come direzioni per lavori futuri piuttosto che come risultati attuali.