Riepilogo Tecnico: FedSmoothLoRA

Enunciato del Problema

L'Apprendimento Federato (FL) combinato con l'Adattamento a Basso Rango (LoRA) offre un approccio promettente per il fine-tuning di modelli fondazione preservando la località dei dati e riducendo i costi di comunicazione. Tuttavia, la combinazione diretta di FedAvg e LoRA (definita FedAvgLoRA) soffre di tre limitazioni critiche che ostacolano la convergenza e le prestazioni:

1. Spazio di Aggiornamento Limitato: La struttura intrinsecamente a basso rango di LoRA restringe lo spazio effettivo di aggiornamento dei parametri, limitando la capacità di apprendimento del modello rispetto al fine-tuning completo.
2. Disallineamento dello Stato tra Round: Nell'FL standard, i parametri LoRA locali appresi in un round vengono scartati e sostituiti dai parametri globali aggregati all'inizio del round successivo. Ciò interrompe la continuità dell'ottimizzazione locale tra i round, causando bruschi spostamenti dei parametri e oscillazioni severe nella perdita di addestramento.
3. Stato Iniziale Agnostico al Client: I client inizializzano il loro addestramento locale dagli stessi parametri LoRA globali senza incorporare segnali di ottimizzazione specifici per il client. Questo disallineamento con obiettivi locali eterogenei rallenta la convergenza locale.

Sebbene metodi recenti come FRLoRA affrontino il primo problema fondendo gli aggiornamenti LoRA nel backbone per ampliare lo spazio di aggiornamento, non riescono a risolvere adeguatamente il disallineamento dello stato tra i round e le problematiche relative allo stato iniziale agnostico al client.

Metodologia: FedSmoothLoRA

Gli autori propongono FedSmoothLoRA, un framework progettato per preservare lo spazio di aggiornamento ampliato affrontando simultaneamente il disallineamento dello stato e il disallineamento dell'inizializzazione. Il metodo opera all'interno di una pipeline di ottimizzazione federata standard ma introduce meccanismi specifici sia sul lato client che sul lato server.

1. Spazio di Aggiornamento Ampliato (Lato Server e Client)

Similmente a FRLoRA, FedSmoothLoRA fonde gli aggiornamenti LoRA aggregati nei pesi globali del backbone ad ogni round di comunicazione.

• Lato Server: Invece di mediare direttamente i fattori a basso rango ($B$ e $A$), il server esegue un'Aggregazione a Rango Pieno. Aggrega le matrici di aggiornamento effettive ($B_c A_c$) da tutti i client in una matrice a rango pieno $\Delta W_s$, quindi proietta questa matrice nuovamente in una forma LoRA di rango-$r$ utilizzando un'approssimazione SVD. Questo preserva più informazioni di aggiornamento globale prima della compressione.
• Lato Client: I client fondono l'aggiornamento LoRA globale ricevuto nel loro backbone locale, espandendo efficacemente lo spazio dei parametri disponibile per l'apprendimento.

2. Matrice di Corrispondenza tra Round ($W_{c,rm}^t$)

Per affrontare il Disallineamento dello Stato tra Round, FedSmoothLoRA costruisce un'inizializzazione locale che allinea lo stato di partenza del round corrente con il modello locale effettivo raggiunto nel round precedente.

• La matrice è definita come la differenza tra l'aggiornamento LoRA trattenuto dal client dal round precedente ($B_{c}^{t-1}A_{c}^{t-1}$) e l'aggiornamento globale corrente ($B_{s}^{t}A_{s}^{t}$).
• Incorporando questo termine nell'inizializzazione, il metodo sopprime i bruschi spostamenti dei parametri e mitiga le oscillazioni tra i round, garantendo una continuità di ottimizzazione più fluida tra i round.
• L'influenza di questa matrice è controllata da un coefficiente $\zeta$, che può seguire una modalità costante (per impostazioni IID) o un programma di decadimento (per impostazioni Non-IID) per bilanciare stabilità e adattabilità.

3. Matrice Allineata al Gradiente ($\hat{W}_{c,ga}^t$)

Per affrontare lo Stato Iniziale Agnostico al Client, il metodo sostituisce l'inizializzazione condivisa dei pesi del modello con un'inizializzazione specifica per il client derivata dai segnali di gradiente locali.

• Ispirandosi a LoRA-GA, il client stima il gradiente locale della funzione di perdita rispetto ai pesi del backbone utilizzando un piccolo mini-batch di calibrazione.
• Questa matrice di gradiente viene decomposta tramite SVD e viene ricostruita un'approssimazione stabile a basso rango da utilizzare come inizializzazione.
• Ciò fornisce un punto di partenza esplicitamente allineato con l'obiettivo di ottimizzazione locale del client, accelerando la convergenza locale.

4. Inizializzazione e Addestramento Locale

L'inizializzazione LoRA locale finale è una combinazione della matrice Allineata al Gradiente e della matrice di Corrispondenza tra Round:
$$W_{c,init}^t = \hat{W}_{c,ga}^t + \zeta W_{c,rm}^t$$
Il client esegue quindi l'addestramento locale partendo da questa inizializzazione, con il backbone spostato per escludere il componente allineato al gradiente durante la fase di aggiornamento, per garantire che l'aggiornamento caricato rappresenti il miglioramento netto.

Contributi Chiave

1. Nuovo Framework: Introduzione di FedSmoothLoRA, che integra spazi di aggiornamento ampliati con strategie di inizializzazione consapevoli del client.
2. Meccanismo di Corrispondenza tra Round: Una specifica costruzione di matrici che preserva la continuità dello stato locale tra i round, affrontando direttamente le problematiche di oscillazione causate dai reset di stato nell'FL standard.
3. Inizializzazione Allineata al Gradiente: Adattamento dell'inizializzazione basata sui gradienti (da LoRA-GA) all'impostazione federata, fornendo uno stato di partenza specifico per il client che corrisponde meglio agli obiettivi locali eterogenei.
4. Aggregazione a Rango Pieno: Utilizzo dell'aggregazione a rango pieno sul lato server per minimizzare la perdita di informazioni durante la compressione degli aggiornamenti dei client.

Risultati Sperimentali

Sono stati condotti esperimenti estensivi su compiti di classificazione di immagini (CIFAR-100) e generazione di linguaggio naturale (Ragionamento matematico, Generazione di codice, Chat multilingue) utilizzando vari modelli backbone (ViT-Small, LLaMA-3.2-1B, LLaMA-2-7B/13B).

• Prestazioni: FedSmoothLoRA ha costantemente superato le linee di base esistenti, inclusi FedAvgLoRA e FRLoRA.
  • Su CIFAR-100 (Non-IID), ha raggiunto un'accuratezza del 64,46%, superando FRLoRA (60,28%) e FedAvgLoRA (57,36%).
  • Su GSM8K (Matematica), ha raggiunto 36,74, migliorando rispetto a FRLoRA (33,98) e FedAvgLoRA (25,85).
  • Su HumanEval (Codice), ha raggiunto 18,25 Pass@1.
  • Sul benchmark di chat multilingue (Aya), ha ottenuto il punteggio medio più alto di 4,03.
• Convergenza: Le curve di perdita di addestramento hanno dimostrato che FedSmoothLoRA esibisce dinamiche più fluide e una convergenza locale più rapida rispetto a FedAvgLoRA e FRLoRA, con oscillazioni tra i round significativamente ridotte.
• Studi di Ablazione: La rimozione della matrice di Corrispondenza tra Round o della matrice Allineata al Gradiente ha portato a un degrado delle prestazioni, confermando che entrambi i componenti sono necessari per i guadagni osservati. Lo studio ha anche validato che l'Aggregazione a Rango Pieno sul lato server è superiore alla media diretta dei fattori.

Significato e Affermazioni

Il documento afferma che FedSmoothLoRA fornisce una soluzione più robusta ed efficiente per il fine-tuning federato di modelli fondazione. Affrontando esplicitamente la discontinuità tra i round di comunicazione e la mancanza di guida specifica per il client nell'inizializzazione, il metodo ottiene dinamiche di addestramento più fluide e una convergenza più rapida senza aumentare significativamente i costi di comunicazione o di memoria.

Gli autori posizionano questo lavoro come un passo verso la realizzazione di un adattamento federato di modelli di grandi dimensioni più pratico in ambienti con risorse limitate e dati isolati. Osservano che, sebbene il metodo migliori efficienza e stabilità, non elimina tutti i rischi associati all'apprendimento federato (ad esempio, la perdita di privacy tramite aggiornamenti) e richiede adeguate misure di sicurezza per il deployment. Il lavoro è limitato a benchmark specifici e famiglie di modelli (LLaMA, ViT), suggerendo la necessità di una futura valutazione su architetture più diversificate e impostazioni federate reali.