Riepilogo Tecnico: GLoRA – Rappresentazioni Server a Basso Rango Consapevoli del Gauge per Federated LoRA

1. Enunciato del Problema

L'Apprendimento Federato (FL) combinato con l'Adattamento a Basso Rango (LoRA) offre un paradigma promettente per l'adattamento fine di Modelli Linguistici su Grande Scala (LLM) in condizioni di dati decentralizzati e vincoli di risorse. Tuttavia, i metodi esistenti di Federated LoRA soffrono di una mismatch semantico fondamentale nelle loro regole di aggregazione.

Il problema centrale è l'ambiguità del gauge. Un aggiornamento LoRA è rappresentato come un prodotto a basso rango $\Delta W = BA$. Questa fattorizzazione non è unica; per qualsiasi matrice invertibile $Q$, la coppia $(BQ, Q^{-1}A)$ produce esattamente la stessa matrice di aggiornamento $\Delta W$. Nell'addestramento centralizzato, questa ambiguità è benigna poiché i fattori rimangono interni a un singolo ottimizzatore. Negli scenari federati, tuttavia, i client trasmettono i fattori grezzi $(B, A)$ al server. Se il server aggrega questi fattori grezzi direttamente (ad esempio, mediando $B$ e $A$ separatamente), l'aggiornamento risultante del server dipende dalle scelte arbitrarie di coordinate (gauge) effettuate dai singoli client. Di conseguenza, aggiornamenti intrinseci identici dei client possono produrre modelli server diversi a seconda delle riparametrizzazioni interne dei client, rendendo la regola di aggregazione mal definita.

Sebbene lavori recenti abbiano affrontato l'"aggregazione inesatta" (l'errore algebrico dove $\sum B_i A_i \neq (\sum B_i)(\sum A_i)$), non hanno risolto questa dipendenza dal gauge più fondamentale. Una soluzione ingenua – aggregare le matrici di aggiornamento dense complete $\Delta W_i$ e poi rifattorizzare – ripristina la correttezza semantica ma distrugge i guadagni di efficienza di LoRA richiedendo al server di materializzare e decomporre grandi matrici $d_{out} \times d_{in}$, il che è non fattibile alla scala degli LLM moderni.

2. Metodologia: GLoRA

Gli autori propongono GLoRA (Aggregazione a Basso Rango Consapevole del Gauge), una rappresentazione server che mantiene la correttezza semantica senza collassare su aggiornamenti densi. GLoRA opera separando la geometria dell'aggiornamento dalle coordinate dei fattori.

2.1 Estrazione del Sottospazio Invariante al Gauge

Invece di aggregare i fattori grezzi, GLoRA estrae prima la geometria intrinseca dell'aggiornamento di ciascun client. Per un aggiornamento del client $\Delta W_i = B_i A_i$, il server esegue una decomposizione QR ridotta su $B_i$:
$$B_i = U_i T_i$$
dove $U_i$ è una base ortonormale che spanna lo spazio colonna dell'aggiornamento e $T_i$ contiene le coordinate. L'aggiornamento viene riscritto come $\Delta W_i = U_i \tilde{A}_i$ (dove $\tilde{A}_i = T_i A_i$).
Crucialmente, lo spazio colonna spannato da $U_i$ è invariante al gauge; rimane invariato indipendentemente dalla trasformazione invertibile $Q$ applicata ai fattori originali. Il server rappresenta questa geometria utilizzando il proiettore ortogonale $P_i = U_i U_i^\top$.

2.2 Costruzione del Sottospazio di Consenso

Il server aggrega questi proiettori per stimare un sottospazio di consenso condiviso $U_{ref}$:
$$K = \sum_{i} p_i P_i = \sum_{i} p_i U_i U_i^\top$$
Il server calcola i vettori propri top-$R$ di $K$ per formare la base di riferimento $U_{ref}$. Questo passaggio è computazionalmente efficiente poiché opera sulla matrice sottile delle basi dei client piuttosto che sull'intera matrice di aggiornamento densa. $U_{ref}$ definisce un sistema di coordinate comune per il round corrente di aggiornamenti.

2.3 Aggregazione in Coordinate Condivise

Una volta stabilito $U_{ref}$, l'aggiornamento di ciascun client viene proiettato in questo sistema condiviso:
$$Z_i = U_{ref}^\top \Delta W_i = U_{ref}^\top U_i \tilde{A}_i$$
Il server aggrega quindi direttamente queste coordinate proiettate:
$$Z_{global} = \sum_{i} p_i Z_i$$
Lo stato finale del server è la coppia a basso rango $(U_{ref}, Z_{global})$, che rappresenta l'aggiornamento $\Delta W_{global} = U_{ref} Z_{global}$. Ciò garantisce che l'aggiornamento del server sia definito dalle matrici intrinseche $\{\Delta W_i\}$ piuttosto che dalle coordinate arbitrarie dei fattori, rimanendo interamente a basso rango.

2.4 Readout Compatibile con il Rango per Eterogeneità

Per supportare client con budget di rango diversi ($r_i$), GLoRA impiega un meccanismo di readout core–tail. Il server scompone $Z_{global}$ tramite SVD per ordinare i componenti in base all'energia.

• Core: Un insieme condiviso di componenti principali viene assegnato a tutti i client per mantenere la coerenza globale.
• Tail: Il budget di rango rimanente viene allocato in base alla geometria storica specifica del client (punteggi di allineamento) o all'ordine spettrale globale se la storia non è disponibile.
  Ciò permette a client eterogenei di istanziare adattatori di ranghi variabili dallo stesso stato server senza richiedere oggetti di aggregazione separati o rifattorizzazione densa.

3. Contributi Chiave

1. Identificazione della Dipendenza dal Gauge: Il documento identifica la dipendenza dal gauge come una modalità di fallimento semantico nell'aggregazione federata di LoRA a livello di fattori, distinguendola dal problema algebrico dell'"aggregazione inesatta". Sostiene che i fattori grezzi non sono oggetti di aggregazione validi sotto ambiguità del gauge.
2. Framework GLoRA: Gli autori propongono un metodo di aggregazione consapevole del gauge che mantiene uno stato server compatto a basso rango. Aggrega gli aggiornamenti attraverso un sottospazio di consenso e coordinate di riferimento condivise, evitando sia l'aggregazione di fattori grezzi sia la materializzazione di aggiornamenti densi.
3. Supporto all'Eterogeneità: GLoRA introduce un readout compatibile con il rango che istanzia adattatori di ranghi diversi da un singolo stato server, supportando naturalmente capacità client eterogenee e partecipazione sparsa.
4. Validazione Empirica: Esperimenti estensivi dimostrano che GLoRA supera costantemente le linee di base (FedIT, FedEx-LoRA, FedSA-LoRA, HetLoRA, FlexLoRA) in termini di eterogeneità dei dati, eterogeneità delle risorse ed eterogeneità dei task.

4. Risultati Sperimentali

Gli autori hanno valutato GLoRA su GLUE (utilizzando RoBERTa-Base) e SuperNI (utilizzando LLaMA-1B, Qwen2-7B e Gemma-2-9B) in varie condizioni:

• Eterogeneità dei Dati: In presenza di forte skew delle etichette (Dir(0.1)), GLoRA ha raggiunto la massima accuratezza media sui task GLUE, superando significativamente FedSA-LoRA (che non è riuscito a convergere sulla maggior parte dei task) e altre linee di base.
• Eterogeneità delle Risorse: In scenari con ranghi client eterogenei (distribuzioni Normale, Uniforme, a coda pesante), GLoRA si è classificato primo in 14 coppie su 15 di distribuzione-task, dimostrando robustezza rispetto a capacità di adattatori variabili.
• FL Cross-Task Sparsa: Su SuperNI con il 10% di partecipazione dei client e valutazione su task non visti, GLoRA ha ottenuto i migliori punteggi ROUGE-L sia su client in-domain che non visti, indicando una generalizzazione superiore rispetto ai metodi di truncation specifici per il rango.
• Scalabilità: GLoRA ha mantenuto il suo vantaggio di prestazioni su backbones più grandi (7B e 9B parametri), suggerendo che l'approccio non è limitato a modelli più piccoli.
• Efficienza: GLoRA raggiunge un compromesso favorevole tra efficienza e prestazioni. La sua complessità per strato è $\Theta(r_\Sigma^2(d_{out} + d_{in}) + r_\Sigma^3)$, che è significativamente più economica rispetto ai metodi di aggregazione di aggiornamenti densi (come FlexLoRA) evitando al contempo la sensibilità al gauge della media diretta dei fattori.

5. Significato e Affermazioni

Il documento afferma che un Federated LoRA efficace richiede non semplicemente la media di fattori a basso rango, ma la definizione di una rappresentazione lato server semanticamente significativa per l'aggregazione.

Gli autori sostengono che la scelta progettuale chiave nel Federated LoRA sia spostare il focus da "come mediare i fattori" a "quale oggetto lato server rappresenta l'aggregato". Separando la geometria dell'aggiornamento dalle coordinate dei fattori, GLoRA risolve il mismatch semantico intrinseco nei metodi attuali. I risultati suggeriscono che un'aggregazione consapevole del gauge è essenziale per una convergenza stabile e alte prestazioni in scenari federati, in particolare quando si affrontano dati, risorse e task eterogenei. Il documento conclude che, sebbene la stima attuale del sottospazio di consenso si basi sulla geometria dello spazio colonna, lavori futuri potrebbero incorporare pesi basati sull'energia dell'aggiornamento o consapevoli del task per affinare ulteriormente la costruzione del sottospazio.