🤖 machine learning

Subspace-Constrained Federated Learning with Low-Rank Adaptation

Questo articolo propone un obiettivo di apprendimento federato regolarizzato tramite sottospazio per mitigare il disallineamento geometrico nei dati eterogenei dei client durante il fine-tuning di LoRA, dimostrando attraverso estesi esperimenti su RoBERTa-large e SmolLM-360M che questo approccio migliora significativamente la convergenza e l'accuratezza imponendo una sovrapposizione di base quasi perfetta tra i client.

Autori originali: Neranjan Senarath, Rohit Muralitharan, Sadia Asif

Pubblicato 2026-06-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Neranjan Senarath, Rohit Muralitharan, Sadia Asif

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un gruppo di 10 amici che cercano di imparare insieme una nuova coreografia, ma sono tutti in stanze diverse (questo è l'Apprendimento Federato o Federated Learning). Non possono condividere le loro registrazioni video private mentre si esercitano (privacy) e possono inviare al coach centrale solo brevi messaggi di testo che descrivono le loro mosse (limiti di comunicazione).

Per risparmiare tempo e larghezza di banda, non inviano l'intera coreografia. Invece, inviano solo alcune "mosse chiave" o "piccoli aggiustamenti" che hanno inventato per migliorare la danza. Questo è simile a LoRA (Low-Rank Adaptation), una tecnica che permette alle persone di apprendere compiti complessi regolando solo una parte minuscola ed efficiente del modello.

Il Probleo: Danzare in Direzioni Diverse

Il documento identifica un problema nascosto: poiché ogni amico si sta esercitando su una canzone o uno stile diverso (eterogeneità dei dati), finiscono per inventare mosse che puntano in direzioni completamente diverse.

L'Amico A inventa una mossa che ruota verso sinistra.
L'Amico B inventa una mossa che ruota verso destra.
L'Amico C inventa un salto in avanti.

Quando il coach raccoglie tutte queste mosse per creare una "Danza Globale", esse si annullano a vicenda. La rotazione a sinistra annulla quella a destra; il salto si perde nella confusione. Il documento chiama questo fenomeno "Cancellazione Silenziosa" (Silent Cancellation). Il coach vede molto impegno da parte di tutti, ma il risultato finale è debole perché le mosse si combattono tra loro.

La Soluzione: La Regola del "Riferimento Condiviso"

Gli autori propongono una nuova regola chiamata LoRA con Regolarizzazione di Sottospazio (Subspace-Regularized LoRA).

Immagina che il coach fornisca a tutti un video di riferimento condiviso della mossa "ideale" prima che inizino a esercitarsi. La regola è: "Potete inventare le vostre nuove mosse, ma devono rimanere molto vicine alla direzione di questo video di riferimento condiviso".

Questo è il Vincolo di Sottospazio (Subspace Constraint). Non impedisce loro di imparare; semplicemente li guida gentilmente affinché mantengano la loro "pista da ballo" allineata con quella degli altri.

Invece dell'Amico A che ruota selvaggiamente a sinistra e dell'Amico B che ruota selvaggiamente a destra, entrambi regolano le loro rotazioni per essere più vicini alla direzione di riferimento del coach.
Quando il coach combina le loro mosse, queste si rinforzano a vicenda invece di annullarsi.

Cosa hanno testato

I ricercatori hanno testato questa idea su due diversi "ballerini" (modelli AI):

RoBERTa-large: Un modello molto grande e complesso.
SmolLM-360M: Un modello più piccolo e compatto.

Hanno simulato 10 amici (clienti) con dati differenti e hanno eseguito l'esperimento 24 volte per esserne sicuri.

I Risultati

1. Il punteggio di "Allineamento" (Ballavano insieme?)
Il team ha misurato quanto bene le mosse degli amici si allineassero.

Metodi vecchi: Le mosse degli amici erano parzialmente allineate (circa il 96% - 99% di sovrapposizione).
Nuovo metodo: Le mosse degli amici erano quasi perfettamente allineate (99,99% di sovrapposizione). Erano tutti sulla stessa identica "pista da ballo".

2. Il punteggio di "Performance" (La danza era bella?)

Sul Modello Grande (RoBERTA): Il nuovo metodo è stato un enorme successo. Poiché le mosse erano perfettamente allineate, la danza finale è stata molto migliore rispetto a prima. L'accuratezza è aumentata significativamente e gli "errori" (loss) sono diminuiti.
Sul Modello Piccolo (SmolLM): Qui, il risultato è stato sorprendente. Anche se il nuovo metodo ha raggiunto quel perfetto allineamento del 99,99%, il punteggio finale della danza non è migliorato molto rispetto ai vecchi metodi. Il modello più piccolo sembrava cavarsela bene anche con un po' di disallineamento.

La Grande Conclusione

Il documento dimostra che l'allineamento geometrico (assicurarsi che tutti si muovano nella stessa direzione generale) è reale e può essere ottenuto con la loro nuova regola.

Tuttamente, il documento avverte anche che un allineamento perfetto non garantisce sempre un punteggio finale migliore.

Per il modello grande e complesso, l'allineamento è stato la chiave per sbloccare una migliore performance.
Per il modello più piccolo, l'allineamento è avvenuto perfettamente, ma non si è tradotto in un massiccio aumento del punteggio.

In breve: Gli autori hanno costruito un sistema che costringe i modelli AI ad "accordarsi" sulla direzione dei loro aggiornamenti di apprendimento. Questo impedisce loro di combattersi tra loro. Funziona brillantemente per i modelli grandi, ma per i modelli più piccoli, concordare sulla direzione non è l'unica cosa che conta per ottenere un punteggio alto.

Sintesi Tecnica: Apprendimento Federato con Vincolo di Sottospazio e Adattamento a Basso Rango

1. Definizione del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo su clienti decentralizzati senza condividere i dati grezzi, tuttavia affronta sfide significative quando le distribuzioni dei dati dei client sono eterogenee. Nel classico Federated Averaging (FedAvg), l'eterogeneità statistica porta al "client drift" (deriva del client), dove gli aggiornamenti dei modelli locali divergono, causando instabilità e una convergenza lenta.

Con l'ascesa dei grandi modelli di fondazione, il Low-Rank Adaptation (LoRA) è diventato una tecnica popolare di fine-tuning efficiente nei parametri per l'FL. LoRA vincola gli aggiornamenti dei pesi ( $\Delta W$ ) a una decomposizione a basso rango ($BA$), riducendo i costi di comunicazione e computazione. Tuttavia, questo articolo ipotizza che, sotto distribuzioni di dati eterogenee, diversi client apprendano aggiornamenti a basso rango che coprono sottospazi distinti. Quando questi aggiornamenti geometricamente disallineati vengono aggregati ingenuamente al server, possono parzialmente annullarsi a vicenda — un fenomeno definito "silent cancellation" (annullamento silenzioso). Questa cancellazione strutturale riduce l'entità effettiva dell'aggiornamento globale, ostacolando la convergenza anche quando i singoli client compiono progressi sostanziali.

2. Metodologia

Gli autori propongono Subspace-Regularized LoRA (Subspace-Reg), un framework progettato per allineare gli aggiornamenti locali dei client con un sottospazio di riferimento globale condiviso.

2.1 Funzione Obiettivo

Ogni client $k$ ottimizza un obiettivo regolarizzato per sottospazio che include una penalità di allineamento prossimale. L'obiettivo è:
$L_k^{SR}(w_k) = \min_{A_k, B_k} \left\{ L_k(w_k) + \frac{\mu}{2} \|B_k A_k - \Delta W_g^{(t)}\|_F^2 + \frac{\lambda}{2} (\|A_k\|_F^2 + \|B_k\|_F^2) \right\}$
Dove:

$L_k(w_k)$ è la perdita locale.
$\Delta W_g^{(t)}$ è l'attuale aggiornamento a basso rango globale (riferimento del server).
$\mu$ controlla la forza dell'allineamento del sottospazio.
$\lambda$ regolarizza i fattori a basso rango.
Il termine della norma di Frobenius vincola gli aggiornamenti locali affinché rimangano vicini all'aggiornamento di riferimento del server, incoraggiando un'aggregazione costruttiva.

2.2 Algoritmo

L'addestramento segue una struttura FL standard con modifiche:

Inizializzazione: Il server inizializza una base a basso rango globale $B_g$ con colonne ortonormali.
Step del Server: Il server campiona i client, calcola un aggiornamento di riferimento globale tramite SVD della somma pesata dei precedenti aggiornamenti dei client, e trasmette il modello e la base di riferimento.
Step del Client: Ogni client inizializza i propri fattori rispetto al riferimento globale ed esegue $E$ $E$ epoche locali. La discesa del gradiente locale minimizza la perdita regolarizzata per sottospazio, che include:
- La perdita del compito primario.
- Un termine che penalizza la deviazione del prodotto $B_k A_k$ dal riferimento globale $B_g A_g$ .
- Un termine opzionale che penalizza la deviazione della base $B_k$ da $B_g$ .
Aggregazione: I client inviano i loro aggiornamenti ( $\Delta W_k = B_k A_k$ ) al server, che li aggrega e aggiorna il modello globale.

3. Analisi Teorica

L'articolo fornisce un'analisi teorica per comprendere come l'allineamento del sottospazio influenzi la convergenza sotto eterogeneità.

Limite di Cancellazione Geometrica: Gli autori derivano che il quadrato della norma dell'aggiornamento aggregato dipende dai termini incrociati tra gli aggiornamenti dei client. Sotto eterogeneità, se gli aggiornamenti sono disallineati, questi termini incrociati diventano negativi, riducendo l'entità effettiva dell'aggiornamento (cancellazione silenziosa).
Garanzie di Convergenza: Sotto assunzioni standard (smoothness, eterogeneità limitata, varianza limitata e aggiornamenti a basso rango limitati), l'articolo dimostra un limite di convergenza per la norma quadratica media del gradiente.
- Il limite include un termine $C_1 \sigma^2 / \mu^2$ che rappresenta la penalità di disallineamento.
- A differenza dello standard LoRA-FedAvg, che soffre di un termine di cancellazione fisso, Subspace-Reg permette che questa penalità sia resa arbitrariamente piccola aumentando il parametro di allineamento $\mu$ .
- Gli autori derivano le condizioni per $\mu$ e il numero di round di comunicazione $T$ per raggiungere una precisione del gradiente $\epsilon$ target.

4. Risultati Sperimentali

Il metodo è stato valutato su due modelli pre-addestrati (RoBERTa-large e SmolLM-360M) utilizzando il dataset HellaSwag in un contesto non-IID (10 client, Dirichlet $\beta=0.5$ ). Gli esperimenti sono stati eseguiti su 3 seed casuali (42, 43, 44), per un totale di 24 esecuzioni.

4.1 Performance su RoBERTa-large

Subspace-Reg ha superato significativamente tutti i baseline (FedAvg, SVD redistribution, e FedSVD):

Accuratezza: Ha raggiunto la massima accuratezza media migliore (0.454 ± 0.023) e l'accuratezza finale media (0.429 ± 0.011), superando il miglior baseline (FedSVD) con un margine di circa ~0.118 nella migliore accuratezza.
Perdita (Loss): Ha raggiunto la perdita finale più bassa (1.363).
Allineamento: Ha raggiunto una sovrapposizione di base (Basis Overlap) quasi perfetta (≈0.9999), rispetto allo 0.958–0.991 dei baseline.

4.2 Performance su SmolLM-360M

I risultati su SmolLM-360M hanno rivelato che i guadagni di accuratezza sono dipendenti dal modello:

Accuratezza: FedAvg ha ottenuto l'accuratezza più alta (0.581), mentre Subspace-Reg si è classificato secondo (0.564).
Allineamento: Nonostante la mancanza di miglioramenti nell'accuratezza, Subspace-Reg ha mantenuto una sovrapposizione di base quasi perfetta (0.99989), coerentemente con i risultati di RoBERTa.
Conclusione: L'allineamento geometrico è stato efficace, ma non si è tradotto in guadagni di accuratezza downstream per questo specifico modello.

4.3 Risultati Diagnostici Chiave

Sovrapposizione di Base vs. Similarità del Coseno: Mentre i metodi basati su SVD hanno ottenuto metriche basate sul coseno più elevate (Client-Global Cosine, Pairwise Cosine), non hanno ottenuto gli stessi miglioramenti di accuratezza di Subspace-Reg su RoBERTa. Gli autori identificano la sovrapposizione di base (allineamento diretto del sottospazio) come il diagnostico critico, piuttosto che la similarità del coseno.
Robustezza: La quasi perfetta sovrapposizione di base è stata costante in tutti i seed e in entrambi i modelli, validando l'ipotesi dell'allineamento geometrico anche quando le prestazioni downstream variavano.

5. Significato e Rivendicazioni

L'articolo rivendica i seguenti contributi e significati:

Identificazione della Cancellazione Silenziosa: Evidenzia come il disallineamento del sottospazio nel LoRA-based FL porti a un'aggregazione distruttiva, un fenomeno precedentemente poco esplorato.
Obiettivo Regolarizzato per Sottospazio: Propone una penalità di allineamento prossimale che incoraggia esplicitamente gli aggiornamenti locali a rimanere vicini a un sottospazio di riferimento globale, estendendo il concetto di FedProx dalla magnitudo dei parametri alla struttura geometrica.
Miglioramento Teorico: Fornisce un limite di convergenza che mostra come la penalità di disallineamento sia regolabile, offrendo una garanzia strettamente migliore rispetto allo standard LoRA-FedAvg sotto eterogeneità.
Validazione Empirica: Dimostra che il metodo proposto raggiunge una sovrapposizione di base quasi perfetta (≈0.9999) in modo costante. Su RoBERTa-large, ciò si traduce in sostanziali guadagni di accuratezza. Su SmolLM-360M, conferma che l'allineamento geometrico può essere raggiunto indipendentemente dall'accuratezza downstream, suggerendo che i benefici dell'allineamento dipendono dal modello.
Insight Diagnostico: Il lavoro stabilisce che la sovrapposizione di base è un indicatore più rilevante della qualità dell'aggregazione rispetto alla similarità del coseno nei contesti di federated LoRA.

Gli autori concludono che, sebbene l'allineamento del sottospazio sia un meccanismo geometrico robusto, il suo impatto sulle prestazioni del compito finale dipende dall'architettura e dalla capacità del modello specifico, richiedendo ulteriori indagini sul perché tali benefici varino tra i modelli.