🤖 machine learning

Subspace-Constrained Federated Learning with Low-Rank Adaptation

Cet article propose un objectif d'apprentissage fédéré régularisé par sous-espace pour atténuer le désalignement géométrique des données hétérogènes des clients lors de l'ajustement fin LoRA, démontrant à travers des expériences approfondies sur RoBERTa-large et SmolLM-360M que cette approche améliore significativement la convergence et la précision en imposant un chevauchement de base quasi parfait entre les clients.

Auteurs originaux : Neranjan Senarath, Rohit Muralitharan, Sadia Asif

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Neranjan Senarath, Rohit Muralitharan, Sadia Asif

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe de 10 amis essayant d'apprendre une nouvelle chorégraphie ensemble, mais ils sont tous dans des pièces différentes (c'est l'Apprentissage Fédéré ou Federated Learning). Ils ne peuvent pas partager leurs enregistrements vidéo privés d'eux-mêmes en train de s'entraîner (confidentialité), et ils ne peuvent envoyer au coach central que de courts messages textuels décrivant leurs mouvements (limites de communication).

Pour gagner du temps et de la bande passante, ils ne renvoient pas toute leur chorégraphie. Au lieu de cela, ils n'envoient que quelques « mouvements » clés ou « ajustements » qu'ils ont inventés pour améliorer la danse. Cela ressemble à LoRA (Low-Rank Adaptation), une technique qui permet d'apprendre de grandes tâches en n'ajustant qu'une partie infime et efficace du modèle.

Le Problème : Danser dans des directions différentes

L'article identifie un problème caché : comme chaque ami s'entraîne sur une chanson ou un style différent (données hétérogènes), ils finissent par inventer des mouvements qui pointent dans des directions complètement opposées.

L'ami A invente un mouvement de rotation vers la gauche.
L'ami B invente un mouvement de rotation vers la droite.
L'ami C invente un saut vers l'avant.

Lorsque le coach collecte tous ces mouvements pour créer une « Danse Globale », ils s'annulent les uns les autres. La rotation à gauche annule la rotation à droite ; le saut se perd dans la confusion. L'article appelle cela l'« Annulation Silencieuse » (Silent Cancellation). Le coach voit beaucoup d'efforts de la part de chacun, mais le résultat final est faible car les mouvements se combattent.

La Solution : La règle de la « Référence Partagée »

Les auteurs proposent une nouvelle règle appelée LoRA Régularisé par Sous-Espace (Subspace-Regularized LoRA).

Imaginez que le coach donne à tout le monde une vidéo de référence commune du mouvement « idéal » avant qu'ils ne commencent à s'entraîner. La règle est la suivante : « Vous pouvez inventer vos propres nouveaux mouvements, mais ils doivent rester très proches de la direction de cette vidéo de référence commune. »

C'est la Contrainte de Sous-Espace. Cela ne les empêche pas d'apprendre ; cela les pousse simplement doucement à garder leur « piste de danse » alignée avec celle des autres.

Au lieu que l'ami A tourne follement vers la gauche et l'ami B vers la droite, ils ajustent tous deux leurs rotations pour être plus proches de la direction de référence du coach.
Lorsque le coach combine leurs mouvements, ils se renforcent mutuellement au lieu de s'annuler.

Ce qu'ils ont testé

Les chercheurs ont testé cette idée sur deux différents « danseurs » (modèles d'IA) :

RoBERTa-large : Un modèle très grand et complexe.
SmolLM-360M : Un modèle plus petit et plus compact.

Ils ont simulé 10 amis (clients) avec des données différentes et ont mené l'expérience 24 fois pour en être sûrs.

Les Résultats

1. Le score d'« Alignement » (Ont-ils dansé ensemble ?)
L'équipe a mesuré à quel point les mouvements des amis étaient alignés.

Anciennes méthodes : Les mouvements des amis étaient quelque peu alignés (environ 96 % à 99 % de chevauchement).
Nouvelle méthode : Les mouvements des amis étaient presque parfaitement alignés (99,99 % de chevauchement). Ils dansaient tous exactement sur la même « piste ».

2. Le score de « Performance » (La danse est-elle réussie ?)

Sur le grand modèle (RoBERTa) : La nouvelle méthode a été un immense succès. Parce que les mouvements étaient parfaitement alignés, la danse finale était bien meilleure qu'auparavant. La précision a bondi de manière significative et les « erreurs » (perte/loss) ont diminué.
Sur le petit modèle (SmolLM) : Ici, le résultat a été surprenant. Même si la nouvelle méthode a atteint ce parfait alignement de 99,99 %, le score de la danse finale ne s'est pas beaucoup amélioré par rapport aux anciennes méthodes. Le petit modèle semblait très bien se débrouiller, même avec un peu de désalignement.

La Grande Conclusion

L'article prouve que l'alignement géométrique (s'assurer que tout le monde bouge dans la même direction générale) est réel et peut être obtenu avec leur nouvelle règle.

Cependant, l'article avertit également qu'un alignement parfait ne garantit pas toujours un meilleur score final.

Pour le grand modèle complexe, l'alignement était la clé pour débloquer de meilleures performances.
Pour le petit modèle, l'alignement était parfait, mais cela ne s'est pas traduit par une augmentation massive du score.

En bref : Les auteurs ont construit un système qui force les modèles d'IA à « s'entendre » sur la direction de leurs mises à jour d'apprentissage. Cela les empêche de se combattre. Cela fonctionne brillamment pour les grands modèles, mais pour les petits modèles, le simple fait d'être d'accord sur la direction n'est pas la seule chose qui compte pour obtenir un score élevé.

Résumé Technique : Apprentissage Fédéré sous Contrainte de Sous-Espace avec Adaptation de Bas Rang

1. Énoncé du Problème

L'apprentissage fédéré (FL - Federated Learning) permet un entraînement collaboratif sur des clients décentralisés sans partage de données brutes, mais il fait face à des défis importants lorsque les distributions de données des clients sont hétérogènes. Dans l'algorithme standard de moyenne fédérée (FedAvg), l'hétérogénéité statistique entraîne une « dérive des clients » (client drift), où les mises à jour locales des modèles divergent, provoquant une instabilité et une convergence lente.

Avec l'essor des grands modèles de fondation, l'adaptation de bas rang (LoRA - Low-Rank Adaptation) est devenue une technique populaire d'ajustement fin efficace en paramètres pour le FL. LoRA contraint les mises à jour de poids ( $\Delta W$ ) à une décomposition de bas rang ($BA$), réduisant ainsi les coûts de communication et de calcul. Cependant, cet article émet l'hypothèse que, sous des distributions de données hétérogènes, différents clients apprennent des mises à jour de bas rang qui couvrent des sous-espaces distincts. Lorsque ces mises à jour géométriquement désalignées sont agrégées de manière naïve au niveau du serveur, elles peuvent partiellement s'annuler entre elles — un phénomène nommé « annulation silencieuse » (silent cancellation). Cette annulation structurelle réduit la magnitude effective de la mise à jour globale, entravant la convergence même lorsque les clients individuels réalisent des progrès substantiels.

2. Méthodologie

Les auteurs proposent le LoRA Régularisé par Sous-Espace (Subspace-Reg), un cadre conçu pour aligner les mises à jour locales des clients avec un sous-espace de référence global partagé.

2.1 Fonction Objectif

Chaque client $k$ optimise une fonction objectif régularisée par sous-espace qui inclut une pénalité d'alignement proximale. L'objectif est :
$L_k^{SR}(w_k) = \min_{A_k, B_k} \left\{ L_k(w_k) + \frac{\mu}{2} \|B_k A_k - \Delta W_g^{(t)}\|_F^2 + \frac{\lambda}{2} (\|A_k\|_F^2 + \|B_k\|_F^2) \right\}$
Où :

$L_k(w_k)$ est la perte locale.
$\Delta W_g^{(t)}$ est la mise à jour de bas rang globale actuelle (référence du serveur).
$\mu$ contrôle la force de l'alignement du sous-espace.
$\lambda$ régularise les facteurs de bas rang.
Le terme de norme de Frobenius contraint les mises à jour locales à rester proches de la mise à jour de référence du serveur, favorisant une agrégation constructive.

2.2 Algorithme

L'entraînement suit une structure FL standard avec des modifications :

Initialisation : Le serveur initialise une base de bas rang globale $B_g$ avec des colonnes orthonormées.
Étape du Serveur : Le serveur échantillonne des clients, calcule une mise à jour de référence globale via la SVD de la somme pondérée des mises à jour précédentes des clients, et diffuse le modèle et la base de référence.
Étape du Client : Chaque client initialise ses facteurs locaux à partir de la référence globale et effectue $E$ $E$ époques locales. La descente de gradient locale minimise la perte régularisée par sous-espace, qui comprend :
- La perte de la tâche principale.
- Un terme pénalisant l'écart du produit $B_k A_k$ par rapport à la référence globale $B_g A_g$ .
- Un terme optionnel pénalisant l'écart de la base $B_k$ par rapport à $B_g$ .
Agrégation : Les clients envoient leurs mises à jour ( $\Delta W_k = B_k A_k$ ) au serveur, qui les agrège et met à jour le modèle global.

3. Analyse Théorique

L'article fournit une analyse théorique pour comprendre comment l'alignement des sous-espaces influence la convergence sous l'effet de l'hétérogénéité.

Borne d'Annulation Géométrique : Les auteurs démontrent que le carré de la norme de la mise à jour agrégée dépend des termes croisés entre les mises à jour des clients. Sous l'effet de l'hétérogénéité, si les mises à jour sont désalignées, ces termes croisés deviennent négatifs, réduisant la magnitude effective de la mise à jour (annulation silencieuse).
Garanties de Convergence : Sous des hypothèses standards (lissage, hétérogénéité bornée, variance bornée et mises à jour de bas rang bornées), l'article prouve une borne de convergence pour la norme au carré du gradient moyen.
- La borne inclut un terme $C_1 \sigma^2 / \mu^2$ représentant la pénalité de désalignement.
- Contrairement au LoRA-FedAvg standard, qui souffre d'un terme d'annulation fixe, Subspace-Reg permet de rendre cette pénalité arbitrairement petite en augmentant le paramètre d'alignement $\mu$ .
- Les auteurs dérivent les conditions pour $\mu$ et le nombre de cycles de communication $T$ afin d'atteindre une précision de gradient cible $\epsilon$ .

4. Résultats Expérimentaux

La méthode a été évaluée sur deux modèles pré-entraînés (RoBERTa-large et SmolLM-360M) en utilisant le jeu de données HellaSwag dans un contexte non-IID (10 clients, Dirichlet $\beta=0.5$ ). Les expériences ont été menées sur 3 graines aléatoires différentes (42, 43, 44), totalisant 24 exécutions.

4.1 Performance sur RoBERTa-large

Subspace-Reg a nettement surpassé toutes les lignes de base (FedAvg, redistribution SVD, et FedSVD) :

Précision (Accuracy) : A atteint la meilleure précision moyenne (0,454 ± 0,023) et la précision finale moyenne (0,429 ± 0,011), surpassant la meilleure ligne de base (FedSVD) d'une marge d'environ 0,118 en précision maximale.
Perte (Loss) : A atteint la perte finale la plus basse (1,363).
Alignement : A atteint un Chevauchement de Base (Basis Overlap) quasi parfait (≈0,9999), comparé à 0,958–0,991 pour les lignes de base.

4.2 Performance sur SmolLM-360M

Les résultats sur SmolLM-360M ont révélé que les gains de précision sont dépendants du modèle :

Précision (Accuracy) : FedAvg a obtenu la précision la plus élevée (0,581), tandis que Subspace-Reg arrive en deuxième position (0,564).
Alignement : Malgré l'absence d'amélioration de la précision, Subspace-Reg a maintenu un Chevauchement de Base quasi parfait (0,99989), ce qui est cohérent avec les résultats de RoBERTa.
Conclusion : L'alignement géométrique a réussi, mais il ne s'est pas traduit par des gains de précision sur la tâche pour ce modèle spécifique.

4.3 Principaux Résultats de Diagnostic

Chevauchement de Base vs Similitude Cosinus : Bien que les méthodes basées sur la SVD aient obtenu des métriques de similitude cosinus plus élevées (Client-Global Cosine, Pairwise Cosine), elles n'ont pas obtenu les mêmes améliorations de précision que Subspace-Reg sur RoBERTa. Les auteurs identifient le Chevauchement de Base (alignement direct du sous-espace) comme le diagnostic critique, plutôt que la similitude cosinus.
Robustesse : Le chevauchement de base quasi parfait était constant à travers toutes les graines et les deux modèles, validant l'hypothèse de l'alignement géométrique même lorsque les performances de la tâche variaient.

5. Signification et Contributions

L'article revendique les contributions et significations suivantes :

Identification de l'Annulation Silencieuse : Il met en évidence que le désalignement des sous-espaces dans le LoRA fédéré conduit à une agrégation destructive, un phénomène auparavant peu exploré.
Objectif Régularisé par Sous-Espace : Il propose une pénalité d'alignement proximale qui encourage explicitement les mises à jour locales à rester proches d'un sous-espace de référence global, étendant le concept de FedProx de la magnitude des paramètres à la structure géométrique.
Amélioration Théorique : Il fournit une borne de convergence montrant que la pénalité de désalignement est ajustable, offrant une garantie strictement meilleure que le LoRA-FedAvg standard sous hétérogénéité.
Validation Empirique : Il démontre que la méthode proposée atteint un chevauchement de base quasi parfait (≈0,9999) de manière constante. Sur RoBERTa-large, cela se traduit par des gains de précision substantiels. Sur SmolLM-360M, il confirme que l'alignement géométrique peut être atteint indépendamment de la précision de la tâche, suggérant que les bénéfices de l'alignement dépendent du modèle.
Aperçu Diagnostique : Ce travail établit que le chevauchement de base est un indicateur plus pertinent de la qualité de l'agrégation que la similitude cosinus dans les contextes de LoRA fédérés.

Les auteurs concluent que bien que l'alignement des sous-espaces soit un mécanisme géométrique robuste, son impact sur la performance finale de la tâche dépend de l'architecture et de la capacité spécifiques du modèle, justifiant des recherches plus approfondies sur les raisons de ces variations entre les modèles.