Résumé technique : GLoRA – Représentations Serveur de Rang Faible Conscientes du Jauge pour le LoRA Fédéré

1. Énoncé du problème

L'apprentissage fédéré (FL) combiné à l'adaptation de rang faible (LoRA) offre un paradigme prometteur pour le fine-tuning de modèles de langage de grande taille (LLM) dans des conditions de données et de ressources décentralisées. Cependant, les méthodes existantes de LoRA fédéré souffrent d'un décalage sémantique fondamental dans leurs règles d'agrégation.

Le problème central est l'ambiguïté de jauge. Une mise à jour LoRA est représentée comme un produit de rang faible $\Delta W = BA$. Cette factorisation n'est pas unique ; pour toute matrice inversible $Q$, la paire $(BQ, Q^{-1}A)$ produit exactement la même matrice de mise à jour $\Delta W$. Dans un entraînement centralisé, cette ambiguïté est bénigne car les facteurs restent internes à un seul optimiseur. Dans les contextes fédérés, en revanche, les clients transmettent les facteurs bruts $(B, A)$ au serveur. Si le serveur agrège ces facteurs bruts directement (par exemple, en moyennant $B$ et $A$ séparément), la mise à jour résultante du serveur dépend des choix arbitraires de coordonnées (jauges) effectués par les clients individuels. Par conséquent, des mises à jour intrinsèques de clients identiques peuvent produire des modèles de serveur différents selon les reparamétrisations internes des clients, rendant la règle d'agrégation mal définie.

Bien que des travaux récents aient abordé l'« agrégation inexacte » (l'erreur algébrique où $\sum B_i A_i \neq (\sum B_i)(\sum A_i)$), ils n'ont pas résolu cette dépendance de jauge plus fondamentale. Une solution naïve — agréger les matrices complètes de mise à jour denses $\Delta W_i$ puis les re-factoriser — restaure la correction sémantique mais détruit les gains d'efficacité du LoRA en exigeant que le serveur matérialise et décompose de grandes matrices $d_{out} \times d_{in}$, ce qui est irréalisable à l'échelle des LLM modernes.

2. Méthodologie : GLoRA

Les auteurs proposent GLoRA (Agrégation de Rang Faible Consciente du Jauge), une représentation serveur qui maintient la correction sémantique sans revenir aux mises à jour denses. GLoRA fonctionne en séparant la géométrie de la mise à jour des coordonnées des facteurs.

2.1 Extraction de sous-espace invariante de jauge

Au lieu d'agréger les facteurs bruts, GLoRA extrait d'abord la géométrie intrinsèque de la mise à jour de chaque client. Pour une mise à jour client $\Delta W_i = B_i A_i$, le serveur effectue une décomposition QR réduite sur $B_i$ :
$$B_i = U_i T_i$$
où $U_i$ est une base orthonormée engendrant l'espace colonne de la mise à jour, et $T_i$ contient les coordonnées. La mise à jour est réécrite comme $\Delta W_i = U_i \tilde{A}_i$ (où $\tilde{A}_i = T_i A_i$).
Crucialement, le sous-espace colonne engendré par $U_i$ est invariant de jauge ; il reste inchangé quelle que soit la transformation inversible $Q$ appliquée aux facteurs originaux. Le serveur représente cette géométrie à l'aide du projecteur orthogonal $P_i = U_i U_i^\top$.

2.2 Construction d'un sous-espace de consensus

Le serveur agrège ces projecteurs pour estimer un sous-espace de consensus partagé $U_{ref}$ :
$$K = \sum_{i} p_i P_i = \sum_{i} p_i U_i U_i^\top$$
Le serveur calcule les $R$ premiers vecteurs propres de $K$ pour former la base de référence $U_{ref}$. Cette étape est computationnellement efficace car elle opère sur la matrice mince des bases clients plutôt que sur la matrice complète de mise à jour dense. $U_{ref}$ définit un cadre de coordonnées commun pour le tour actuel de mises à jour.

2.3 Agrégation dans des coordonnées partagées

Une fois $U_{ref}$ établi, la mise à jour de chaque client est projetée dans ce cadre partagé :
$$Z_i = U_{ref}^\top \Delta W_i = U_{ref}^\top U_i \tilde{A}_i$$
Le serveur agrège ensuite directement ces coordonnées projetées :
$$Z_{global} = \sum_{i} p_i Z_i$$
L'état final du serveur est la paire de rang faible $(U_{ref}, Z_{global})$, représentant la mise à jour $\Delta W_{global} = U_{ref} Z_{global}$. Cela garantit que la mise à jour du serveur est définie par les matrices intrinsèques $\{\Delta W_i\}$ plutôt que par des coordonnées de facteurs arbitraires, tout en restant entièrement de rang faible.

2.4 Lecture compatible avec l'hétérogénéité des rangs

Pour prendre en charge des clients avec des budgets de rang différents ($r_i$), GLoRA emploie un mécanisme de lecture cœur–queue. Le serveur décompose $Z_{global}$ via SVD pour ordonner les composantes par énergie.

• Cœur : Un ensemble partagé de composantes principales est attribué à tous les clients pour maintenir la cohérence globale.
• Queue : Le budget de rang restant est alloué en fonction de la géométrie historique de mise à jour spécifique au client (scores d'alignement) ou de l'ordre spectral global si l'historique n'est pas disponible.
  Cela permet aux clients hétérogènes d'instancier des adaptateurs de rangs variés à partir du même état serveur sans nécessiter d'objets d'agrégation séparés ni de re-factorisation dense.

3. Contributions clés

1. Identification de la dépendance de jauge : L'article identifie la dépendance de jauge comme un mode d'échec sémantique dans l'agrégation de LoRA fédéré au niveau des facteurs, la distinguant du problème algébrique d'« agrégation inexacte ». Il soutient que les facteurs bruts ne sont pas des objets d'agrégation valides sous l'ambiguïté de jauge.
2. Cadre GLoRA : Les auteurs proposent une méthode d'agrégation consciente du jauge qui maintient un état serveur compact de rang faible. Elle agrège les mises à jour via un sous-espace de consensus et des coordonnées de référence partagées, évitant à la fois l'agrégation de facteurs bruts et la matérialisation de mises à jour denses.
3. Support de l'hétérogénéité : GLoRA introduit une lecture compatible avec les rangs qui instancie des adaptateurs de rangs différents à partir d'un seul état serveur, supportant naturellement les capacités de clients hétérogènes et la participation sparse.
4. Validation empirique : Des expériences extensives démontrent que GLoRA surpasse systématiquement les lignes de base (FedIT, FedEx-LoRA, FedSA-LoRA, HetLoRA, FlexLoRA) à travers l'hétérogénéité des données, l'hétérogénéité des ressources et l'hétérogénéité des tâches.

4. Résultats expérimentaux

Les auteurs ont évalué GLoRA sur GLUE (en utilisant RoBERTa-Base) et SuperNI (en utilisant LLaMA-1B, Qwen2-7B et Gemma-2-9B) dans diverses conditions :

• Hétérogénéité des données : Sous un fort biais d'étiquettes (Dir(0.1)), GLoRA a obtenu la précision moyenne la plus élevée sur les tâches GLUE, surpassant significativement FedSA-LoRA (qui n'a pas convergé sur la plupart des tâches) et autres lignes de base.
• Hétérogénéité des ressources : Dans des configurations avec des rangs clients hétérogènes (distributions Normale, Uniforme, à queue lourde), GLoRA s'est classé premier dans 14 des 15 paires tâche-distribution, démontrant une robustesse face aux capacités d'adaptateurs variables.
• FL inter-tâches sparse : Sur SuperNI avec 10 % de participation client et une évaluation sur des tâches non vues, GLoRA a obtenu les meilleurs scores ROUGE-L à la fois sur les clients in-domaine et non vus, indiquant une généralisation supérieure par rapport aux méthodes de troncature spécifiques aux rangs.
• Évolutivité : GLoRA a maintenu son avantage de performance sur des architectures plus grandes (7B et 9B paramètres), suggérant que l'approche n'est pas limitée aux petits modèles.
• Efficacité : GLoRA atteint un compromis favorable entre efficacité et performance. Sa complexité par couche est $\Theta(r_\Sigma^2(d_{out} + d_{in}) + r_\Sigma^3)$, ce qui est nettement moins coûteux que les méthodes d'agrégation de mises à jour denses (comme FlexLoRA) tout en évitant la sensibilité de jauge du moyennage direct des facteurs.

5. Signification et affirmations

L'article affirme que le LoRA fédéré efficace nécessite non pas simplement de moyenner des facteurs de rang faible, mais de définir une représentation côté serveur sémantiquement significative pour l'agrégation.

Les auteurs soutiennent que le choix de conception clé dans le LoRA fédéré consiste à déplacer le focus de « comment moyenner les facteurs » vers « quel objet côté serveur représente l'agrégat ». En séparant la géométrie de la mise à jour des coordonnées des facteurs, GLoRA résout le décalage sémantique inhérent aux méthodes actuelles. Les résultats suggèrent que l'agrégation consciente du jauge est essentielle pour une convergence stable et des performances élevées dans les contextes fédérés, en particulier lors de la gestion de données, de ressources et de tâches hétérogènes. L'article conclut que si l'estimation actuelle du sous-espace de consensus repose sur la géométrie de l'espace colonne, les travaux futurs pourraient intégrer l'énergie de mise à jour ou un pondération consciente des tâches pour affiner davantage la construction du sous-espace.