🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

Ce papier propose un cadre général pour la fusion de modèles basé sur la moyenne de Fréchet sur des variétés appropriées afin d'assurer l'invariance par symétrie, démontrant sa capacité à englober des méthodes existantes telles que la fusion de Fisher et fournissant un algorithme pratique pour fusionner des adaptateurs de rang faible (LoRA) qui répond aux limites des approches actuelles.

Auteurs originaux : Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de chefs experts. Chaque chef a maîtrisé un plat spécifique : l'un prépare la parfaite lasagne, un autre le sushi idéal, et un troisième le soufflé le plus fin. Maintenant, vous voulez créer un « Super Chef » capable de cuisiner parfaitement ces trois plats, mais vous n'avez pas le temps de former un nouveau chef depuis zéro. Vous souhaitez simplement combiner les connaissances des chefs existants.

Dans le monde de l'IA, cela s'appelle la Fusion de Modèles (Model Merging). Vous prenez les « poids » (les paramètres internes) de différents modèles d'IA et vous essayez de les fusionner en un seul.

Le Problème : La « Mauvaise Carte »

L'article soutient que l'ancienne méthode de faire cela revient à essayer de mélanger les recettes de ces chefs en faisant simplement la moyenne de leurs nombres sur une feuille de papier. Cela fonctionne bien si tout le monde écrit dans la même langue et utilise les mêmes unités.

Mais les modèles d'IA ont une particularité cachée : la Symétrie.
Pensez-y ainsi : le Chef A pourrait écrire « 2 tasses de farine », tandis que le Chef B écrit « 1 tasse de farine + 1 tasse de farine ». Ils veulent dire exactement la même chose, mais les nombres semblent différents. Ou alors, le Chef C a peut-être inversé l'ordre de ses ingrédients dans le cahier, mais le goût du plat est identique.

En IA, il existe de nombreuses façons d'écrire exactement la même « recette » (modèle) en utilisant des nombres différents. Si vous faites simplement la moyenne des nombres (Moyennage Naïf), vous pourriez vous retrouver avec une recette indiquant « 0 tasse de farine » parce que les nombres positifs et négatifs se sont annulés. Vous avez créé un modèle brisé qui ne peut rien cuisiner.

Les auteurs appellent cela sortir de l'orbite. Imaginez que la « vraie » recette existe sur une piste circulaire (une orbite). Si vous tracez simplement une ligne droite entre deux points sur la piste, vous coupez à travers le milieu du cercle et finissez dans la boue (un modèle brisé), au lieu de rester sur la piste où vivent les bonnes recettes.

La Solution : La « Boussole Intelligente » (GeoMerge)

L'article propose une nouvelle méthode appelée GeoMerge. Au lieu de simplement moyenner des nombres, ils traitent l'espace des modèles d'IA comme un paysage courbe (une variété riemannienne).

La Carte : Ils réalisent que, à cause de la symétrie (les différentes façons d'écrire la même recette), la « vraie » carte n'est pas une feuille de papier plate. C'est une surface pliée et courbe où différents points représentent en réalité la même chose.
La Boussole : Ils utilisent un outil mathématique appelé Moyenne de Fréchet. Pensez-y non pas comme une simple moyenne, mais comme la recherche du « centre de gravité » sur une surface courbe.
L'Alignement : Avant de mélanger les modèles, ils les « alignent » d'abord. C'est comme s'assurer que le Chef A et le Chef B utilisent tous deux les mêmes tasses à mesurer et écrivent dans le même ordre. Ils trouvent la version spécifique de la recette de chaque chef qui est la plus proche des autres, en ignorant les différences cosmétiques dans la façon dont les nombres sont écrits.
Le Chemin : Au lieu de couper droit à travers la boue, ils marchent le long du chemin courbe (une géodésique) qui reste sur la piste des « bonnes recettes ».

Pourquoi cela compte pour « LoRA » (Les Chefs Spécialisés)

L'article se concentre fortement sur une technique populaire appelée LoRA (Adaptation à Faible Rang). Imaginez qu'il ne s'agit pas de chefs complets, mais de sous-chefs spécialisés qui ne modifient que quelques ingrédients spécifiques pour améliorer un plat.

Les auteurs ont constaté que lorsque vous essayez de fusionner ces ajustements spécialisés en utilisant les anciennes méthodes, le problème de « symétrie » est encore pire. Les notes des sous-chefs sont si flexibles qu'elles peuvent être écrites de milliers de façons différentes qui signifient toutes la même chose.

Ancienne Méthode (KnOTS) : Tente de forcer l'alignement des notes en utilisant un tour de mathématiques rigide et étape par étape (SVD). Cela fonctionne à peu près, mais c'est comme essayer de forcer des chevilles carrées dans des trous ronds.
GeoMerge : Reconnaît que les notes vivent naturellement sur une surface courbe. Elle utilise la « Boussole Intelligente » pour trouver le vrai centre du groupe sans les forcer dans une forme rigide.

Les Résultats

Les chercheurs ont testé cela sur un grand modèle d'IA (Llama 3) qui avait été spécialisé pour différents types de puzzles linguistiques (Inférence en Langage Naturel).

Le Résultat : GeoMerge a créé un « Super Chef » qui a mieux performé que la meilleure méthode précédente (KnOTS).
L'Efficacité : Encore mieux, GeoMerge a fait cela tout en maintenant la « taille » de la recette petite. L'ancienne méthode s'est retrouvée avec une recette massive et gonflée (rang élevé), tandis que GeoMerge l'a gardée légère et efficace, prouvant qu'elle comprenait mieux la géométrie du problème.

En Bref

L'article dit : Ne faites pas simplement la moyenne des nombres. Les modèles d'IA sont comme des recettes qui peuvent être écrites dans de nombreuses langues différentes. Si vous voulez les fusionner, vous devez d'abord les traduire dans une langue commune (alignement) puis trouver le centre du groupe en utilisant une carte qui respecte la forme du monde (géométrie), plutôt qu'une règle plate. Cela empêche le « Super Chef » de devenir un désastre brisé.

1. Énoncé du problème

La fusion de modèles (model merging) vise à combiner plusieurs réseaux de neurones entraînés en un seul modèle sans entraînement supplémentaire de bout en bout. Si l'averaging simple dans l'espace des paramètres (par exemple, Model Soups) fonctionne bien pour les modèles fine-tunés de rang plein, il échoue considérablement lorsqu'il est appliqué aux méthodes de Fine-Tuning Efficace en Paramètres (PEFT) comme LoRA (Low-Rank Adaptation).

Le problème central réside dans la symétrie architecturale :

Les paramètres des réseaux de neurones ne sont pas des coordonnées canoniques ; des réglages de paramètres distincts peuvent représenter exactement la même fonction entrée-sortie en raison de symétries (par exemple, permutations de neurones, redimensionnement, ou symétries de jauge dans les factorisations de faible rang).
L'averaging naïf (euclidien) ignore ces symétries. Il peut "sortir" de l'orbite géométrique correcte, entraînant une interférence destructrice où le modèle fusionné s'effondre ou performe mal.
Les méthodes d'alignement existantes (comme KnOTS) tentent de corriger cela en alignant les mises à jour de tâches via SVD, mais elles reposent souvent sur des choix de jauge spécifiques ou des heuristiques dépendantes des coordonnées qui ne respectent pas pleinement la géométrie sous-jacente.

2. Méthodologie : GeoMerge

Les auteurs proposent GeoMerge, un cadre qui reformule la fusion de modèles comme le calcul d'une moyenne de Fréchet sur une variété riemannienne.

Changement conceptuel fondamental

Au lieu d'effectuer une moyenne des paramètres dans un espace euclidien, GeoMerge traite l'espace des paramètres comme une variété quotient ( $\mathcal{M} = \bar{\mathcal{M}} / G$ ), où $G$ est le groupe de symétrie (par exemple, $GL(r)$ pour LoRA).

Averaging intrinsèque : L'objectif est de trouver un point sur la variété quotient qui minimise la somme des distances géodésiques aux modèles d'entrée.
Invariance de symétrie : En opérant sur le quotient, la fusion devient invariante à la paramétrisation spécifique (jauge) des modèles d'entrée.

Formulation mathématique

Moyenne de Fréchet : Étant donné des modèles $\theta_1, \dots, \theta_T$ , le modèle fusionné $\mu^*$ est le minimiseur de la fonctionnelle de Fréchet :
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
où $d_{\mathcal{M}}$ est la distance géodésique sur la variété.
Géométrie quotient pour LoRA :
- Les mises à jour LoRA sont représentées sous la forme $\Delta W = GH^\top$ . Cette factorisation possède une symétrie $GL(r) $:$ (G, H) \sim (GA^{-1}, HA^\top)$.
- Les auteurs proposent d'utiliser une factorisation polaire ( $\Delta W = UBV^\top$ ) pour mapper le problème vers un produit de variétés de Stiefel ($St$) et de variétés de matrices définies positives (SPD).
- Ils définissent des métriques riemanniennes spécifiques :
  - Métrique invariante affine pour le facteur SPD ( $B$ ).
  - Métrique canonique de Stiefel pour les facteurs orthogonaux ( $U, V$ ).
Algorithme (GeoMerge quotient) :
L'algorithme alterne entre deux étapes pour calculer la moyenne :
- Alignement (Minimisation d'orbite) : Pour une estimation courante $\mu_t$ , trouver la transformation de symétrie $G_i$ pour chaque entrée $\theta_i$ qui minimise la distance à $\mu_t$ . Cela aligne les entrées sur la même "jauge" (espace horizontal).
- Averaging intrinsèque : Calculer l'application logarithme (vecteurs tangents) de $\mu_t$ vers les entrées alignées. Ces vecteurs sont garantis d'être horizontaux (orthogonaux aux orbites de symétrie). La moyenne est mise à jour en se déplaçant le long de la géodésique définie par la somme pondérée de ces vecteurs horizontaux.

3. Contributions clés

Unification géométrique : Le papier établit que la fusion de modèles est fondamentalement un problème de calcul de moyennes de Fréchet sur des variétés riemanniennes. Il unifie diverses stratégies de fusion sous ce prisme géométrique.
Fusion consciente de la symétrie : Il fournit une solution de principe au problème de "mauvais alignement" dans le PEFT en modélisant explicitement l'espace des paramètres comme une variété quotient, garantissant ainsi que la fusion est invariante aux choix de jauge.
Lien avec la fusion Fisher : Les auteurs démontrent que la fusion pondérée par Fisher est une approximation traitable de la moyenne de Fréchet sous la géométrie Fisher-Rao (géométrie de l'information), spécifiquement lors de l'utilisation d'un surrogate quadratique et de l'ignorance des changements de covariance. Cependant, ils notent que la fusion Fisher standard souffre toujours de problèmes de symétrie car le mécanisme d'averaging lui-même n'est pas invariant de symétrie.
Algorithme pratique pour LoRA : Ils dérivent un algorithme concret pour les adaptateurs LoRA utilisant la factorisation polaire et des métriques riemanniennes spécifiques, permettant un calcul efficace des géodésiques et de l'alignement sans données.
Analyse de modèle jouet : Ils fournissent une solution analytique sous forme fermée pour un modèle simple à symétrie d'échelle, prouvant que l'averaging euclidien naïf échoue (s'effondrant vers zéro) tandis que GeoMerge récupère correctement le prédicteur intrinsèque.

4. Résultats expérimentaux

Les auteurs ont évalué GeoMerge sur Llama-3 8B avec des adaptateurs LoRA fine-tunés sur six jeux de données d'inférence en langage naturel (NLI) (SNLI, MNLI, SICK, QNLI, RTE, SciTail).

Référence : Ils ont comparé avec KnOTS, une méthode de l'état de l'art qui aligne les mises à jour LoRA via un SVD conjoint avant la fusion.
Performance : GeoMerge a systématiquement surpassé KnOTS sur tous les jeux de données en termes de précision normalisée (le rapport entre la précision du modèle fusionné et celle du meilleur spécialiste).
- Précision normalisée moyenne : GeoMerge a atteint 91,88 % contre 90,38 % pour KnOTS.
Efficacité : Une découverte critique est que GeoMerge atteint une performance supérieure avec un rang effectif beaucoup plus faible.
- KnOTS augmente généralement le rang du modèle fusionné à $T \times r$ (où $T$ est le nombre de tâches).
- GeoMerge maintient le rang original $r$ , suggérant qu'il utilise la capacité des poids plus efficacement en respectant la géométrie de la variété plutôt qu'en étendant l'espace des paramètres.

5. Signification et impact

Avancement théorique : Le papier fait évoluer le paradigme de la fusion de modèles de "l'averaging heuristique des paramètres" vers "l'optimisation géométrique sur des variétés". Il met en évidence que le choix de la géométrie (métrique et variété) est le choix de conception le plus critique dans la fusion.
Robustesse : En traitant les symétries de manière intrinsèque, GeoMerge offre une solution plus robuste pour fusionner des modèles spécialisés, en particulier à l'ère du PEFT où les mises à jour de faible rang sont la norme.
Voies futures : Le cadre ouvre la porte à l'intégration d'autres concepts géométriques (par exemple, médianes riemanniennes, moyennes de Huber) et à l'extension à d'autres méthodes PEFT ou modèles de rang plein où des symétries sont présentes. Il suggère également que l'"alignement" n'est pas seulement une étape de prétraitement, mais une partie intégrante du processus d'averaging sur l'espace quotient.

En résumé, GeoMerge résout la fragilité de la fusion de modèles sous les symétries architecturales en traitant le problème comme une tâche d'averaging géométrique sur une variété quotient, aboutissant à des performances de l'état de l'art pour la fusion LoRA avec une efficacité paramétrique améliorée.