🤖 machine learning

Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers

Cet article propose un nouveau cadre d'apprentissage dual qui applique des transformations de poids préservant la fonctionnalité pour aligner des modèles Transformers de plusieurs milliards de paramètres entraînés indépendamment, permettant une connectivité de mode linéaire quasi sans barrière et une fusion de modèles efficace à travers les domaines du langage et de la vision.

Auteurs originaux : Tianyi Li, Zhiqiang Shen

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianyi Li, Zhiqiang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Fusionner deux recettes différentes

Imaginez que vous avez deux chefs étoilés qui ont passé des années à perfectionner exactement le même plat : un gâteau au chocolat. Tous deux savent comment le rendre délicieux. Cependant, ils ont appris leurs techniques dans des cuisines différentes, ont utilisé des tasses à mesurer différentes et ont organisé leurs ingrédients de manières totalement distinctes.

Le Chef A met la farine dans un bol à gauche et le sucre à droite.
Le Chef B met la farine à droite et le sucre à gauche.

Si vous essayez simplement de « mélanger » leurs recettes à mi-chemin (un processus appelé interpolation linéaire), le résultat est un désastre. Vous pourriez vous retrouver avec une demi-tasse de farine et une demi-tasse de sucre dans le même bol, mais comme leurs instructions ne correspondent pas, le gâteau s'effondre. Dans le monde de l'IA, c'est ce qu'on appelle une barrière de perte (loss barrier) — un point où le modèle combiné cesse de fonctionner et où le taux d'erreur grimpe en flèche.

Le Problème : Les différences « cachées »

Pendant longtemps, les scientifiques pensaient que ces deux chefs préparaient simplement des gâteaux différents. Mais cet article soutient qu'ils préparent en réalité le même gâteau ; ils ont simplement des symétries différentes.

En IA, la « symétrie » signifie que vous pouvez mélanger les éléments sans changer le résultat.

Permutation : Vous pouvez changer l'ordre des étapes (comme mélanger les œufs avant le lait plutôt que le lait avant les œufs) tant que vous ajustez les autres étapes pour qu'elles correspondent.
Mise à l'échelle (Scaling) : Vous pouvez utiliser une grande cuillère ou une petite cuillère, tant que vous ajustez la quantité d'ingrédients pour compenser.

Le problème est que lorsque deux modèles d'IA sont entraînés séparément, ils tombent naturellement dans des « mélanges » différents. Si vous essayez de les fusionner sans corriger ces mélanges au préalable, l'IA est confuse.

L'ancienne solution : L'ajustement unilatéral

Les méthodes précédentes tentaient de corriger cela en prenant la recette du Chef B et en la forçant à ressembler à celle du Chef A. Elles disaient : « D'accord, Chef B, déplace ton sucre vers la gauche pour correspondre au Chef A. »

Cela aide un peu, mais c'est comme essayer de faire entrer un pion carré dans un trou rond. Le Chef B doit contorsionner tout son style pour s'adapter à l'agencement spécifique de la cuisine du Chef A. Cela fonctionne, mais la recette « intermédiaire » résultante présente toujours un risque élevé d'échec.

La nouvelle solution : La « Double Danse » (LMC-DM)

Cet article présente une nouvelle méthode appelée Dual Learned Matching (Apprentissage de Correspondance Dual). Au lieu de forcer un chef à copier l'autre, ils acceptent tous deux de se rejoindre au milieu.

Imaginez une piste de danse. Au lieu que le Chef A reste immobile et que le Chef B essaie de suivre ses pas, les deux chefs commencent à danser l'un vers l'autre.

Ils apprennent tous deux de nouvelles façons d'organiser leurs ingrédients (en ajustant leurs « symétries »).
Ils se déplacent vers une configuration de cuisine commune et neutre où leurs pas s'alignent parfaitement.
Une fois alignés, ils peuvent mélanger leurs recettes de manière fluide.

Parce que les deux chefs sont flexibles et se déplacent vers un objectif commun, le point de « mi-chemin » n'est plus une zone de désastre. Il devient un chemin lisse et sûr où le gâteau a le même goût que l'original.

Ce qu'ils ont réellement découvert

Les chercheurs ont testé cela sur des modèles d'IA massifs (certains avec des milliards de paramètres, ce qui revient à avoir une cuisine avec des millions d'ingrédients).

Le Résultat : Lorsqu'ils ont utilisé cette méthode de « Double Danse », la « zone de désastre » (la barrière de perte) a presque complètement disparu.
Modèles de Vision : Ils ont testé sur des modèles de reconnaissance d'images (comme ceux qui identifient les chats et les chiens). Même en fusionnant deux modèles différents, le modèle combiné a maintenu une précision élevée (plus de 69 %) tout au long du processus.
Modèles de Langage : Ils ont testé sur des modèles de génération de texte (comme ceux qui écrivent des histoires). Pour les modèles de taille moyenne, le taux d'erreur était pratiquement nul. Même pour les énormes modèles de plusieurs milliards de paramètres, l'erreur était très faible.

À retenir

L'article prouve que les grands modèles d'IA ne sont pas des îles isolées. Ils sont en réalité connectés par des voies cachées. Si vous arrêtez d'essayer de forcer un modèle à copier l'autre, et que vous laissez plutôt les deux modèles s'ajuster eux-mêmes pour se rejoindre au milieu, vous pouvez fusionner leurs capacités de manière transparente.

Cela signifie que nous pouvons prendre deux modèles d'IA différents, hautement entraînés, et les combiner en un seul modèle puissant sans avoir besoin de les réentraîner de zéro ou de construire de nouvelles structures complexes. C'est comme réaliser que deux langues différentes sont en fait juste des dialectes de la même langue, et que si vous les parlez avec un peu de flexibilité, vous pouvez parfaitement vous comprendre.

Résumé Technique : Mise à l'échelle de la Connectivité de Mode Linéaire et de la Fusion pour les Transformers Pré-entraînés de l'Ordre du Milliard de Paramètres

Énoncé du Problème
La connectivité de mode linéaire (LMC) postule que des réseaux de neurones entraînés indépendamment peuvent être reliés par un chemin linéaire à faible perte dans l'espace des poids, permettant une fusion efficace de modèles sans recours aux ensembles ou au réentraînement. Cependant, les méthodes existantes peinent à étendre ce concept aux Transformers pré-entraînés de l'ordre du milliard de paramètres. L'obstacle principal est que les modèles entraînés indépendamment occupent souvent des régions distantes de l'espace des poids en raison de symétries préservant la fonction (par exemple, permutations de neurones, rotations de poids) et de différences d'initialisation ou de dynamique d'entraînement. L'interpolation linéaire naïve entre de tels modèles se heurte à des barrières de perte élevées. Bien que les techniques d'alignement précédentes (Weight Matching, Learned Matching) aient montré des promesses pour les réseaux plus petits, elles reposent généralement sur une optimisation unidirectionnelle (aligner un modèle sur une référence fixe) et échouent souvent à exploiter pleinement les groupes de symétrie complexes inhérents aux architectures Transformer, limitant ainsi leur efficacité à grande échelle.

Méthodologie
Les auteurs proposent le Dual Learned Matching (LMC-DM), un cadre évolutif conçu pour révéler des chemins linéaires à faible perte dans les Transformers pré-entraînés de grande taille, en optimisant conjointement les transformations de symétrie pour les deux modèles terminaux.

Symétries Préservant la Fonctionnalité : Le papier formule systématiquement une large famille de symétries spécifiques aux Transformers, allant au-delà des simples permutations de neurones. Celles-ci incluent :
- Absorption de la Normalisation : Conversion de LayerNorm/RMSNorm avec paramètres affines en opérateurs sans paramètres en absorbant les gains et biais dans les couches linéaires adjacentes.
- Symétrie Globale de l'Espace Résiduel : Application de rotations orthogonales globales et de mises à l'échelle au flux résiduel, qui sont préservées par RMSNorm.
- Permutations de Têtes d'Attention : Réordonnancement des têtes d'attention.
- Symétries de Circuits : Transformations inversibles internes au sein des circuits Query-Key (QK) et Value-Output (OV) des têtes d'attention.
- Symétries FFN : Permutations de canaux cachés et symétries de mise à l'échelle de type GLU.
Paramétrage : Pour rendre ces symétries apprenables par descente de gradient, les auteurs paramètrent les transformations continues en utilisant :
- La Transformée de Cayley pour les matrices orthogonales (efficace et stable).
- La Décomposition Polaire (combinant la transformée de Cayley pour les parties orthogonales et la décomposition de Cholesky pour les parties définies positives symétriques) pour les matrices inversibles.
- Les symétries discrètes (permutations de têtes/FFN) sont initialisées via le Weight Matching et maintenues fixes durant la phase d'apprentissage pour garantir l'efficacité.
Procédure d'Apprentissage Dual : Contrairement aux approches antérieures « unidirectionnelles » qui optimisent un modèle ( $\Theta_B$ ) pour correspondre à une cible fixe ( $\Theta_A$ ), LMC-DM introduit une optimisation bidirectionnelle. Les deux modèles apprennent leurs propres paramètres de transformation ( $\pi_A$ et $\pi_B$ ) vers un chemin d'interpolation linéaire partagé :
$\Theta_{interp} = \lambda \pi_A(\Theta_A) + (1 - \lambda) \pi_B(\Theta_B)$
Les paramètres de symétrie sont optimisés directement pour minimiser la perte le long du chemin d'interpolation, permettant aux deux modèles de se déplacer vers un bassin de faible perte partagé plutôt que de forcer l'un à se conformer au système de coordonnées de l'autre.

Contributions Clés

Formulation Complète des Symétries : Le papier définit une large famille de transformations préservant la fonctionnalité pour les Transformers, incluant l'absorption de la normalisation, les rotations de l'espace résiduel et des symétries spécifiques aux circuits d'attention/FFN.
Dual Learned Matching : L'introduction d'un cadre d'optimisation bidirectionnelle où les deux extrémités sont transformées, ce qui permet d'obtenir un paysage d'optimisation mieux conditionné et des barrières d'interpolation plus faibles que les méthodes unidirectionnelles.
Démonstration de la Scalabilité : L'application réussie de la fusion basée sur LMC à des modèles allant jusqu'à des milliards de paramètres, une échelle auparavant inexplorée pour une connectivité quasi exempte de barrières.

Résultats Expérimentaux
Les auteurs évaluent LMC-DM sur des Vision Transformers (ViT-S, ViT-B, ViT-L) et des Modèles de Langage (Pythia et OLMo) allant de 14M à 6,9B de paramètres.

Barrières de Perte : Sur WikiText, LMC-DM atteint des barrières de perte proches de zéro pour les modèles de 160M de paramètres (0,18), surpassant de manière significative le Weight Matching (0,27) et le Learned Matching unidirectionnel (0,27). Pour les modèles de 1B de paramètres, la barrière reste basse (0,23).
Domaine de la Vision : ViT-L maintient plus de 69 % de précision top-1 sur ImageNet sur l'ensemble du chemin d'interpolation, une amélioration substantielle par rapport à l'interpolation naïve (qui chute considérablement) et aux méthodes unidirectionnelles.
Comportement de Mise à l'Échelle : Bien que les modèles Pythia allant jusqu'à 6,9B de paramètres présentent de faibles barrières de perte, OLMo-7B montre des barrières plus élevées, suggérant que la LMC dans les grands modèles est influencée par des facteurs au-delà de la simple échelle, tels que les données d'entraînement et la dynamique d'optimisation.
Études d'Ablation : Le retrait des symétries QK ou OV augmente considérablement les barrières de perte, particulièrement pour les ViT. L'approche d'apprentissage dual surpasse systématiquement les variantes unidirectionnelles, et le paramétrage basé sur Cayley pour les symétries orthogonales s'avère plus efficace que les approches non contraintes ou par exponentielle de matrice.

Signification et Revendications
Le papier prétend fournir la première démonstration de connectivité linéaire quasi exempte de barrières pour les modèles de langage de taille moyenne (160M) et montre que les LLM de l'ordre du milliard de paramètres peuvent être connectés avec seulement de faibles barrières de perte lorsqu'ils sont correctement alignés.

Les auteurs soutiennent que leurs résultats suggèrent que les Transformers pré-entraînés de grande taille ne sont pas des points isolés dans l'espace des poids, mais des « représentations liées par symétrie » qui peuvent être efficacement alignées et fusionnées via des chemins linéaires simples. En résolvant les symétries de paramètres via l'optimisation duale, la méthode permet une fusion de modèles fiable et une composition à des échelles auparavant jugées intraitables pour la connectivité de mode linéaire. Ce travail comble le fossé entre la géométrie théorique du paysage de perte et la réutilisation pratique des modèles, offrant une base pour la composition évolutive de grands modèles pré-entraînés.