🤖 AI

Optimizer-Induced Mode Connectivity: From AdamW to Muon

Ce papier démontre que des optimiseurs comme AdamW et Muon induisent des variétés de solutions à perte nulle distinctes, souvent déconnectées, dans les réseaux de neurones, révélant que la connectivité des modes dépend fondamentalement de l'optimiseur spécifique et de sa régularisation implicite plutôt que d'être une propriété universelle du paysage de perte.

Auteurs originaux : Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver le point le plus bas dans un vaste paysage montagneux. Ce paysage représente la « fonction de perte » d'un réseau de neurones : plus vous êtes haut, moins votre modèle performe ; plus vous êtes bas, mieux il performe.

Pendant longtemps, les chercheurs ont cru que si vous entraîniez deux modèles différents pour atteindre le fond même de cette vallée (l'état de « perte nulle »), vous pourriez tracer un chemin simple et lisse entre eux sans jamais remonter une colline. Cette idée s'appelle la Connectivité des Modes. C'est comme dire : « Si deux randonneurs ont trouvé le fond de la même vallée, il doit exister un sentier plat les reliant. »

Cependant, cet article pose une nouvelle question : Le chemin dépend-il de la façon dont les randonneurs ont marché ?

Les auteurs introduisent deux « styles de randonnée » (optimiseurs) différents :

AdamW : Le randonneur classique et fiable.
Muon : Un randonneur plus récent et spécialisé, qui se déplace différemment.

Voici ce que l'article a découvert, expliqué par des analogies simples :

1. L'« Empreinte Spectrale »

Chaque modèle possède une « empreinte » unique composée de nombres appelés valeurs singulières (pensez-y comme à la « tonicité musculaire » ou à la « forme » interne du modèle).

Les modèles AdamW tendent à avoir quelques muscles très forts et beaucoup de muscles faibles (des valeurs aberrantes dans le spectre).
Les modèles Muon tendent à avoir des muscles tous à peu près de la même taille (un spectre plus équilibré, « isotrope »).

L'article a révélé que si vous prenez deux modèles entraînés avec AdamW, vous pouvez marcher entre eux et leur « tonicité musculaire » reste cohérente. Si vous prenez deux modèles Muon, il en va de même. Ils restent dans leurs propres « quartiers ».

2. L'Autoroute du Même Optimiseur (Connectivité Intra-Optimiseur)

L'article démontre mathématiquement que si le réseau de neurones est suffisamment large (possède suffisamment de neurones), toutes les solutions trouvées par AdamW sont reliées par un chemin lisse à faible perte. Il en va de même pour Muon.

Analogie : Imaginez une grande prairie plate. Si vous et votre ami utilisez les mêmes chaussures de randonnée (AdamW), vous pouvez marcher de votre endroit à celui de votre ami sans jamais marcher sur un rocher ou monter une côte. Vous restez dans la même zone de « traces de chaussures ».

3. La Barrière Inter-Optimiseur (Déconnectivité Inter-Optimiseur)

C'est la partie la plus surprenante. Que se passe-t-il si vous essayez de marcher d'un modèle AdamW vers un modèle Muon ?

La Théorie : Dans un petit réseau simple, les auteurs ont prouvé que la « vallée AdamW » et la « vallée Muon » pourraient être séparées par une haute crête montagneuse. Vous ne pouvez pas marcher de l'un à l'autre sans monter et perdre en performance. Ils se trouvent sur des « îles » différentes de l'espace des solutions.
La Réalité (Grands Modèles) : Dans leurs expériences à grande échelle (utilisant GPT-2, un modèle de langage), ils ont découvert que bien que vous puissiez les relier, le chemin est spécial. En marchant d'AdamW vers Muon, la « tonicité musculaire » (le spectre) du modèle ne reste pas simplement la même ; elle se transforme de manière lisse.
- Analogie : Imaginez marcher d'une forêt de pins (AdamW) vers une forêt de chênes (Muon). Vous ne téléportez pas ; vous traversez une zone de transition où les arbres changent progressivement de pins à chênes. Le chemin existe, mais il traverse un paysage « hybride » unique que ni l'un ni l'autre optimiseur ne créerait naturellement seul.

4. L'Effet « Smoothie » (Généralisation)

L'article a testé ce qui se passe si vous prenez un modèle à mi-chemin entre une solution AdamW et une solution Muon.

Le Résultat : Ces modèles « hybrides » ont souvent mieux performé sur des données qu'ils n'avaient jamais vues auparavant (généralisation hors distribution) que les modèles originaux.
Analogie : Si vous mélangez un café (AdamW) et un thé (Muon), vous obtenez une nouvelle boisson qui pourrait plaire davantage à certaines personnes que le café ou le thé pris séparément. Le « mélange » explore des parties du paysage que les optimiseurs individuels ont manquées.

Résumé des Affirmations

Même Optimiseur : Si vous utilisez le même optimiseur deux fois, les solutions sont reliées par un chemin lisse qui maintient la cohérence de la structure interne du modèle.
Optimiseurs Différents : Si vous utilisez des optimiseurs différents, les solutions peuvent être séparées par une barrière dans les petits réseaux, ou reliées par un chemin qui transforme de manière lisse la structure interne du modèle dans les grands réseaux.
Le Bénéfice : Marcher entre ces solutions d'optimiseurs différents crée des modèles « hybrides » qui peuvent mieux généraliser à de nouvelles données invisibles.

L'article ne prétend pas que cela fonctionne pour le diagnostic médical, la conduite autonome ou des applications futures spécifiques de l'IA. Il se concentre strictement sur la géométrie mathématique de la façon dont ces modèles se connectent et sur l'observation empirique que leur mélange améliore la généralisation lors de l'entraînement de modèles de langage.

Résumé technique : Connectivité des modes induite par l'optimiseur : D'AdamW à Muon

Énoncé du problème

La connectivité des modes, phénomène selon lequel des modèles de réseaux de neurones entraînés indépendamment peuvent être reliés par un chemin à faible perte, a fait l'objet d'études approfondies. Cependant, la littérature existante traite largement l'ensemble des solutions comme une entité monolithique, supposant souvent une connectivité indépendante des dynamiques d'optimisation spécifiques utilisées pour atteindre ces solutions. Cet article postule que différents optimiseurs imposent des biais implicites distincts (régularisation), contraignant effectivement les solutions à des régions différentes du paysage de perte. La question centrale abordée est la suivante : Comment se comporte la connectivité des modes lorsqu'elle est restreinte aux solutions cohérentes avec le biais implicite d'un optimiseur spécifique ? Plus précisément, les auteurs examinent si les solutions trouvées par le même optimiseur forment un ensemble connecté (connectivité intra-optimiseur) et si les solutions trouvées par différents optimiseurs peuvent être connectées sans encourir de barrière de perte (connectivité inter-optimiseur).

Méthodologie

Cadre théorique

Les auteurs formalisent le concept d'ensembles de solutions régularisés par l'optimiseur. S'appuyant sur des caractérisations théoriques récentes des optimiseurs adaptatifs (par exemple, AdamW et la famille Lion-K), ils définissent les points limites de ces optimiseurs comme des solutions à des problèmes d'optimisation sous contraintes :

AdamW : Converge vers des solutions satisfaisant une contrainte de norme $\ell_\infty$ ( $\|\theta\|_{\max} \leq 1/\lambda$ ).
Muon (et Lion-K avec norme nucléaire) : Converge vers des solutions satisfaisant une contrainte de norme d'opérateur ( $\|\theta\|_{\text{op}} \leq 1/\lambda$ ).

L'article introduit deux définitions :

Connectivité intra-optimiseur : L'ensemble des solutions $O_A(\lambda)$ pour un optimiseur spécifique $A$ est connecté.
Connectivité inter-optimiseur : L'union des ensembles de solutions $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ est connectée.

Une analyse théorique est menée sur des réseaux ReLU à deux couches dans le régime d'interpolation (où une perte d'entraînement nulle est atteignable). Les auteurs analysent la géométrie de ces ensembles régularisés sous différentes largeurs de réseau ( $m$ ).

Configuration expérimentale

Une validation empirique est effectuée sur des tâches de préentraînement GPT-2 à travers cinq jeux de données (enwik8, WikiText-103, Stories, BookCorpus, One Billion Word) en utilisant deux échelles de modèle (~30M et ~50M paramètres).

Optimiseurs : AdamW et Muon.
Construction du chemin : Les auteurs emploient un algorithme modifié d'interpolation polychaîne combiné à un alignement symétrique (permutation et alignement orthogonal des têtes d'attention et des neurones MLP). Cette méthode construit un chemin linéaire par morceaux avec un point de flexion apprenable pour minimiser les barrières de perte entre les modèles.
Métriques : L'étude suit les barrières de perte de validation et l'évolution des spectres de valeurs singulières (spécifiquement le rang stable) le long des chemins d'interpolation.

Contributions clés

1. Preuves théoriques de la connectivité intra-optimiseur

L'article démontre que pour des réseaux ReLU à deux couches suffisamment larges, les ensembles de solutions induits par des optimiseurs spécifiques sont connectés :

Théorème 3.1 : La connectivité intra-optimiseur vaut pour Muon (et la Descente de Gradient Normalisée avec momentum) lorsque la largeur du réseau $m \geq 4P$ , où $P$ est le nombre de motifs d'arrangement d'hyperplans distincts.
Théorème 3.2 : La connectivité intra-optimiseur vaut pour AdamW (et Signum) lorsque $m \geq m^*$ , où $m^*$ est une largeur critique déterminée par les données et les paramètres de régularisation.
Mécanisme : Les preuves consistent à réduire des solutions arbitraires à des formes canoniques « parcimonieuses » ou « égalisées » au sein de l'ensemble régularisé et à démontrer que ces formes peuvent être connectées par des chemins continus préservant les contraintes de norme implicites.

2. Caractérisation de la connectivité inter-optimiseur

Les auteurs établissent que la connectivité entre différentes régions induites par l'optimiseur dépend de manière critique de la largeur du réseau et de la force de régularisation :

Régime de grande largeur : L'union de deux ensembles régularisés est connectée si et seulement si les ensembles se chevauchent (c'est-à-dire que l'ensemble de perte nulle passe par l'intersection de leurs boules de norme respectives). Le nombre de composantes connexes peut passer de un à deux à mesure que la force de régularisation augmente.
Construction à largeur finie : L'article construit un jeu de données spécifique et une largeur ( $m=2$ ) où l'ensemble de solutions à perte nulle se décompose en plusieurs composantes déconnectées. Crucialement, ils prouvent que AdamW et Muon peuvent être forcés dans des composantes différentes en choisissant des paramètres de régularisation appropriés. Dans ce scénario, aucun chemin à perte nulle n'existe entre une solution AdamW et une solution Muon ; tout chemin de connexion doit encourir une barrière de perte prouvable (au moins $1/2$ pour la perte quadratique).

3. Transitions spectrales empiriques

Les expériences sur GPT-2 révèlent des comportements spectraux distincts :

Chemins même-optimiseur : L'interpolation entre deux modèles entraînés avec le même optimiseur (par exemple, AdamW-AdamW) préserve le spectre des valeurs singulières (par exemple, AdamW conserve les valeurs aberrantes, Muon reste isotrope) et maintient une faible perte.
Chemins croisés-optimiseurs : L'interpolation entre différents optimiseurs (par exemple, AdamW-Muon) entraîne une transition de phase spectrale lisse. Le spectre évolue de la signature AdamW vers la signature Muon le long du chemin. Bien que la perte reste relativement faible, les modèles intermédiaires présentent des profils spectraux distincts de ceux des extrémités.

4. Généralisation hors distribution (OOD)

L'article démontre que les chemins d'interpolation croisés-optimiseurs peuvent améliorer la généralisation OOD. Les modèles échantillonnés le long du chemin AdamW-Muon présentent des barrières de perte négatives sur les jeux de données OOD (se comportant mieux que l'interpolation linéaire des extrémités), suggérant que la traversée de l'espace entre différents biais d'optimiseur produit des modèles structurellement diversifiés aux propriétés de généralisation supérieures.

Résultats et importance

Résumé des découvertes

Structure dépendante de l'optimiseur : Le paysage de perte n'est pas un seul bloc connecté de solutions à faible perte ; il contient plutôt des « bassins » ou régions spécifiques à l'optimiseur, définis par la régularisation implicite.
La connectivité est conditionnelle : Bien que les solutions d'un même optimiseur soient connectées dans les réseaux larges, différents optimiseurs peuvent converger vers des composantes déconnectées dans des configurations à largeur finie, séparées par des barrières de perte.
Empreinte digitale spectrale : Le spectre des valeurs singulières sert de proxy robuste pour la région induite par l'optimiseur. Les chemins d'un même optimiseur préservent cette empreinte ; les chemins croisés-optimiseurs traversent une transition.

Importance revendiquée

L'article prétend révéler une structure dépendante de l'optimiseur invisible pour la littérature classique sur la connectivité des modes. En affinant la définition de la connectivité des modes pour tenir compte du biais implicite, les auteurs montrent que :

Le choix de l'optimiseur façonne fondamentalement la topologie de l'espace de solutions accessible.
L'interpolation croisée-optimiseurs est un mécanisme viable pour la fusion de modèles, permettant d'accéder à des régions diverses de l'espace de solutions, améliorant potentiellement des propriétés en aval telles que la quantification et la généralisation.
Les garanties théoriques de connectivité doivent désormais prendre en compte le régularisateur spécifique induit par l'optimiseur, et non seulement l'architecture du réseau.

Ce travail comble le fossé entre l'analyse théorique du biais implicite et la fusion pratique de modèles, suggérant que le « meilleur » chemin entre des modèles peut dépendre de la traversée des frontières de différentes régularisations induites par l'optimiseur.