🤖 machine learning

The Loss Does Not See the Basis, but Adam Does

Cet article démontre que l'incapacité d'Adam à récupérer des solutions de faible rang dans les modèles factorisés provient de son manque d'équivariance de jauge, une propriété possédée par la descente de gradient et d'autres optimiseurs à scalaire partagé qui préserve le biais implicite vers les interpolants de faible rang.

Auteurs originaux : Devender Singh

Publié 2026-08-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Devender Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle géant et désordonné dont les pièces sont des nombres disposés dans une grille. Dans le monde de l'intelligence artificielle, cela s'appelle la « factorisation de matrice ». Vous avez une image immense et compliquée (les données), et vous voulez la décomposer en deux piles de cartes plus petites et plus simples qui, lorsqu'elles sont multipliées ensemble, recréent l'image originale. Le but est de trouver les piles les plus simples possibles qui s'adaptent parfaitement à l'image. Cela est important car des solutions plus simples fonctionnent généralement mieux dans le monde réel, évitant le piège de mémoriser le bruit plutôt que d'apprendre des modèles.

Pour résoudre ce puzzle, les ordinateurs utilisent une méthode appelée « descente de gradient », qui est comme un randonneur essayant de trouver le fond d'une vallée en descendant toujours la pente. Pendant longtemps, les scientifiques ont remarqué que si l'on commence avec des cartes très petites, ce randonneur trouve naturellement la solution la plus simple. Cependant, un randonneur plus récent et plus rapide appelé « Adam » (un outil populaire en IA) se perd souvent, trouvant une solution compliquée et désordonnée même lorsqu'une solution simple existe. La grande question était : pourquoi le randonneur rapide échoue-t-il à trouver le chemin simple, et peut-on y remédier sans ralentir le processus ?

Cet article, intitulé « La perte ne voit pas la base, mais Adam la voit » (The Loss Does Not See the Basis, But Adam Does), examine pourquoi cela se produit. L'auteur a découvert que le problème n'est pas seulement une question de vitesse ; c'est la façon dont le randonneur perçoit le monde. Le puzzle possède une symétrie cachée : vous pouvez faire pivoter vos piles de cartes de nombreuses manières différentes, et l'image finale reste exactement la même. C'est comme faire pivoter un globe : les continents bougent, mais la carte reste la même. Le randonneur traditionnel (la descente de gradient) ignore la rotation spécifique et regarde simplement la forme de la vallée, trouvant naturellement la solution la plus simple. Mais le randonner rapide (Adam) est distrait par la rotation spécifique des cartes. Il traite une direction comme « spéciale » et une autre comme « différente », alors qu'elles sont mathématiquement identiques. Cette distraction le pousse à choisir une solution complexe et de rang élevé au lieu d'une solution simple et de faible rang.

L'auteur a prouvé que tout optimiseur (un outil pour résoudre le puzzle) qui respecte cette symétrie de rotation trouvera naturellement la solution simple, tandis que ceux qui brisent la symétrie resteront bloqués dans des solutions complexes. Ils ont testé neuf optimiseurs différents et ont trouvé une séparation claire : les optimiseurs « respectant la symétrie » (comme la descente de gradient, Muon et une version modifiée d'Adam) ont trouvé des solutions avec des erreurs aussi basses que 0,000006, tandis que les optimiseurs « brisant la symétrie » (comme Adam standard et RMSProp) avaient des erreurs supérieures à 0,42 — une différence massive.

Pour prouver qu'il ne s'agissait pas d'un coup de chance, ils ont construit un « cadran » qui transforme progressivement Adam d'un mode chaotique détestant la rotation en un mode respectueux de la rotation. À mesure qu'ils tournaient le cadran, la solution devenait plus simple et plus précise, montant que la manière spécifique dont Adam regarde les données est la cause exacte du problème. Ils ont même testé cela sur des données réelles, comme des images hyperspectrales de la Terre, et ont constaté que les méthodes respectueuses de la rotation réduisaient les erreurs d'environ 44 % par rapport à l'Adam standard.

Il est intéressant de noter que l'article a également découvert que le fait d'être « respectueux de la rotation » n'est pas toujours une solution miracle. Si le puzzle lui-même est désordonné et comporte beaucoup de bruit aléatoire (une « queue spectrale »), le randonneur super rapide et respectueux de la rotation nommé Muon devient parfois trop impatient et s'adapte au bruit, tandis que le randonneur plus lent et régulier (la descente de gradient) s'en sort mieux. Ainsi, le meilleur outil dépend de la nature spécifique du puzzle.

Enfin, l'auteur a examiné comment cela affecte les modèles d'IA modernes appelés Transformers (les cerveaux derrière les chatbots). Il a découvert que si l'on commence deux modèles d'IA identiques avec la même mathématique mais en faisant pivoter leurs cartes internes différemment, l'optimiseur Adam standard les fait se comporter de manière complètement différente après seulement une étape. Ils finissent avec des structures internes totalement différentes, même s'ils ont commencé comme étant la même fonction. Cela signifie que le choix de l'optimiseur n'est pas seulement un détail de réglage ; il décide fondamentalement de quelle version de la solution l'IA apprend. L'article conclut que pour obtenir les meilleurs résultats, les plus simples, nous avons besoin d'optimiseurs qui respectent les symétries cachées des mathématiques, plutôt que d'être distraits par la manière spécifique dont nous disposons les nombres.

Résumé Technique : « La perte ne voit pas la base, mais Adam le voit »

Énoncé du Problème
La descente de gradient (GD) sur les modèles factorisés ( $W = UV^\top$ ) est connue pour présenter un biais implicite vers des solutions de faible rang, convergeant souvent vers des interpolants de norme nucléaire minimale dans les tâches de détection de matrices sous-déterminées. Cependant, les optimiseurs adaptatifs comme Adam, bien qu'atteignant des pertes d'entraînement similaires, échouent fréquemment à récupérer ces structures de faible rang, produisant des solutions avec un rang effectif plus élevé et une généralisation moins bonne. Alors que des travaux récents ont identifié que les méthodes adaptatives sont dépendantes de la base (sensibles aux rotations de coordonnées), le mécanisme spécifique par lequel cette dépendance brise le biais de faible rang dans les modèles factorisés n'a pas été caractérisé. Cet article répond à la question suivante : Existe-t-il un critère permettant de déterminer si un optimiseur préserve ou brise le biais de faible rang, et ce critère peut-il classer les méthodes déployées selon leur performance de récupération ?

Méthodologie et Cadre Théorique
L'auteur introduit l'équivariance de jauge comme critère central pour classifier les optimiseurs. La fonction de perte $L(U,V) = f(UV^\top)$ possède une symétrie de jauge : elle est invariante sous la transformation $(U,V) \mapsto (UQ, VQ)$ pour toute matrice orthogonale $Q \in O(k)$ . Cette symétrie implique que la rotation des bases des facteurs latents ne modifie pas les prédictions du modèle.

Classification des règles de mise à jour :
- Optimiseurs équivariants : Un optimiseur est équivariant par rapport à la jauge si sa règle de mise à jour commute avec la transformation de jauge. L'article prouve que les règles de mise à jour sans mémoire sont équivariantes si et seulement si elles prennent la forme d'un préconditionneur gauche déterminé par la Gramienne : $\Delta = H(GG^\top)G$ , où $H$ dépend uniquement de la matrice de Gram $GG^\top$ .
- Optimiseurs non équivariants : Les optimiseurs qui appliquent des non-linéarités par composante fixes au gradient ou à l'état de l'optimiseur lors de l'initialisation (par exemple, Adam standard, RMSProp, Lion, SignSGD) brisent cette symétrie. Plus précisément, l'adaptation du second moment par composante de l'Adam échoue à commuter avec les rotations orthogonales, entraînant un « défaut de premier pas » où la matrice produit $W$ change immédiatement dès la rotation de l'initialisation.
Théorème de Transfert :
L'auteur établit un théorème de transfert montrant que les optimiseurs possédant un préconditionneur scalaire partagé (un dénominateur scalaire unique pour toutes les coordonnées) correspondent à un flot de gradient sous une paramétrisation temporelle rescalée. Par conséquent, les résultats théoriques concernant le biais de faible rang du flot de gradient (ex: Gunasekar et al., 2017 ; Li et al., 2021) s'appliquent directement à ces méthodes équivariantes.
Calendrier Spectral :
Bien que l'équivariance soit nécessaire pour accéder à la variété de faible rang, elle n'est pas suffisante pour la récupération de faible rang. Le comportement spécifique au sein de la classe équivariante est déterminé par le calendrier spectral (la manière dont les valeurs singulières croissent). Les calendriers à taux égal agressifs (comme Muon) peuvent récupérer des cibles de faible rang exactes mais peuvent échouer si la cible possède une « queue spectrale » significative (énergie en dehors de la partie de faible rang), tandis que les calendriers gourmands (comme GD) suppriment ces queues.

Contributions Clés et Expérimentations

Comparaison de la « Zoo des Optimiseurs » : L'auteur a évalué neuf optimiseurs sur une tâche de détection de matrice sous-déterminée ( $40 \times 40$ , rang 3, $m=2 \times \text{dof}$ ) jusqu'à l'interpolation complète.
- Résultat : Une séparation nette est apparue. Les méthodes équivariantes (GD, Scalar-Adam, Muon, Shampoo) ont atteint des erreurs de récupération $\le 0,286$ . Les méthodes par composante (Adam, RMSProp, Lion, SignSGD, Adafactor) n'ont pas réussi à atteindre l'attracteur de faible rang, avec des erreurs $\ge 0,42$ .
- Performance de Muon : Muon a atteint une récupération quasi exacte ( $6,8 \times 10^{-6}$ d'erreur) sur des cibles de pur faible rang, mais a dégradé rapidement à mesure que la queue spectrale de la cible augmentait, croisant la performance de GD à environ 4 % d'énergie de queue.
L'Expérience du « Bouton de Réglage » (Dial) : Pour isoler la cause de l'échec d'Adam, l'auteur a construit une famille d'optimiseurs à un paramètre (Adam- $p$ ) qui interpole entre l'Adam standard ( $p=1$ , par composante) et le Scalar-Adam ( $p=0$ , scalaire partagé).
- Résultat : À mesure que $p$ diminuait de 1 à 0, l'erreur de récupération et le rang effectif s'amélioraient de manière monotone. Cela a confirmé que l'anisotropie par composante dans le préconditionneur est le mécanisme spécifique qui détruit le biais de faible rang, indépendamment du momentum ou de l'adaptativité.
Analyse des Têtes d'Attention : L'article démontre que les têtes d'attention individuelles dans les transformeurs partagent la même symétrie de jauge ( $W_Q^\top W_K$ ).
- Résultat : L'entraînement de deux copies de transformeurs gauge-équivalentes (fonction identique, bases différentes) avec Adam a provoqué une divergence structurelle après une seule étape, entraînant une distance de Frobenius relative de 56 % dans leurs invariants de tête ( $W_Q^\top W_K$ ). Les optimiseurs équivariants (SGD, Scalar-Adam) sont restés indiscernables à la précision de la machine. L'auteur note que si les techniques d'alignement (comme le re-basage par permutation) peuvent réconcilier la jauge, elles ne peuvent pas réconcilier les invariants eux-mêmes s'ils diffèrent ; ainsi, l'entraînement dépendant de la base supprime l'accord requis pour la fusion de modèles, car aucune rotation par tête ne peut combler l'écart entre les invariants divergents.
Validation en Conditions Réelles : Sur des tâches de complétion d'images hyperspectrales (Indian Pines, Pavia University) à densité d'échantillonnage égale :
- GD a obtenu un erreur sur les données de test de 43–44 % inférieure à celle d'Adam à faible densité d'échantillonnage, correspondant à un rang effectif significativement plus bas.
- L'erreur de test d'Adam augmentait à mesure qu'il s'ajustait plus profondément (surapprentissage de la queue spectrale), tandis que l'erreur de GD diminuait.
Réparation d'Algorithme : L'auteur a appliqué son critère à son travail précédent, FlowAdam. Il a identé que le découpage de la vélocité par composante brisait l'équivariance. Remplacer cela par un découpage de norme globale a restauré le biais, améliorant l'erreur de récupération de 37 % et rapprochant la méthode de la performance de GD.

Signification et Revendications
L'article affirme que le choix de la base n'est pas un détail de réglage, mais une décision fondamentale sur l'interpolant que l'optimiseur sélectionne.

Explication Mécaniste : Il fournit un critère constructif et testable (l'équivariance de jauge) pour prédire si un optimiseur préservera le biais de faible rang des modèles factorisés.
Limites : L'auteur est modeste quant à la portée. Le biais est léger et bénéfique principalement lorsque la régularisation optimale est faible et alignée avec la structure de faible rang. Dans les régimes nécessitant une forte régularisation ou là où l'adaptation par composante est bénéfique (ex: problèmes rigides dans les PINNs), les méthodes par composante peuvent encore surpasser les méthodes équivariantes.
Pas de Revendication de Nouveau SOTA : Le travail ne prétend pas proposer un nouvel optimiseur de pointe, mais offre plutôt une explication mécaniste de phénomènes observés, clarifiant pourquoi certaines méthodes (comme Adam) échouent à récupérer les structures de faible rang dans certains contextes alors que d'autres (comme GD ou Muon) réussissent.

En résumé, l'article soutient que « la perte ne voit pas la base » (elle est invariante par la jauge), mais que « Adam le voit » (ses mises à jour dépendent de la base), et cette dépendance est la cause profonde de son échec à sélectionner les interpolants de faible rang dans les modèles factorisés.

Articles similaires