Résumé Technique : Conditionneurs de Directions Mortes (Dead-Direction Conditioners - DDC)

1. Énoncé du Problème

Les pertes des réseaux de neurones profonds présentent des symétries continues (symétries de jauge) dans leurs espaces de paramètres. Celles-ci incluent les décalages de logits, les redimensionnements ReLU/SwiGLU, les invariances d'échelle de LayerNorm et les rotations de têtes d'attention. Le long des orbites de ces symétries, le paysage de perte est plat (directions mortes), ce qui signifie que la métrique d'information de Fisher s'annule.

Les optimiseurs adaptatifs standards comme Adam ne respectent pas ces symétries. Le préconditionneur par coordonnée d'Adam ($1/\sqrt{\hat{v}}$) n'est équivariant que sous les permutations de coordonnées. Lorsque les groupes architecturaux mélangent les coordonnées (par exemple, mettre à l'échelle une paire de poids de manière inverse ou faire pivoter un espace vectoriel), la mise à jour d'Adam « fuit » dans l'orbite de la jauge. Cette fuite provoque deux problèmes principaux :

1. Dérive (Drift) : La trajectoire de l'optimiseur dérive le long de l'orbite plate plutôt que de rester sur une section fixe du quotient de symétrie $\bar{\Theta} = \Theta/G$. Cette dérive déplace l'optimiseur vers un minimum différent de celui qu'il atteindrait si la symétrie était respectée.
2. Flou de la Lisibilité du Taux (Blurred Rate Readability) : Des résultats théoriques (Shirodkar, 2026) établissent que le taux singulier (la décroissance de la plus petite valeur propre de Fisher) est lisible à partir de la trajectoire uniquement si l'optimiseur descend proprement sur le quotient. La fuite d'Adam introduit du bruit et un biais, floutant ce taux et rendant la géométrie du minimum illisible.

2. Méthodologie : Conditionneurs de Directions Mortes (DDC)

Le papier introduit le DDC, un cadre de préconditionnement qui élève un optimiseur de base (par exemple, Adam ou Muon) en un optimiseur $G$-équivariant. Le mécanisme central consiste à décomposer l'espace des paramètres et les mises à jour de gradient en composantes verticales (tangentes à l'orbite) et horizontales (quotient) en utilisant une métrique de Riemann $G$-invariante $\rho$.

La Règle de Mise à Jour

Pour un gradient $g_t$, le DDC sépare le gradient en $g_t = \Pi_V g_t + \Pi_H g_t$. Il maintient des estimateurs de second moment distincts :

• Composante Verticale ($\hat{v}_V$) : Le gradient vertical est réduit à un scalaire unique par dimension d'orbite (par exemple, via la moyenne par ligne pour les décalages de CE). Ce scalaire est utilisé pour normaliser la mise à jour verticale, traitant ainsi toute la dimension d'orbite comme une unité unique.
• Composante Horizontale ($\hat{v}_H$) : Le gradient horizontal est préconditionné par coordonnée mais strictement au sein d'un cadre $G$-équivariant horizontal. Crucialement, après la division par coordonnée, la mise à jour est re-projetée ($\Pi_H$) pour garantir que la trajectoire reste horizontale.

L'étape de mise à jour est :
$$\theta_{t+1} = \theta_t - \eta \left[ \Pi_H \left( \frac{\Pi_H \hat{m}_t}{\sqrt{\hat{v}_H} + \epsilon} \right) + \text{lift}_V \left( \frac{\text{vert-to-scalar}(\Pi_V \hat{m}_t)}{\sqrt{\hat{v}_V} + \epsilon} \right) \right]$$

Jauges Architecturales Gérées

Le DDC construit des projecteurs et des réductions spécifiques pour quatre jauges architecturales :

1. Décalage de l'Entropie Croisée (Cross-Entropy Shift) : Décalages additifs dans les logits (biais ou poids d'unembedding).
2. Redimensionnement ReLU/SwiGLU : Mise à l'échelle multiplicative de paires de poids adjacentes ($W_\ell, W_{\ell+1} \to cW_\ell, c^{-1}W_{\ell+1}$).
3. Échelle de LayerNorm/RMSNorm : Mise à l'échelle par canal des paramètres de normalisation et des poids en aval.
4. Rotation de Tête d'Attention : Rotations non-abéliennes $O(d_{head})$ des poids QK et VO.

Pour la jauge de rotation non-abélienne, le $\hat{v}$ par coordonnée standard échoue. Le DDC propose quatre constructions tenant compte de $O(d_{head})$, la construction par défaut déployée étant body_frame_topk. Celle-ci maintient l'adaptativité par coordonnée dans le sous-espace propre de la matrice de Gram $M = W_Q^T W_Q + W_K^T W_K$, mais uniquement sur les directions propres « actives » (celles dont les valeurs propres sont supérieures à un seuil), tout en traitant les directions mortes avec seulement de la momentum.

Composition de l'Optimiseur de Base

• DDCAdam : Applique la construction complète du DDC à Adam. Il gère les quatre jauges exactement (ou à l'ordre de grandeur pour les rotations de body-frame).
• DDCMuon : Applique le DDC à l'optimiseur Muon (qui orthogonalise les mises à jour). L'orthogonalisation de Muon commute exactement avec les jauges de rotation, rendant DDCMuon exact pour les rotations. Cependant, l'orthogonalisation de Muon supprime la liberté d'échelle par canal, ce qui signifie que DDCMuon ne peut pas conditionner les jauges de redimensionnement (ReLU/échelle LN) et utilise par défaut Adam pour ces composantes.

3. Contributions Clés

1. Préconditionnement Équivariant : Une construction générale qui élève les optimiseurs adaptatifs pour respecter les symétries architecturales continues, garantissant que la trajectoire reste un flux de gradient préconditionné sur le quotient de symétrie $\bar{\Theta}$.
2. Lisibilité du Taux (Rate Readability) : Preuve théorique (Théorème 1) que le DDC restaure la propriété de « lisibilité du taux de la trajectoire ». Sur le quotient, la plus petite valeur propre de Fisher décroît comme $\bar{t}^{2(k-1)}$, permettant de lire directement l'ordre singulier $k$ à partir de la trajectoire, une propriété obscurcie dans l'Adam standard.
3. Confinement de la Jauge (Gauge Containment) : Démonstration empirique que le DDC empêche la dérive des modes de jauge (ex: décalages de logit, redimensionnements de poids) qui affecte Adam, maintenant ces modes à leurs valeurs initiales ou à leurs points fixes.
4. Résultats d'Optimisation Améliorés :
   • Résistance au Sur-entraînement (Over-training) : Sur les modèles de langage entraînés au-delà du point de convergence (fit), DDCAdam résiste à l'effondrement du sur-entraînement où la perte de validation diverge de la perte d'entraînement.
   • Fiabilité du Grokking : Sur les Transformers profonds (profondeur 24), DDCMuon permet le « grokking » (généralisation soudaine) sur 10/11 graines (seeds) là où le Muon vanilla échoue complètement (0/11).
   • Compression : Sur les Vision Transformers, DDCAdam compresse plus agressivement la capacité superflue des couches feed-forward sous un weight decay donné par rapport à AdamW, atteignant une perte de validation plus faible.

4. Résultats Expérimentaux

• Modèles de Langage (Profondeur-12, Sur-entraînement) :
  • Lisibilité du Taux : DDCAdam lit le taux singulier dans 32 des 65 cellules observables par couche, alors qu'AdamW ne le lit que dans 7. Dans AdamW, les valeurs propres de Fisher augmentent loin du minimum ; dans DDCAdam, elles s'effondrent vers le plancher.
  • Sur-entraînement : DDCAdam maintient un écart entre la perte de validation et de train de 0,67, contre 5,88 pour AdamW.
• Grokking des Transformers :
  • Profondeur-24 : DDCMuon atteint le grokking sur 10/11 graines avec une précision >0,9, tandis que le Muon vanilla atteint 0/11.
  • Profondeur-8 (RoPE) : Faire correspondre la jauge de rotation à la symétrie de tore spécifique des embeddings de position rotatifs ($SO(2)^{d/2}$) produit une précision plus élevée (0,977) et une variance plus faible que les jauges génériques $O(d_{head})$ (0,955).
• Vision Transformers (ViT) :
  • Entraîné de zéro sur ImageNet-100, DDCAdam atteint une perte de validation plus faible (1,71 vs 2,12 nats) et compresse le réseau (valeurs singulières d'activation 4x plus petites) au même niveau de weight decay où AdamW laisse la capacité intacte.
• Confinement de la Jauge :
  • Sur des tâches synthétiques, DDCAdam réduit la dérive inter-graines des modes de jauge de 14x (redimensionnement ReLU) et 65x (échelle LayerNorm) par rapport à AdamW, tout en égalant la perte finale de la tâche.

5. Signification et Revendications

Le papier affirme que l'intégration de la symétrie dans l'optimiseur change fondamentalement la géométrie de la solution trouvée. En respectant la symétrie de jauge :

• Le Minimum est plus Net : L'optimiseur se stabilise dans un minimum moins dégénéré (valeurs propres de Fisher plus élevées hors du plancher singulier).
• La Géométrie est Mesurable : La trajectoire devient un signal lisible du coefficient d'apprentissage singulier sous-jacent, permettant de diagnostiquer la complexité du modèle directement à partir de la dynamique d'entraînement.
• La Fiabilité Augmente : L'optimiseur devient robuste à la « dérive » qui cause l'échec dans les régimes profonds ou sur-entraînés, particulièrement dans les tâches nécessitant le « grokking ».

Les auteurs soulignent que la construction est générique au préconditionneur, élevant Adam, Muon et Shampoo, et que les bénéfices ne sont pas simplement dus au weight decay mais à la contrainte géométrique de rester sur le quotient. Le papier conclut qu'en respectant la symétrie de jauge d'un réseau, l'optimiseur « affine le minimum qu'il trouve et transforme la géométrie de ce minimum en quelque chose que la trajectoire peut mesurer ».

Limites Notées :

• L'accélération de Muon dans le grokking est partiellement attribuée au weight decay groupé inhérent à la mise à jour équivariante, bien que la projection elle-même apporte fiabilité et une structure plus propre.
• L'équivariance exacte pour la construction de rotation de body-frame est approximative (ordre supérieur) en raison de l'ambiguïté de signe des vecteurs propres, bien que cette dérive soit faible ($\sim 10^{-3}$ sur 20 étapes).
• Lire la structure singulière complète (ordre et multiplicité) nécessite des outils qui ne sont pas pleinement développés dans ce travail.