Résumé Technique : Calcul de l'Optimiseur Géométrique–Nongéométrique

Énoncé du Problème

Les descriptions actuelles des optimiseurs basés sur le gradient (par exemple, Adam, Shampoo, K-FAC) confondent souvent des rôles algorithmiques distincts. Elles mélangent la définition d'une géométrie de descente (cartographier les gradients en directions) avec des mécanismes de collecte d'informations, de mémoire, de contrôle de la taille des pas, d'injection de bruit, de modification de la cible et de discrétisation. Cette confusion rend difficile l'audit pour savoir si une direction de mise à jour spécifique est véritablement expliquée par un préconditionneur géométrique ou si elle repose sur des mécanismes résiduels tels que le momentum, la projection ou la stochasticité. De plus, il existe un manque de langage formel pour décomposer les méthodes de gradient « atteignables » sous des contraintes explicites concernant l'accès à l'oracle, les budgets de mémoire et les classes d'état.

Le papier répond à la question suivante : Étant donné une classe d'oracle, un budget, une classe d'état et des règles admissibles, les méthodes de gradient atteignables peuvent-elles être décomposées en un module géométrique positif et en des modules nongéométriques structurés de manière à exposer les lacunes d'expression, les budgets de mécanismes et les compromis de conception d'optimiseurs ?

Méthodologie : Le Calcul de l'Optimiseur Géométrique–Nongéométrique

Les auteurs proposent un langage modulaire, le Calcul de l'Optimiseur Géométrique–Nongéométrique, qui sépare les composants de l'optimiseur en deux catégories distinctes :

1. Le Module Géométrique

Ce module consiste en une famille de cométriques positives $\mathcal{P}_F(\theta)$. Elle cartographie les covecteurs (gradients) vers des directions de descente dans l'espace des paramètres.

• Formalisme : Pour une covecteur $\alpha_\theta = df_\theta$, la direction de descente géométrique est $u_{geo} = -P_\theta \alpha_\theta$, où $P_\theta \succ 0$.
• Familles : Cela inclut les matrices SPD complètes, les matrices diagonales, bloc-diagonales, factorisées par Kronecker, de rang faible, ou des proxies de courbure.

2. Les Modules Nongéométriques

Les mécanismes restants sont divisés en sept modules explicites :

• Information : Estimations de gradient, mini-batches, proxies de courbure et sondes de produit Hessien-vecteur.
• Mémoire : Momentum, lookahead de Nesterov, paires de sécante et sous-espaces historiques.
• Contrôle : Taux d'apprentissage, amortissement (damping), régions de confiance, recherche linéaire et calendriers (schedules).
• Opérateur : Projections, applications proximales, écrêtage (clipping), normalisation et décroissance de poids découplée.
• Bruit : Bruit d'échantillonnage explicite, perturbations de Langevin et bruit induit par le dropout.
• Cible : Objectifs régularisés, lissés ou de substitution différant de l'original $f$.
• Discrétisation : Pas d'Euler/implicites, précision finie et racines de matrices approximatives.

3. Audit et Décomposition

Le calcul emploie un ordre d'audit canonique pour décomposer un optimiseur réel :

1. Fixer la cible $f_k$ et le covecteur visible $\tilde{g}_k$.
2. Au sein de la famille déclarée $\mathcal{F}$, choisir $P_k$ pour expliquer au mieux la direction observée via une géométrie positive.
3. Attribuer l'échelle et l'amortissement au Contrôle.
4. Attribuer le résidu restant à la Mémoire, l'Opérateur, le Bruit, la Cible ou la Discrétisation.

Contributions Clés

1. Théorèmes d'Expressivité de Direction

Le papier prouve que la géométrie positive définie complète exprime exactement l'ensemble des directions de descente strictes loin des points critiques.

• Théorème : Pour un gradient non nul $g$ et une direction $u$, il existe un $P$ défini positif tel que $u = -Pg$ si et seulement si $g^\top u < 0$.
• Implication : Toute mise à jour qui n'est pas une direction de descente stricte (par exemple, des pas neutres ou ascendants causés par le momentum) ou tout mouvement à un point critique ($g=0$) doit provenir d'un module nongéométrique.

2. Résidus de Direction Restreints

Pour les optimiseurs implémentables utilisant des familles restreintes (par exemple, diagonales ou par blocs), les auteurs définissent le résidu de direction restreint :
$$\rho_{\mathcal{F},h}(u; \alpha) = \inf_{P \in \mathcal{F}(\theta)} \|u + P\alpha\|_h$$

• Cela mesure à quel point une mise à jour est inexpliquée par la géométrie choisie.
• Le papier dérive des conditions d'expressivité exactes pour les géométries diagonales et par blocs, montrant que la géométrie diagonale est dépendante des coordonnées et échoue à expliquer les directions où les signes de $g_i$ et $u_i$ ne sont pas alignés.

3. Cadre de Diagnostic (Les Quatre Quadrants)

Les auteurs séparent deux diagnostics :

1. Accessibilité de la Courbure : Mesure la capacité d'une famille à gérer le nombre de condition du Hessien.
2. Résidu de Direction : Mesure la capacité de la famille à expliquer la direction de mise à jour réelle.
   Ces éléments forment un outil de diagnostic à quatre quadrants pour distinguer le préconditionnement géométrique, les effets de mémoire, le bruit et les modifications de la cible.

4. Complexité de Résidu au Niveau de la Trajectoire

Dépassant l'analyse ponctuelle, le papier définit la complexité de résidu au niveau de la trajectoire. Cela demande si une trace d'entraînement entière peut être expliquée par un chemin cohérent de préconditionneurs avec une variation géométrique bornée.

• Il introduit un écart de cohérence pour mesurer le coût du maintien de la cohérence temporelle dans l'explication géométrique.
• Cela empêche les familles riches d'expliquer chaque étape via des matrices non liées ou singulières.

5. Formulation d'Optimisation de Pareto

La conception d'optimiseurs est reformulée non pas comme la recherche d'un seul « meilleur » ordre, mais comme une optimisation de Pareto contrainte sur les budgets de modules.

• Les concepteurs doivent équilibrer la performance contre les budgets de géométrie (par exemple, la longueur de la métrique invariante par affinité), d'information (appels de gradient), de mémoire et de communication.
• Le papier prouve une monotonie de classe budgétisée : bien que la géométrie SPD complète soit un surensemble d'expression de la géométrie restreinte, l'optimum réalisable par le budget peut favoriser une famille restreinte moins coûteuse.

Résultats et Prototypes

Le papier inclut des prototypes de diagnostic pour démontrer le langage, précisant explicitement qu'il ne s'agit pas de revendications de performance de pointe sur des benchmarks à grande échelle.

1. Sonde de Métrique Complète (Quadratiques Déterministes) : Un prototype utilisant des métriques inverses SPD complètes (reconstruites via des sondes de coordonnées) résout des benchmarks quadratiques déterministes avec une précision numérique, validant l'« enveloppe d'expression » de la géométrie complète.
2. Variantes de Krylov et Hybrides : Une variante de sous-espace de Krylov et un hybride de sélection de résidu ont été testés. Les résultats ont montré que les budgets d'information limités et les règles de sélection de résidu impactent significativement la performance, empêchant souvent les géométries restreintes de égaler les capacités de la géométrie complète.
3. Candidat de type Muon : Un prototype combinant l'orthogonalisation de momentum matriciel (pour les tenseurs) et AdamW (pour les vecteurs) a été audité.
   • Sur un petit sous-ensemble MNIST, il a atteint ~77,0 % de précision contre ~72,6 % pour AdamW.
   • L'audit a révélé que l'orthogonalisation de Newton–Schulz agit comme un mécanisme d'opérateur matriciel/mémoire plutôt que comme un pur cométrique positif appliqué au gradient actuel.
4. Audits de Trace : Le calcul a été appliqué à de courtes traces d'entraînement d'AdamW, SGD/Nesterov et du candidat de type Muon.
   • Constat : SGD/Nesterov a montré de fortes explications géométriques diagonales ponctuelles mais un « écart de cohérence » important (nécessitant des métriques changeant rapidement). AdamW et le candidat de type Muon présentaient des résidus bruts plus faibles et des écarts de cohérence plus petits, suggérant des ombres géométriques plus stables.

Signification et Revendications

Le papier se positionne comme un manuscrit de théorie et de langage de benchmark. Sa principale importance réside dans :

• Fournir un Langage d'Audit Formel : Il offre un cadre rigoureux pour séparer la « géométrie » de l'« ingénierie » dans les optimiseurs, permettant aux chercheurs de quantifier quelle part d'une mise à jour est géométriquement explicable versus ce qui repose sur la mémoire, le bruit ou les transformations de cible.
• Redéfinir la Conception d'Optimiseurs : Il déplace l'attention de la recherche d'un optimiseur universel vers la résolution d'un problème d'optimisation de Pareto sur des budgets de ressources explicites (calcul, mémoire, appels d'oracle).
• Clarifier les Limites : Il établit que la géométrie positive définie complète est une « enveloppe d'expression » qui capture strictement les directions de descente, tandis que tous les autres comportements (momentum, projection, etc.) sont des mécanismes nongéométriques structurellement distincts.

Les auteurs déclarent explicitement que le papier ne prétend pas atteindre des performances de pointe à grande échelle. Les résultats expérimentaux sont de petite échelle et diagnostiques, destinés à illustrer l'utilité du calcul pour attribuer le comportement de l'optimiseur plutôt qu'à rivaliser avec des baselines optimisées comme AdamW, Lion ou Shampoo sur des benchmarks modernes de vision ou de langage.