🤖 machine learning

Rethinking Bregman Divergences in Kronecker-Factored Optimizers

Cet article analyse comment différentes divergences de Bregman répartissent les erreurs d'approximation de Kronecker à travers le spectre de covariance, révélant que les sous-espaces propres supérieurs sont fiables tandis que la queue est bruitée, ce qui motive un nouvel optimiseur sensible aux sous-espaces combinant un préconditionnement basé sur les valeurs propres avec une accélération isotrope adaptative.

Auteurs originaux : Bing Liu, Wenjie Zhou, Chengcheng Zhao

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bing Liu, Wenjie Zhou, Chengcheng Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Naviguer dans une montagne embrumée

Imaginez que vous essayiez de guider un robot massif et lourd (un modèle d'IA) le long d'une montagne pour trouver la vallée la plus basse (la meilleure performance possible). Le robot est trop gros pour tourner sur un coup de patte, il a donc besoin d'une carte pour lui indiquer quel chemin est "en bas".

Dans le monde de l'IA, cette carte s'appelle un préconditionneur. Elle indique au robot la pente du terrain dans chaque direction afin qu'il puisse prendre la taille de pas parfaite.

Le problème ? La montagne est immense, et dessiner une carte parfaite et détaillée de chaque rocher et de chaque caillou est impossible et trop lent. C'est pourquoi les ingénieurs utilisent un raccourci : ils approchent la carte en utilisant une structure « factorisée par produit de Kronecker ». Considérez cela comme une tentative de décrire un paysage 3D complexe en ne regardant que deux tranches 2D distinctes (comme regarder une ombre de côté et une ombre de face) et en les combinant.

Le problème : L'« ombre » n'est pas parfaite

Les auteurs soulignent une faille fondamentale dans ce raccourci : l'ombre ne correspond jamais parfaitement à l'objet réel.

Parce que la montagne réelle (les données) est complexe, vous ne pourrez jamais reconstruire parfaitement l'objet à partir de seulement deux tranches 2D. Il y aura toujours une « erreur d'approximation » — des parties de la carte qui sont légèrement erronées.

Pendant longtemps, les chercheurs ont pensé que toutes ces méthodes de raccourcis étaient fondamentalement les mêmes, utilisant simplement des formules mathématiques légèrement différentes (appelées divergences de Bregman) pour mesurer à quel point l'ombre était « fausse ». Le papier pose la question suivante : Si nous ne pouvons pas obtenir une carte parfaite, est-ce que cela importe quelle formule nous utilisons pour mesurer l'erreur ?

La découverte : Différentes formules, différents angles morts

Les auteurs ont découvert que oui, cela importe beaucoup. Différentes formules traitent les « erreurs » de la carte de manière différente :

Frobenius (Le fan de la « vue d'ensemble ») : Cette formule se soucie principalement des caractéristiques majeures et évidentes de la montagne (les grands sommets et les vallées profondes). Elle ignore les petits cailloux. C'est comme un cartographe qui ne dessinerait que les grandes autoroutes et ignorerait les rues secondaires.
LogDet (Le « microscope ») : Cette formule est obsédée par les détails minuscules. Elle devient très sensible aux petites parties bruitées de la carte. Elle essaie de corriger chaque petit caillou, même si ce caillou n'est qu'un rocher aléatoire qui ne représente pas la forme réelle de la montagne.
von Neumann (Le « juste milieu ») : Elle se situe quelque part entre les deux, se souciant des grandes caractéristiques mais sans être aussi agressive que la première.

L'idée clé : Les auteurs ont découvert que les « grandes caractéristiques » (le haut du spectre des données) s'alignent généralement bien avec la forme réelle de la montagne (l'Hessienne). Cependant, les « détails minuscules » (le bas du spectre) sont souvent du bruit — du statique aléatoire qui n'aide pas réellement le robot à naviguer.

Si vous utilisez l'approche du « Microscope » (LogDet), vous finissez par essayer de diriger le robot en vous basant sur du bruit aléatoire, ce qui le fait vaciller et ralentit ses mouvements. Si vous utilisez l'approche de la « Vue d'ensemble » (Frobenius), vous vous concentrez sur les parties fiables.

La solution : L'optimiseur « conscient de l'espace de sous-vecteurs »

Au lieu d'essayer de corriger toute la carte avec une seule formule, les auteurs proposent une nouvelle stratégie appelée BregTop. Ils divisent la carte en deux zones :

La zone de « haute confiance » (Haut du spectre) :
- Ce que c'est : Les grandes caractéristiques claires de la montagne.
- Stratégie : Utiliser une carte précise, basée sur les valeurs propres, ici. Cela indique au robot exactement comment tourner et à quelle vitesse avancer en fonction du terrain réel.
- Analogie : C'est comme utiliser un GPS avec une imagerie satellite haute définition pour les autoroutes principales.
La zone « bruyante » (Bas du spectre) :
- Ce que c'est : Les détails minuscules et peu fiables qui sont principalement du statique.
- Stratégie : Arrêtez d'essayer de cartographier ces détails ! À la place, donnez simplement au robot une poussée constante et uniforme. N'essayez pas de contourner chaque petit caillou ; avancez simplement à une vitesse constante.
- Analogie : C'est comme conduire à travers un champ de brouillard où l'on ne voit pas le sol. Au lieu d'essayer d'esquiver chaque rocher invisible, vous continuez simplement à avancer droit devant vous à une vitesse sûre et constante.

Les résultats

Les auteurs ont testé cette nouvelle « stratégie divisée » (BregTop) contre les anciennes méthodes (comme le standard Shampoo et ses variantes) sur une tâche d'entraînement de modèle de langage.

Le résultat : La nouvelle méthode a atteint la performance cible plus rapidement (en moins d'étapes) que les autres.
Pourquoi : En faisant confiance aux données fiables de la « vue d'ensemble » et en ignorant les « détails minuscules » et bruyants, le robot n'a pas gaspillé d'énergie à vaciller. Il a descendu la montagne de manière plus efficace.

Résumé

Le papier soutient que lorsque nous ne pouvons pas cartographier parfaitement le monde complexe des données d'IA, nous ne devrions pas essayer de corriger chaque petite erreur. Au lieu de cela, nous devrions :

Faire confiance aux schémas clairs et importants.
Ignorer les détails bruyants et peu fiables en les traitant de manière simple et uniforme.

Cette approche consistant à « savoir ce qu'il faut croire et ce qu'il faut ignorer » conduit à un entraînement de l'IA plus rapide et plus efficace.

Résumé Technique : Repenser les Divergences de Bregman dans les Optimiseurs à Facteurs de Kronecker

Énoncé du Problème
Les optimiseurs de type Shampoo approximent la matrice de covariance du gradient $C = E[\text{vec}(G)\text{vec}(G)^\top]$ en utilisant une structure factorisée par Kronecker $L \otimes R$ afin de réduire la complexité computationnelle. Des travaux récents (Lin et al., 2026) ont unifié diverses variantes de Shampoo en les formulant comme des problèmes de minimisation de divergences de matrices de Bregman entre $C$ et $L \otimes R$ . Cependant, une lacune critique subsiste : pour des matrices de covariance denses génériques, la factorisation de Kronecker exacte est impossible, ce qui signifie qu'une erreur d'approximation est inévitable. Il n'est pas clair comment les différentes divergences de Bregman distribuent cette erreur à travers le spectre de la covariance et si les préconditionneurs résultants font confiance de manière égale à toutes les parties du spectre. De plus, puisque la covariance du gradient diffère souvent considérablement de la véritable Hessienne, toutes les composantes spectrales ne sont pas adaptées au préconditionnement. La question centrale abordée est la suivante : lorsque la correspondance exacte de Kronecker est impossible, quelles parties du spectre de la covariance l'optimiseur structuré doit-il approximer et suivre ?

Méthodologie et Analyse
Les auteurs abordent ce problème à travers deux prismes analytiques principaux : la géométrie spectrale des approximations de Bregman et la fiabilité empirique des espaces propres de la covariance.

Géométrie Spectrale de l'Approximation de Bregman :
L'article caractérise la manière dont les divergences de Frobenius, de von Neumann et LogDet pénalisent différemment les erreurs d'approximation. En décomposant la divergence en termes de spectre marginal et en un terme de couplage spectral croisé $g_F(\lambda_i, \omega_j)$ , les auteurs montrent que :
- Divergence de Frobenius : Le terme de couplage $-\lambda_i \omega_j$ impose une pénalité de magnitude bilinéaire, mettant fortement l'accent sur le haut du spectre (grandes valeurs propres).
- Divergence de von Neumann : Le terme $-\lambda_i \log \omega_j$ conserve une préférence pour le haut du spectre mais l'atténue de manière logarithmique.
- Divergence LogDet : Le terme $\lambda_i / \omega_j$ crée une distorsion de ratio relatif, rendant l'approximation hautement sensible aux petites valeurs propres (le spectre de la queue).
Le Théorème 2 établit que les points stationnaires de ces problèmes de minimisation ne sont pas déterminés par le résidu brut $(S^* - C)$ , mais par un résidu pondéré par la divergence $\nabla^2 F(S^*)[S^* - C]$ . Par conséquent, les facteurs de Kronecker résultants s'alignent sur les préférences spectrales spécifiques de la divergence choisie (par exemple, les facteurs LogDet sont plus sensibles aux petites valeurs propres, tandis que les facteurs de Frobenius se concentrent sur les sous-espaces dominants).
Fiabilité Spectrale du Préconditionnement de la Covariance :
Les auteurs étudient empiriquement l'alignement entre la covariance du gradient et les espaces propres de la Hessienne sur un modèle Transformer entraîné sur SST-2. Les résultats (Tableau 3) indiquent que le haut de l'espace propre de la covariance est nettement mieux aligné avec la Hessienne que les composantes de plus faibles valeurs propres. On observe que le spectre de la queue est plus bruité et moins fiable pour le préconditionnement, ce qui est cohérent avec les travaux antérieurs (Kunstner et al., 2019 ; Thomas et al., 20 20).
Solution Proposée : Optimiseur de Kronecker Sensible au Sous-Espace (BregTop) :
Motivés par le décalage entre les préférences spectrales induites par la divergence et la fiabilité réelle du spectre, les auteurs proposent BregTop. Cet optimiseur combine les forces de ces deux observations :
- Il sélectionne les facteurs de Kronecker en utilisant une divergence sensible au haut du spectre (par exemple, von Neumann ou Frobenius).
- Il applique un préconditionnement basé sur les valeurs propres uniquement au sein du haut sous-espace (les $\lceil \rho mn \rceil$ plus grandes entrées du spectre conjoint de Kronecker).
- Il traite le sous-espace inférieur complémentaire avec une constante d'accélération isotrope adaptative ( $\chi_{\rho, q}$ ), plutôt que de tenter de préconditionner la queue bruitée avec des informations de courbure potentiellement trompeuses.
Théoriquement, cela décompose le préconditionneur en une composante de haut niveau mise à l'échelle par la courbure et une composante d'accélération uniforme pour l'espace inférieur (Théorème 4).

Contributions Clés

Caractérisation de la Géométrie Spectrale : L'article fournit une caractérisation formelle de la manière dont les divergences de Frobenius, de von Neumann et LogDet induisent des pénalités dépendantes des valeurs propres, montant que les facteurs de Kronecker stationnaires sont régis par des résidus pondérés par la divergence plutôt que par des erreurs brutes.
Fiabilité Spectrale Empirique : Le travail démontre que, bien que le spectre complet de la covariance soit peu fiable pour le préconditionnement, le haut de l'espace propre maintient un fort alignement avec la Hessienne, justifiant une approche sensible au sous-espace.
Conception d'Optimiseur Sensible au Sous-Espace : Les auteurs introduisent BregTop, un algorithme qui bascule de manière adaptative entre une mise à l'échelle basée sur les valeurs propres dans le haut sous-espace fiable et une accélération isotrope dans le bas sous-espace bruité.

Résultats Expérimentaux
Les auteurs ont évalué BregTop par rapport aux standards Shampoo, KL-Shampoo, VN-Shampoo et F-Shampoo sur un Transformer à 4 couches entraîné sur l'ensemble de données complet SST-2. La métrique utilisée était le nombre d'étapes nécessaires pour que la perte d'entraînement lissée par EMA tombe en dessous de 0,05.

BregTop-VN-v2 a atteint la perte cible en 1003 étapes, surpassant le Shampoo standard (1119 étapes) et la référence VN-Shampoo (1127 étapes).
Les variantes de BregTop ont systématiquement amélioré leurs bases de divergence respectives (par exemple, BregTop-VN a surpassé VN-Shampoo ; BregTop-F a surpassé F-Shampoo), validant le bénéfice de l'isolement du haut sous-espace pour le préconditionnement.

Signification et Revendications
L'article soutient que la conception des optimiseurs structurés doit tenir compte de l'erreur d'approximation inévitable dans la factorisation de Kronecker et de la fiabilité variable du spectre de la covariance. En reconnaissant que les différentes divergences de Bregman privilégient intrinsèquement différentes régions spectrales, et que seul le haut du spectre est fiablement aligné avec la Hessienne, l'approche sensible au sous-espace proposée offre une stratégie de préconditionnement plus robuste. Les auteurs notent que leur conception est cohérente avec la dynamique d'entraînement observée chez Song et al. (2025), où l'apprentissage se produit dans le bas sous-espace ; ainsi, l'application d'une accélération isotrope dans celui-ci préserve le flux de gradient nécessaire tout en atténuant les mises à jour bruitées dans les directions de haute courbure via le préconditionnement du haut sous-espace. Les résultats suggèrent que cette approche hybride améliore l'efficacité des étapes sans nécessiter d'information de second ordre complète.