🤖 machine learning

FOAM: Frequency and Operator Error-Based Adaptive Damping Method for Reducing Staleness-Oriented Error for Shampoo

Cet article introduit FOAM, une méthode d'amortissement adaptatif qui ajuste dynamiquement le facteur d'amortissement et la fréquence de décomposition en valeurs propres en fonction de l'erreur orientée vers la vétusté afin d'atténuer l'instabilité numérique et la dégradation des performances causées par les mises à jour de préconditionneurs obsolètes dans l'optimiseur Shampoo, réduisant ainsi le temps d'entraînement en temps réel tout en maintenant une convergence robuste.

Auteurs originaux : Kyunghun Nam, Sumyeong Ahn

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kyunghun Nam, Sumyeong Ahn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la « Carte Obsolète »

Imaginez que vous essayez de naviguer dans une immense chaîne de montagnes embrumées (cela représente l'entraînement d'un grand modèle d'IA). Pour atteindre le bas rapidement, vous avez besoin d'une carte qui montre la déclivité du terrain afin de savoir dans quelle direction poser le pied.

L'algorithme Shampoo est un navigateur très intelligent. Il ne se contente pas de regarder le sol sous vos pieds ; il calcule une carte 3D complexe de la forme de toute la montagne (en utilisant ce qu'on appelle l'« inversion de matrice ») pour prendre les pas les plus efficaces possibles. Cela le rend incroyablement rapide pour trouver le bas.

Cependant, il y a un piège : Calculer cette carte 3D parfaite, c'est comme embaucher une équipe de géomètres pour gravir chaque sommet et mesurer chaque angle. Cela demande énormément de temps et d'énergie (puissance de calcul). Si vous faites cela à chaque étape, votre voyage devient douloureusement lent.

L'ancienne solution (Stale Shampoo / Shampoo obsolète) : Pour gagner du temps, les praticiens ont décidé de ne plus mettre à jour la carte aussi souvent. Ils calculaient la carte parfaite une fois, puis utilisaient cette même carte « obsolète » pour les 30 ou 50 étapes suivantes.

Le bon côté : C'est beaucoup plus rapide car vous n'embauchez pas constamment des géomètres.
Le mauvais côté : La montagne change au fur et à mesure que vous avancez. La carte devient « obsolète ». Finalement, la carte est si erronée que vous pourriez tomber dans un précipice (instabilité numérique) ou errer en cercles (convergence lente).

La découverte de l'article : L'« Amortisseur »

Les auteurs de cet article ont réalisé que le problème n'est pas seulement que la carte est vieille ; c'est que l'utilisation d'une carte obsolète crée un type d'erreur spécifique qui rend l'IA instable.

Ils ont découvert une solution : l'Amortissement (Damping).
Considérez l'amortissement comme un amortisseur sur une voiture.

Si vous roulez sur une route cahoteuse (en utilisant une carte obsolète), une voiture sans amortisseurs rebondira sauvagement et se brisera.
Un amortisseur (damping) lisse la course, vous permettant de continuer à conduire même sur une route accidentée.

L'intuition : Vous pouvez utiliser une carte obsolète si vous ajustez correctement les amortisseurs. Mais voici la partie délicate :

Si les amortisseurs sont trop faibles, la voiture s'écrase (instabilité).
Si les amortisseurs sont trop puissants, la voiture avance si lentement et si rigidement que vous n'arrivez jamais nulle part (perte d'efficacité de l'apprentissage).

La solution : FOAM (Le Régulateur de Vitesse Intelligent)

L'article propose une nouvelle méthode appelée FOAM (Frequency and Operator Error-Based Adaptive Damping Method — Méthode d'amortissement adaptatif basée sur l'erreur de fréquence et d'opérateur).

Au lieu d'utiliser un calendrier fixe (comme « mettre à jour la carte toutes les 30 étapes ») et un réglage d'amortisseur fixe, FOAM agit comme un système de régulateur de vitesse intelligent qui surveille constamment la route.

Voici comment cela fonctionne en trois étapes simples :

Le Capteur (Proxy d'erreur) : FOAM possède un capteur peu coûteux et rapide qui vérifie à quel point la carte est devenue « obsolète ». Il n'a pas besoin d'embaucher toute l'équipe de géomètres (ce qui est coûteux) pour vérifier cela ; il regarde simplement quelques indices pour estimer l'erreur.
L'Ajusteur (Amortissement Adaptatif) :
- Si le capteur dit : « Hé, la carte devient très vieille et dangereuse ! », FOAM resserre automatiquement les amortisseurs (augmente l'amortissement) pour maintenir la stabilité de la voiture.
- Si le capteur dit : « La route est encore lisse », FOAM desserre les amortisseurs (diminue l'amortissement) pour que la voiture puisse accélérer et apprendre plus vite.
Le Déclencheur (Rafraîchissement Intelligent) :
- Si la route devient trop accidentée et que les amortisseurs ne peuvent plus gérer la situation, FOAM sait qu'il est temps d'embaucher à nouveau les géomètres. Il déclenche une mise à jour complète de la carte (décomposition en valeurs propres) uniquement quand cela est absolument nécessaire.

Pourquoi cela importe

L'article démontre que FOAM est meilleur que l'ancienne méthode « Stale Shampoo » de deux manières principales :

C'est plus rapide : Comme il ne met à jour la carte coûteuse que lorsque le capteur indique que c'est vraiment nécessaire, il gagne un temps massif (temps de calcul réel/wall-clock time). Dans leurs tests, cela a considérablement réduit le temps nécessaire pour entraîner des modèles sur des images (ViT) et de la parole (Conformer).
C'est plus sûr : En ajustant constamment l'amortissement, il empêche l'IA de s'écraser dans l'instabilité numérique, même en utilisant des cartes obsolètes.

Analogie de synthèse

L'ancienne méthode : Vous conduisez une voiture avec un GPS défectueux. Vous vérifiez la carte toutes les 30 minutes. Parfois, vous tombez dans un précipice parce que la carte était trop vieille. Parfois, vous avancez trop lentement parce que vous avez peur de bouger.
La méthode FOAM : Vous avez une voiture avec un système de suspension intelligent et un tableau de bord avec un voyant d'alerte.
- Le tableau de bord vérifie l'état de la route instantanément.
- Si la route est cahoteuse, la suspension se rigidifie automatiquement pour vous garder en sécurité.
- Si la route est lisse, la suspension s'assouplit pour que vous puissiez rouler vite.
- Vous ne vous arrêtez pour obtenir une nouvelle carte que lorsque le voyant de votre tableau de bord devient rouge.

Le résultat : Vous atteignez votre destination (le modèle d'IA optimal) plus rapidement et sans accident, en utilisant moins de carburant (ressources de calcul).

Résumé Technique : FOAM pour la réduction de l'erreur orientée vers la vétusté dans Shampoo

1. Énoncé du Problème

L'optimiseur Shampoo est reconnu pour ses performances supérieures sur les benchmarks d'optimisation à grande échelle grâce à sa capacité à capturer les corrélations entre paramètres au sein d'une couche via des statistiques de second moment factorisées par produit de Kronecker. Cependant, son application pratique est entravée par un goulot d'étranglement computationnel important : le coût prohibitif du calcul des racines $p$ -ièmes inverses des facteurs de Kronecker, qui nécessite des décompositions en valeurs propres (EVD) coûteuses.

Pour atténuer cela, les praticiens utilisent généralement un Shampoo vétuste (stale Shampoo), où ces opérations coûteuses sont effectuées à un intervalle fixe et peu fréquent plutôt qu'à chaque itération. Bien que cela améliore l'efficacité computationnelle, cela introduit de la vétusté (staleness) — un retard dans la mise à jour des préconditionneurs. L'article identifie que la vétusté n'est pas seulement un problème de vitesse de convergence, mais une menace fondamentale pour la stabilité de l'entraînement. Plus précisément, les erreurs induites par la vétusté dégradent la robustesse numérique et peuvent mener à une divergence catastrophique de l'entraînement. Les stratégies heuristiques existantes pour choisir les fréquences de rafraîchissement manquent de justification théorique et échouent souvent à équilibrer les économies de calcul avec la nécessité de la stabilité numérique.

2. Méthodologie : FOAM

Les auteurs proposent FOAM (Frequency and Operator Error-Based Adaptive Damping Method), un algorithme adaptatif conçu pour stabiliser l'entraînement en contrôlant dynamiquement à la fois le facteur d'amortissement ( $\epsilon$ ) et la fréquence de décomposition en valeurs propres en se basant sur une approximation de l'erreur orientée vers la vétusté.

Fondement Théorique

Le travail établie un lien théorique entre la vétusté, la convergence et la stabilité :

Écart d'Opérateur (Operator Gap) : La vétusté crée un écart (écart d'opérateur) entre le préconditionneur frais idéal et son équivalent vétuste. Il est démontré que cet écart est inversement proportionnel au facteur d'amortissement $\epsilon$ et directement proportionnel à la période de rafraîchissement $f$ .
Borne de Regret : L'analyse théorique du regret décompté révèle un compromis : si l'augmentation de $\epsilon$ supprime l'instabilité induite par la vétusté, un $\epsilon$ excessivement grand masque les informations de préconditionnement utiles, dégradant l'efficacité de l'apprentissage.
L'Amortissement comme Stabilisateur : L'amortissement agit comme un stabilisateur numérique critique. L'article démontre que $\epsilon$ doit être méticuleusement calibré pour contrebalancer la sensibilité de la carte de l'inverse de la racine, qui devient hypersensible lorsque $\epsilon \to 0$ .

Mécanisme Algorithmique

FOAM fonctionne via une boucle de contrôle par rétroaction qui évite les EVD inutiles tout en maintenant la stabilité. La règle de mise à jour des facteurs de Kronecker implique trois phases :

Détection (Proxy d'Erreur) : Au lieu de calculer une EVD fraîche pour évaluer le véritable écart d'opérateur, FOAM utilise un proxy d'erreur ( $h_t$ ) peu coûteux en calcul. Ce proxy estime l'écart relatif de l'opérateur de la racine inverse en utilisant les espaces propres vétustes et la dérive actuelle des statistiques. Il est dérivé de la théorie de la perturbation des matrices et cible spécifiquement la sensibilité des directions du bas du spectre, qui sont les plus sujettes à l'amplification par la carte de l'inverse de la racine.
Adaptation (Amortissement Dynamique) : Sur la base du proxy $h_t$ $h_{t}$ , FOAM ajuste dynamiquement le facteur d'amortissement $\epsilon_t$ $ϵ_{t}$ .
- Si l'erreur estimée dépasse un seuil $\tau$ , $\epsilon_t$ est augmenté de manière multiplicative pour supprimer l'écart d'opérateur et restaurer la stabilité.
- Si l'erreur est faible, $\epsilon_t$ est relâché vers une valeur de base $\epsilon_0$ pour préserver la force du préconditionnement.
Contrôle de Fréquence (Rafraîchissement Déclenché) : Une limite d'amortissement maximale ( $\epsilon_{\max}$ ) est imposée. Tant que l'amortissement requis reste inférieur à cette limite, FOAM réutilise les statistiques anciennes. Cependant, si l'erreur devient si grande que l'amortissement requis dépasserait $\epsilon_{\max}$ , FOAM déclenche un rafraîchissement complet de l'EVD, réinitialise $\epsilon$ à $\epsilon_0$ et met à jour le préconditionneur. Cela garantit que les mises à jour coûteuses ne se produisent que lorsque l'amortissement seul est insuffisant pour maintenir la stabilité.

3. Contributions Clés

Insight Théorique : L'article est le premier à démontrer théoriquement que l'amortissement agit comme un stabilisateur numérique spécifiquement pour contrebalancer les effets négatifs inhérents de la vétusté dans l'optimisation. Il établit que la vétusté entrave simultanément la vitesse de convergence et dégrade la robustesse numérique.
Algorithme Adaptatif (FOAM) : Les auteurs proposent un algorithme qui régule dynamiquement le facteur d'amortissement pour améliorer la stabilité numérique. Contraقirement aux heuristiques statiques, FOAM augmente l'amortissement de manière adaptative à mesure que la vétusté augmente, mais module précisément ces valeurs pour éviter les effets secondaires du sur-amortissement (perte d'information de préconditionnement).
Construction du Proxy d'Erreur : Le travail introduit un proxy d'erreur traçable dérivé de la théorie de la perturbation des matrices qui estime l'écart relatif de l'opérateur de la racine inverse sans nécessiter une décomposition complète en valeurs propres, permettant une surveillance de la stabilité en temps réel.

4. Résultats Expérimentaux

Le cadre a été validé sur des benchmarks à grande échelle à travers trois modalités :

Vision : Classification ImageNet-1K utilisant un Vision Transformer (ViT-small).
Parole : Reconnaissance automatique de la parole (ASR) sur LibriSpeech utilisant une architecture Conformer.
Langage : Modélisation de langage sur Wikitext-103-v1 utilisant GPT-2.

Principales Conclusions :

Efficacité en Temps de Calcul (Wall-Clock) : FOAM atteint systématiquement des accélérations significatives du temps de calcul par rapport au standard stale Shampoo. Dans les expériences ViT, la fréquence des appels EVD a été réduite d'environ 80–90 % (tombant à ~10 % pour le facteur gauche et ~5 % pour le facteur droit) tout en maintenant ou en améliorant la convergence.
Qualité de la Convergence : FOAM atteint une perte d'entraînement plus faible et une précision de validation plus élevée (ou un taux d'erreur de mots plus faible) en moins de temps par rapport aux bases vétustes.
Robustesse : Les gains de performance ont été cohérents sur une large gamme de réglages d'hyperparamètres (fréquence de rafraîchissement $f$ , seuil $\tau$ et limites d'amortissement), démontrant que la méthode n'est pas dépendante d'une configuration unique ajustée.
Études d'Ablation : Les expériences ont confirmé que la synergie entre l'amortissement adaptatif et les rafraîchissements EVD sélectifs est essentielle. L'utilisation de l'amortissement adaptatif seul sans rafraîchissements entraînait des temps de calcul élevés, tandis que l'augmentation de l'intervalle de rafraîchissement sans amortissement adaptatif causait une augmentation significative de la perte d'entraînement due à la dérive spectrale non mitigée.

5. Signification et Revendications

L'article affirme que FOAM comble le fossé entre les trajectoires d'optimisation supérieures des méthodes de type Shampoo et l'efficacité pratique requise pour l'apprentissage profond à grande échelle. En découplant la détection spectrale des rafraîchissements coûteux via un contrôleur de rétroaction piloté par l'erreur, FOAM résout le goulot d'étranglement computationnel de l'optimisation préconditionnée.

Les auteurs soulignent que leur approche :

Améliore l'Efficacité des Ressources : En accélérant la convergence et en réduisant la fréquence des opérations EVD coûteuses, la méthode contribue à réduire la consommation d'énergie et l'empreinte carbone de l'entraînement des grands modèles.
Renforce la Fiabilité de l'Entraînement : En fournissant une base théorique pour gérer la vétusté de la courbure via l'amortissement adaptatif, la méthode atténue le risque de divergence catastrophique lors des sessions d'entraînement gourmandes en ressources, rendant les techniques d'optimisation sophistiquées plus accessibles et stables.

Le travail conclut que FOAM maintient avec succès une convergence robuste et une stabilité numérique tout en réduisant considérablement la surcharge computationnelle associée à l'inversion de matrice dans Shampoo, offrant une solution pratique pour l'échelle des méthodes d'optimisation de type second ordre.