🤖 machine learning

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

L'article propose M+Adam, un nouvel optimiseur qui combine des mises à jour additives et multiplicatives pour surmonter les modes de défaillance complémentaires de l'entraînement en basse précision, permettant ainsi un entraînement stable et précis de modèles de type LLaMA en utilisant uniquement des poids maîtres en BF16, FP8 et FP4.

Auteurs originaux : Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot géant et hyper-intelligent (un grand modèle de langage) à écrire comme un humain. Pour ce faire, vous devez ajuster des millions de petits curseurs sur le cerveau du robot. Habituellement, ces curseurs sont ajustés avec une précision extrême, comme si l'on utilisait un microscope pour tourner une vis. Mais les microscopes sont lourds, lents et coûteux.

La question posée par l'article est la suivante : Et si nous utilisions une clé à molette légère et bon marché à la place ?

C'est le monde de l'entraînement à faible précision. Au lieu d'utiliser des « poids maîtres » de haute précision (la mémoire du robot concernant les curseurs), les chercheurs tentent de les stocker dans un format plus petit et plus grossier comme BF16, FP8 ou même FP4. C'est comme essayer de mesurer la hauteur d'une montagne avec une règle qui n'a des graduations que tous les 3 mètres.

Le Problème : Le Piège de l'« Arrondi »

Les auteurs ont découvert que lorsque vous utilisez ces règles grossières, les méthodes d'entraînement standard (appelées Adam) se heurtent à un mur. En voici la raison :

Le Problème de la Grande Montagne : Lorsqu'un curseur est réglé sur un nombre énorme, les graduations de la « règle » sont très espacées. Si le robot doit déplacer le curseur d'un montant infime, la règle ne peut pas le voir. Ce minuscule mouvement est arrondi à zéro, et le robot pense : « Je n'ai rien bougé ! ». Le robot reste bloqué, incapable de gravir la montagne.
Le Problème de la Vallée du Zéro : D'autres méthodes ont tenté de corriger cela en utilisant des mises à jour multiplicatives (comme Madam). Au lieu d'ajouter un petit nombre, elles multiplient le curseur par un facteur. Cela fonctionne très bien pour les grandes montagnes car la taille du pas augmente avec le curseur. Cependant, si un curseur est bloqué exactement à zéro, vous ne pouvez pas le multiplier pour le faire bouger. C'est comme essayer de pousser une voiture qui n'a pas de roues ; multiplier zéro par n'importe quoi donne toujours zéro. De plus, si le curseur doit passer de positif à négatif (en traversant le zéro), ces méthodes s'embrouillent et ne peuvent pas effectuer le changement.

La Solution : M+Adam (Le Kit à Deux Outils)

L'article présente M+Adam, un nouvel optimiseur qui agit comme un mécanicien ingénieux transportant deux outils différents à la fois. Il combine le meilleur des deux mondes pour corriger les « modes de défaillance complémentaires ».

Outil 1 : La Clé Additive (Style Adam). Cet outil est excellent pour les ajustements petits et précis. Il peut pousser un curseur depuis zéro, changer le signe de positif à négatif, et gérer les mouvements minuscules près du fond de la vallée.
Outil 2 : Le Levier Multiplicatif (Style Madam). Cet outil est excellent pour les gros travaux de force. Lorsque le curseur est énorme et que la clé additive se fait « arrondir » à néant, le levier multiplicatif prend le relais. Il change l'échelle du curseur vers le haut ou vers le bas, garantissant que le robot continue de progresser, même sur les plus hautes montagnes.

M+Adam utilise les deux outils simultanément. Si l'outil additif est bloqué à cause de l'arrondi, l'outil multiplicatif maintient le mouvement du robot. Si l'outil multiplicatif ne peut pas échapper au zéro, l'outil additif le pousse dehors.

La Preuve : Est-ce que cela a fonctionné ?

Les auteurs ne se sont pas contentés de deviner ; ils ont testé cela à une échelle massive.

Le Test : Ils ont entraîné des modèles de langage de type « LLaMA » allant de 60 millions à 1 milliard de paramètres.
Le Budget : Ils ont utilisé des budgets d'entraînement allant de 1x à 8x le budget « Chinchilla » standard (une mesure standard de la quantité de données qu'un modèle voit).
La Précision : Ils ont testé avec des poids maîtres en BF16, FP8 et NVFP4.

Les Résultats :
Dans chaque test, M+Adam a systématiquement battu l'optimiseur Adam standard.

Dans le réglage de basse précision le plus extrême (NVFP4), M+Adam a réduit la « perplexité » (une mesure de la confusion du modèle) de 16,6 % pour le modèle de 350M par rapport à Adam.
Même avec 1 milliard de paramètres, M+Adam a montré des améliorations claires par rapport à Adam dans tous les régimes de précision.

L'article prouve mathématiquement que cette approche combinée garantit que la perte d'entraînement diminuera (une « descente monotone »), ce qui signifie que le robot apprend toujours et ne reste jamais bloqué dans une boucle.

Ce que ce n'est PAS

Il est important de savoir ce que cet article ne prétend pas :

Il ne dit pas que M+Adam est une solution miracle qui élimine tous les coûts de mémoire. En fait, l'article note que M+Adam ajoute un peu de mémoire supplémentaire (un « état » supplémentaire pour l'outil multiplicatif), bien qu'ils montrent que cela peut être compressé plus tard.
Il ne prétend pas que les méthodes standard comme l'Arrondi Stochastique (une technique pour corriger les erreurs d'arrondi) sont inutiles. Ils ont testé Adam avec l'Arrondi Stochastique, et M+Adam est resté plus performant.
Il ne suggère pas que nous devions arrêter d'utiliser entièrement le matériel de haute précision. Au contraire, il montre que si nous devons utiliser un stockage de faible précision, M+Adam est la bonne façon de le faire.

L'Essentiel

L'article suggère que lorsque vous êtes contraint d'utiliser des « règles grossières » (poids de faible précision) pour entraîner de gigantesques modèles d'IA, vous ne pouvez pas vous appuyer sur un seul type de mouvement. Vous avez besoin d'une approche hybride. M+Adam est cet hybride, utilisant à la fois des étapes additives et multiplicatives pour garantir que le robot ne reste jamais bloqué, qu'il grimpe une montagne géante ou qu'il s'échappe d'une vallée de zéro. C'est une étape fondamentale vers l'entraînement de modèles d'IA massifs de manière efficace, sans avoir besoin de la mémoire de haute précision lourde et coûteuse sur laquelle nous comptons habituellement.

Résumé Technique : M+Adam – Entraînement à Basse Précision via l'Optimisation Additive-Multiplicative

Énoncé du Problème

L'entraînement de grands modèles de langage (LLM) en pleine précision (FP32) entraîne des coûts importants en mémoire, en calcul et en énergie. Bien que les accélérateurs modernes prennent en charge des formats à précision réduite comme le BF16, le FP8 et le FP4, les pipelines d'entraînement standards conservent généralement des « poids maîtres » de haute précision (FP32) pour garantir la stabilité. L'entraînement direct avec des poids maîtres à basse précision entraîne souvent une dégradation de la précision et de l'instabilité.

Les auteurs identifient un mode de défaillance spécifique dans l'optimisation à basse précision : une résolution de quantification grossière aux grandes magnitudes de poids. Dans les systèmes à virgule flottante, l'espacement entre les valeurs représentables (bacs de quantification) augmente avec la magnitude du nombre. Par conséquent, les optimiseurs additifs standards (comme Adam) échouent souvent à progresser lorsque les magnitudes des poids sont grandes, car les étapes de mise à jour calculées tombent en dessous de l'étape de quantification locale et sont arrondies à zéro. Inversement, les optimiseurs purement multiplicatifs (comme Madam), qui mettent à l'échelle les poids par rapport à leur magnitude actuelle, échouent près de zéro ou lorsqu'un changement de signe est requis, car ils ne peuvent pas échapper à une initialisation exacte à zéro ou changer de signe efficacement.

Méthodologie : M+Adam

Le papier propose M+Adam, un nouvel optimiseur qui combine les forces complémentaires des mécanismes de mise à jour additive et multiplicative pour surmonter les limites de l'arithmétique à basse précision.

Mécanisme Central

M+Adam maintient deux branches de mise à jour parallèles qui sont combinées à chaque étape :

Branche Additive (style Adam) : Opère directement sur l'espace des poids. Elle calcule les moments de premier et second ordre du gradient ( $g$ ) pour produire une mise à jour additive $u^{(a)}$ . Cette branche est efficace pour gérer les petites magnitudes, échapper à l'initialisation à zéro et faciliter les changements de signe.
Branche Multiplicative (style Madam) : Opère sur l'échelle logarithmique (l'espace de l'exposant). Elle calcule le gradient par rapport à l'exposant, $g^{(e)} = (\ln 2) w_t g$ , et utilise des moments adaptatifs pour produire une mise à jour multiplicative relative $u^{(m)}$ . Cette branche assure la progression aux grandes magnitudes là où les mises à jour additives seraient arrondies à zéro.

La règle de mise à jour du poids est définie par :
$w_{t+1} = w_t + w_t u^{(m)}_t + u^{(a)}_t$
Cette structure permet à l'optimiseur d'effectuer des mises à jour relatives sensibles à l'échelle lorsque les magnitudes sont grandes (via le terme multiplicatif) tout en conservant la flexibilité de changer de signe et de mettre à jour les valeurs proches de zéro (via le terme additif).

Analyse Théorique

Les auteurs fournissent une garantie théorique pour M+Adam sous des hypothèses de lissage standard. Ils modélisent la mise à jour comme une opération « échelle-puis-addition » dans les coordonnées locales. Le Théorème 4.1 établit que si les taux d'apprentissage et les constantes de lissage satisfont des conditions spécifiques, la méthode assure une descente monotone ( $L(w_{t+1}) < L(w_t)$ ) à moins que le gradient ne soit nul. Cela prouve que la géométrie combinée est une stratégie d'optimisation valide.

Détails d'Implémentation

Support de Précision : La méthode est conçue pour le stockage des poids maîtres en BF16, FP8 et NVFP4.
Gestion de l'État : M+Adam introduit un état d'optimiseur supplémentaire (l'accumulateur du second moment pour la branche multiplicative). Les auteurs démontrent que cet état peut être compressé à l'aide d'approximations de bas rang (spécifiquement Apollo-E, une approximation de rang 4) pour minimiser l'empreinte mémoire, maintenant l'empreinte proche de celle d'un AdamW standard en BF16.
Absence de Arrondi Stochastique : Contrairement à certaines approches antérieures, M+Adam atteint la stabilité sans nécessiter d'arrondi stochastique (SR) ou d'accumulation compensée de type Kahan, bien qu'il soit compatible avec eux.

Principales Contributions

Identification des Modes de Défaillance Complémentaires : Le papier caractérise formellement les modes de défaillance des optimiseurs additifs (blocage aux grandes magnitudes dû à l'arrondi) et des optimiseurs multiplicatifs (blocage à zéro et incapacité à changer de signe), montant qu'ils sont complémentaires.
Algorithme M+Adam : Un nouvel optimiseur qui unifie ces deux géométries, fournissant une approche fondée sur des principes pour l'entraînement à basse précision sans poids maîtres FP32.
Garantie de Descente Théorique : Une preuve de descente monotone pour la règle de mise à jour additive-multiplicative combinée sous des hypothèses de lissage standard.
Validation Empirique à Grande Échelle : Expérimentations étendues sur des modèles de type LLaMA allant de 60M à 1B de paramètres à travers des budgets d'entraînement de 1 à 8× Chinchilla.

Résultats Expérimentaux

Les auteurs ont évalué M+Adam à travers diverses régimes de précision : BF16/BF16, BF16/FP8, FP8/FP8, et NVFP4/FP8.

Amélioration Constante : M+Adam a systématiquement surpassé les bases de référence AdamW ajustées à travers toutes les tailles de modèles et tous les régimes de précision.
Réductions de Perplexité : Dans le réglage de basse précision le plus agressif (NVFP4/FP8), M+Adam a réduit la perplexité de marges significatives par rapport à AdamW (par exemple, une amélioration de 16,6 % pour le modèle de 350M). Même dans l'entraînement BF16/BF16, M+Adam a réduit la perplexité de 2,8 % à 13,3 % selon la taille du modèle.
Robustesse : La méthode est restée stable sans arrondi stochastique. Elle a également surpassé AdamW combiné avec l'arrondi stochastique (AdamW+SR) et la compensation de Kahan.
Mise à l'Échelle : Les gains de performance ont persisté à mesure que le budget d'entraînement augmentait (jusqu'à 8× Chinchilla) et à mesure que la taille du modèle passait à 1 milliard de paramètres.
Efficacité Mémoire : En utilisant la technique de compression Apollo-E, l'état mémoire supplémentaire requis pour la branche multiplicative a été réduit, résultant en une empreinte d'état d'optimiseur légèrement plus grande que l'AdamW standard en BF16, tout en conservant la majeure partie des gains de perplexité.

Signification et Revendications

Le papier affirme que les mises à jour additives-multiplicatives combinées sont particulièrement utiles lorsque les poids maîtres à basse précision deviennent une source dominante d'erreur d'optimisation.

La signification de ce travail réside dans l'apport d'une solution fondée sur des principes à l'instabilité numérique de l'entraînement à basse précision. En alignant la géométrie de mise à jour de l'optimiseur avec la structure non uniforme des nombres à virgule flottante, M+Adam atténue les erreurs d'arrondi qui affectent les optimiseurs additifs standards aux grandes magnitudes et les problèmes de stagnation des optimiseurs multiplicatifs près de zéro.

Les auteurs concluent que M+Adam représente une étape vers un entraînement à basse précision de bout en bout qui ne repose pas sur des poids maîtres FP32. Cette capacité est cruciale pour exploiter le matériel d'IA moderne (Tensor Cores) optimisé pour le FP8 et le FP4, permettant potentiellement de réduire l'empreinte mémoire et les coûts énergétiques pour l'entraînement de modèles à grande échelle. Ce travail suggère que les futurs optimiseurs devraient être conçus en tenant compte des contraintes spécifiques de la représentation en virgule flottante, plutôt que de traiter la basse précision simplement comme un problème de quantification à résoudre par des techniques d'arrondi.