🤖 machine learning

Training nGPT

Cet article présente une recette d'entraînement pratique pour le Transformer normalisé (nGPT) qui incorpore des techniques telles que le Logit Gradient Preconditioning et GatedAdamW, permettant à des modèles MoE hybrides Mamba-Transformer de 14 milliards de paramètres d'atteindre la même perte de validation que leurs homologues non normalisés en utilisant environ la moitié des jetons d'entraînement.

Auteurs originaux : Ilya Loshchilov, Boris Ginsburg

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ilya Loshchilov, Boris Ginsburg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'intelligence artificielle comme une immense et trépidante bibliothèque où des ordinateurs tentent d'apprendre à écrire des histoires, à résoudre des problèmes mathématiques et à discuter comme des humains. Pour ce faire, ils utilisent des structures mathématiques spéciales appelées réseaux de neurones, qui sont comme de vastes réseaux interconnectés de neurones. À l'intérieur de ces réseaux, l'information circule sous forme de nombres, et le réseau apprend en ajustant la force des connexions entre ces neurones. Pendant longtemps, les scientifiques ont remarqué que ces nombres pouvaient devenir désordonnés — parfois trop grands, parfois réduits à néant, et tout le système pouvait s'embrouiller sur la direction à prendre pour devenir plus intelligent. C'est un peu comme essayer de monter une montagne escarpée et brumeuse en portant un sac à dos dont le poids change constamment ; vous pourriez faire un pas en avant, pour ensuite glisser immédiatement vers le bas. L'objectif de cette recherche est de trouver une meilleure façon de porter ce sac à dos afin que l'ordinateur puisse gravir la montagne de l'apprentissage beaucoup plus rapidement et plus efficacement.

Le document que vous allez lire provient de l'équipe de NVIDIA, dirigée par Ilya Loshchilov et Boris Ginsburg. Ils s'attaquent à un problème spécifique : comment rendre ces modèles d'IA plus performants en forçant tous leurs nombres internes à rester sur une sphère parfaite et invisible. Pensez à une règle qui dirait : « Peu importe la distance parcourue, vous devez toujours rester exactement à un mille du centre de la ville ». Cette règle, appelée « normalisation », empêche les nombres de devenir trop grands ou trop petits, ce qui aide l'ordinateur à rester concentré. Les auteurs se sont appuyés sur une idée précédente appelée « nGPT » (GPT normalisé) et l'ont testée sur un type d'IA très moderne et puissant qui mélange deux technologies différentes : « Mamba-2 » (qui est excellent pour se souvenir de longues séquences) et les « Transformers » (qui sont excellents pour comprendre le contexte). Ils voulaient voir si leurs nouvelles règles d'entraînement pouvaient permettre à ces modèles hybrides d'apprendre plus rapidement que la méthode standard.

La Grande Idée : Une Nouvelle Recette d'Entraînement

Les auteurs n'ont pas seulement peaufiné une chose ; ils ont concocté toute une nouvelle « recette d'entraînement » pour ces modèles d'IA. Imaginez que vous enseigniez à un robot comment marcher. L'ancienne méthode (utilisant une méthode standard appelée AdamW) revient à laisser le robot trébucher, faisant parfois des pas géants et maladroits et d'autres fois des pas minuscules et hésitants, tout en espérant qu'il finisse par trouver le chemin. La nouvelle recette, qu'ils appellent la recette d'entraînement nGPT, revient à placer le robot sur un tapis roulant avec un ensemble de règles très spécifiques pour que ses pas soient parfaits.

Voici comment ils ont procédé, décomposé en concepts simples de la vie quotidienne :

1. Le « Logit Gradient Preconditioning » (Le Bouton de Volume)
Lorsque l'IA essaie de deviner le mot suivant dans une phrase, elle produit une liste de scores appelés « logits ». Dans l'ancien système, le volume de ces scores pouvait devenir étrangement fort ou faible au fil de l'entraînement, confondant le robot sur l'intensité de l'effort à fournir. Les auteurs ont ajouté un « bouton de volume » spécial (un vecteur d'échelle apprenable) qu'ils pouvaient ajuster. Mais voici la partie astucieuse : ils ont réalisé que s'ils se contentaient de tourner le bouton, cela perturberait la mémoire de marche du robot. Ils ont donc inventé un tour appelé Logit Gradient Preconditioning. C'est comme avoir un bouton de volume qui change le son que vous entendez, mais quand le robot essaie d'apprendre d'une erreur, le système ramène automatiquement le volume à la normale pour que le robot ne soit pas confus. Cela maintient le processus d'apprentissage stable, même si l'« intensité » des prédictions change.

2. Le « Logarithmic Learning Rate Decay » (Le Pilote de Course)
Habituellement, lors de l'entraînement d'une IA, on commence avec une vitesse d'apprentissage rapide et on la ralentit progressivement, comme un pilote de course de voitures qui relâche la pédale d'accélérateur. Les auteurs ont découvert que la méthode standard de ralentissement (comme une courbe fluide) n'était pas la meilleure pour leur nouveau système de « sphère ». Au lieu de cela, ils ont utilisé un « Logarithmic Learning Rate Decay ». Imaginez une voiture de course qui bondit au départ, ralentit très rapidement au début pour prendre ses marques, puis poursuit sur une longue traîne constante pour le reste de la course. Ce programme « chargé à l'avant » permet au modèle d'apprendre les bases rapidement, puis de perfectionner ses compétences sur une longue période, ce qui s'est avéré beaucoup plus efficace.

3. « GatedAdamW » (Le Gardien Intelligent)
La méthode standard pour mettre à jour le cerveau du robot est appelée AdamW. Les auteurs l'ont améliorée en GatedAdamW. Considérez la méthode standard comme un gardien qui laisse passer chaque mise à jour, même si celle-ci est minuscule et à peine perceptible. Parfois, ces mises à jour ne sont que du bruit. Le nouveau GatedAdamW possède un « portier intelligent » qui examine chaque mise à jour. Si une mise à jour est trop petite (comme un murmure), le gardien dit doucement : « Pas aujourd'hui », et la bloque. Si la mise à jour est un cri (un changement significatif), la porte s'ouvre largement. Cela empêche le robot de gaspiller de l'énergie dans des ajustements minuscules et inutiles et l'aide à se concentrer sur les changements importants.

4. L' « Angular Step Cap » (La Laisse de Sécurité)
Puisque le robot marche sur une sphère, faire un pas trop grand pourrait le faire partir en tête et le faire basculer du mauvais côté du monde. Les auteurs ont ajouté un « Angular Step Cap », qui est comme une laisse de sécurité. Si le robot tente de faire un pas trop grand, la laisse le ramène doucement vers un angle plus petit et plus sûr. Cela garantit que le robot ne fera jamais de saut sauvage et dangereux, maintenant son voyage fluide et stable.

Les Résultats : Apprendre plus Efficacement

L'équipe a testé cette nouvelle recette sur une série de modèles d'IA, allant de 1 à 14 milliards de paramètres (la « taille du cerveau » du robot). Ils ont comparé leurs nouveaux modèles nGPT aux modèles GPT standards entraînés avec les anciennes méthodes.

Les résultats ont été impressionnants. Les nouveaux modèles nGPT ont systématiquement obtenu des taux d'erreur plus faibles (mesurés par la « validation loss ») que les modèles standards. Plus précisément, le modèle nGPT de 14 milliards de paramètres a atteint le même niveau de compétence que le modèle standard de 14 milliards, mais a nécessité environ la moitié de jetons d'entraînement (la quantité de texte que le modèle lit) pour y parvenir. En d'autres termes, pour atteindre la même destination, le modèle nGPT n'a eu besoin de lire environ la moitié du texte par rapport au modèle standard.

L'article suggère que cette amélioration provient de la combinaison de toutes ces nouvelles règles travaillant ensemble, et non d'un seul tour de magie. Ils ont également testé un réglage spécifique pour leur « portier intelligent » (appelé paramètre de netteté $a$ ) et ont constaté qu'un portier plus souple ( $a=0.5$ ) fonctionnait légèrement mieux qu'un portier strict, mais la plus grande victoire est venue de l'ensemble du nouveau système d'entraînement, et non seulement du portier lui-même.

Ce que cela signifie

Les auteurs précisent avec prudence qu'ils n'ont pas essayé toutes les variations possibles de ces règles (ils n'ont pas fait une « étude d'ablation complète »), il se peut donc qu'il existe de meilleurs réglages qu'ils n'ont pas encore trouvés. Cependant, les résultats qu'ils ont obtenus sont solides : en forçant l'IA à marcher sur une sphère parfaite et en utilisant une façon plus intelligente et plus contrôlée de faire des pas, nous pouvons enseigner à ces modèles massifs pour qu'ils deviennent plus intelligents en utilisant nettement moins de données et de temps. C'est une recette pratique qui suggère que nous pouvons construire une meilleure IA sans avoir besoin de la nourrir avec l'intégralité d'Internet, mais simplement avec une portion beaucoup plus efficace de celui-ci.

Résumé technique : Entraînement de nGPT sur des modèles hybrides MoE modernes

Énoncé du problème

Le cadre du Transformer normalisé (nGPT) propose de représenter les paramètres et les activations des modèles sur une hypersphère unité afin de faciliter l'apprentissage de représentations hypersphériques. Bien que la formulation originale de nGPT (Loshchilov et al., 2024) ait démontré la viabilité de cette approche dans des contextes de Transformers denses, l'application à des architectures hybrides modernes et à grande échelle — spécifiquement celles combinant des modèles d'espace d'état Mamba-2 avec des Mixture-of-Experts (MoE) de type Transformer — nécessite une recette d'entraînement robuste. Les optimiseurs standards comme AdamW, conçus pour des espaces euclidiens non contraints, peuvent ne pas interagir de manière optimale avec les contraintes géométriques de nGPT, notamment en ce qui concerne la mise à l'échelle des gradients, les programmes de taux d'apprentissage (learning rate schedules) et la gestion des statistiques du second moment de faible amplitude.

Méthodologie

Les auteurs proposent une « recette d'entraînement nGPT » complète, adaptée aux modèles hybrides Mamba-2–Transformer MoE (spécifiquement l'architecture Nemotron-3). Cette recette intègre des contraintes de normalisation avec des modifications d'optimisation spécifiques pour stabiliser l'entraînement et améliorer la convergence.

1. Normalisation et mise à l'échelle

Contraintes de paramètres : Tous les vecteurs de paramètres formant des matrices sont contraints à une norme unitaire le long de la dimension d'embedding.
Normalisation des activations : Les états cachés sont re-normalisés après recombinaison avec les sorties d'attention/SSM et MLP/MoE.
Vecteurs de mise à l'échelle apprenables : Pour éviter une sur-contrainte dans les couches non linéaires, le modèle utilise des vecteurs de mise à l'échelle apprenables :
- $s_{qk}$ pour redimensionner les requêtes (queries) et clés (keys) normalisées.
- $s_u$ pour redimensionner les activations intermédiaires MLP/MoE.
- $s_z$ pour redimensionner les logits de sortie afin de contrôler la netteté de la distribution.
Spécificités Mamba-2 et MoE : Des scalaires entraînables ( $s_{mamba}$ , $s_{moe}$ ) sont introduits pour redimensionner respectivement les entrées de SiLU et des fonctions de routage sigmoid, remplaçant les couches de normalisation standard comme RMSNorm.

2. Composants d'optimisation

La recette introduit plusieurs composants novateurs dans le processus d'optimisation :

Préconditionnement du gradient de logit (LGP) : Dans nGPT, le vecteur de mise à l'échelle des logits appris $s_z$ croît de manière logarithmique pendant l'entraînement, agissant comme un multiplicateur caché et variable dans le temps sur les gradients. Le LGP découple cet effet en normalisant l'échelle du gradient inverse : $\partial L / \partial u \leftarrow (s_z / \text{mean}(s_z))^q \odot \partial L / \partial z$ . Avec $q=1$ , cela supprime la mise à l'échelle moyenne globale tout en préservant les variations relatives par vocabulaire, stabilisant ainsi le flux de gradient sans altérer le passage direct (forward pass).
Décroissance logarithmique du taux d'apprentissage : Au lieu d'une décroissance cosinus standard, les auteurs utilisent un programme de décroissance logarithmique. Cela permet de concentrer le budget de taux d'apprentissage au début, permettant une diminution initiale plus abrupte suivie d'une longue traîne, ce qui s'aligne mieux avec la dynamique de paramètres contraints de nGPT.
GatedAdamW : Cet optimiseur étend AdamW en séparant la stabilité numérique de la suppression des mises à jour.
- Il utilise une constante numérique $\epsilon_{num}$ strictement pour la stabilité.
- Il introduit une porte douce $\gamma_t = \sigma(a \log(d_t / \epsilon_{gate}))$ basée sur l'échelle du second moment $d_t$ .
- Cela permet un contrôle explicite sur les coordonnées qui reçoivent des mises à jour lorsque les statistiques du second moment sont faibles, empêchant la suppression des mises à jour qui pourrait se produire avec une valeur $\epsilon$ unique dans un AdamW standard.
Contrôles géométriques :
- Cap de pas angulaire (ASC - Angular Step Cap) : Limite le déplacement angulaire des vecteurs de paramètres non-embedding pour assurer la stabilité géométrique.
- Écrêtage de la croissance du second moment (SMGC - Second-Moment Growth Clipping) : Un garde-fou contre les pics de gradient extrêmes en écrêtant la croissance des seconds moments.
- Bruit d'exploration post-moment (PMEN - Post-Moment Exploration Noise) : Ajoute du bruit pour encourager l'exploration dans les régions à faible variance.

Résultats clés

Les auteurs ont évalué la recette sur des modèles hybrides Mamba-2–Transformer MoE allant de 1B à 14B de paramètres totaux, en utilisant un mélange de données de niveau industriel.

Efficacité des données : La principale conclusion est une amélioration significative de l'efficacité des données. Plus précisément, le modèle nGPT de 14 milliards de paramètres atteint la même perte de validation qu'un modèle de base GPT non normalisé (entraîné avec AdamW) en utilisant environ la moitié du nombre de jetons (tokens) d'entraînement. Ce résultat est dérivé de l'interpolation des courbes de perte-par-jeton de la Figure 7, plutôt que d'une comparaison directe par tableau entre toutes les tailles de modèles.
Mise à l'échelle cohérente : Les gains de performance sont cohérents à travers les tailles de modèles (1B, 2B, 4B, 7B et 14B). Les variantes nGPT atteignent systématiquement des pertes de validation environ 2,5 % inférieures à celles de leurs homologues non normalisés entraînés avec AdamW.
Dynamique de convergence : nGPT présente une diminution initiale de la perte plus lente, suivie d'une convergence plus rapide plus tard dans l'entraînement, un comportement attribué au fait que le programme de taux d'apprentissage contrôle plus directement la taille effective du pas en l'absence d'interactions de décroissance de poids (weight decay).
Analyse des composants : Les études d'ablation sur le paramètre de netteté de la porte $a$ dans GatedAdamW suggèrent que, bien que $a=0,5$ offre un avantage modeste par rapport à $a=1$ (qui retrouve le comportement Adam standard), l'essentiel du gain de performance provient de la paramétrisation normalisée et de la recette d'entraînement complète plutôt que du seul mécanisme de porte.

Signification et revendications

L'article affirme fournir une recette d'entraînement pratique qui étend avec succès nGPT des Transformers denses aux architectures hybrides MoE modernes à grande échelle. Les auteurs soulignent que l'amélioration principale de l'efficacité des données n'est pas spécifique aux modèles MoE, mais résulte de la synergie entre la normalisation et l'optimisation.

Le travail est présenté avec modestie quant à sa portée :

Les expériences ont été menées avec un budget de calcul limité, se concentrant sur une recette qui « fonctionne en pratique » plutôt que sur une étude d'ablation exhaustive de chaque hyperparamètre.
Les auteurs déclarent explicitement que les ablations complètes par composant et les lois d'échelle des hyperparamètres sont laissées pour des travaux futurs.
La signification réside dans la démonstration que l'apprentissage de représentation hypersphérique peut être mis à l'échelle vers des modèles de 14 milliards de paramètres avec des gains substantiels d'efficacité d'entraînement, offrant une alternative viable aux pipelines d'entraînement de Transformers standards.