🤖 machine learning

Learning Rate Transfer in Normalized Transformers

Ce papier présente $\nu$ GPT, une nouvelle paramétrisation du Transformer Normalisé qui exploite des exposants d'alignement pour réaliser un transfert du taux d'apprentissage à travers la largeur, la profondeur et l'horizon des tokens du modèle, comblant ainsi une limitation clé du nGPT original.

Auteurs originaux : Boris Shigida, Boris Hanin, Andrey Gromov

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Boris Shigida, Boris Hanin, Andrey Gromov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Le Problème de « Boucle d'Or »

Imaginez que vous préparez un gâteau géant (un modèle d'IA massif). Vous avez une recette pour un petit cupcake (un modèle minuscule). Vous savez exactement quelle quantité de sucre et quelle chaleur (des hyperparamètres comme le taux d'apprentissage) fonctionnent pour le cupcake.

Le problème ? Si vous doublez aveuglément les ingrédients pour un gâteau plus gros, il risque de brûler ou de rester cru. En IA, lorsque les chercheurs rendent les modèles plus grands (plus larges ou plus profonds), les paramètres « parfaits » pour le petit modèle cessent généralement de fonctionner pour le grand. Vous devez repartir de zéro et deviner les nouveaux paramètres, ce qui est lent et coûteux.

Ce papier introduit une nouvelle façon de cuire ces « gâteaux » (appelés modèles nGPT) afin que les paramètres que vous trouvez pour un petit modèle fonctionnent parfaitement pour un géant, sans aucun devinette supplémentaire. Ils appellent cette nouvelle recette νGPT (prononcé « nu-GPT »).

Les Ingrédients : Qu'est-ce que nGPT ?

Premièrement, les auteurs travaillent avec un type spécifique d'IA appelé nGPT (Transformateur Normalisé).

L'Ancienne Méthode : Les modèles d'IA traditionnels sont comme une voiture avec un moteur très sensible. Si vous appuyez trop fort sur l'accélérateur (taux d'apprentissage élevé), le moteur explose. Si vous appuyez trop doucement, elle n'avance pas. Pour la garder en sécurité, vous avez besoin d'un « frein » appelé décroissance des poids (weight decay) et vous devez « faire chauffer » le moteur lentement avant de rouler vite.
La Méthode nGPT : Le modèle nGPT est comme une voiture avec une suspension auto-stabilisante. Il maintient naturellement sa vitesse et son équilibre sous contrôle. Grâce à cela, il n'a pas besoin des « freins » (décroissance des poids) ni du « réchauffage ». Il s'entraîne plus vite et est plus efficace.

Le Bémol : Même si nGPT est excellent, les auteurs ont découvert que ses « réglages de vitesse » (taux d'apprentissage) ne se transféraient toujours pas bien. Si vous régliez la vitesse pour un petit nGPT, puis essayiez d'utiliser ces mêmes paramètres pour un énorme nGPT, le grand modèle performait mal.

La Solution : La Recette νGPT

Les auteurs ont créé νGPT. Imaginez cela comme un nouvel ensemble d'instructions sur la façon de doser vos ingrédients en fonction de la taille du gâteau.

Ils ont découvert trois règles spécifiques pour rendre les paramètres « transférables » parfaitement :

1. La Règle de l'Horizon des Tokens (La Règle de la « Distance »)

Le Concept : Imaginez que vous promenez un chien. Si vous ne le promenez que 10 minutes, vous pouvez courir vite. Si vous prévoyez de le promener pendant 10 heures, vous devez commencer plus lentement pour ne pas l'épuiser.
La Découverte : Le papier a montré que lorsque l'IA « marche » plus longtemps (traite plus de tokens de données), le taux d'apprentissage ne doit pas chuter aussi vite que les gens le pensaient. Au lieu de tomber comme une pierre lourde, il doit descendre comme une plume flottante.
Les Mathématiques : Ils ont découvert que la vitesse doit diminuer selon la racine cubique du temps parcouru (spécifiquement, une puissance de $1/3$ ), et non la racine carrée ( $1/2$ ) que d'autres théories suggéraient.

2. La Règle de la Largeur (La Règle de la « Taille de l'Équipe »)

Le Concept : Imaginez un chœur. Si vous doublez le nombre de chanteurs (largeur), le son devient plus fort. Si vous n'ajustez pas le volume du chef d'orchestre (taux d'apprentissage), le chœur risque de devenir trop fort et de se distordre, ou trop faible pour être entendu.
La Découverte : Les auteurs ont réalisé que dans ces modèles spécifiques, les « voix » (activations) et les « chanteurs » (poids) ne sont pas parfaitement alignés. Ils sont partiellement alignés.
La Correction : Ils ont ajusté le taux d'apprentissage pour les parties cachées du modèle afin qu'il chute d'une quantité spécifique (puissance de $3/4$ ) à mesure que le modèle s'élargit. Cela diffère des théories précédentes (comme $\mu$ P) qui supposaient que les voix et les chanteurs étaient parfaitement alignés. En supposant qu'ils ne sont que partiellement alignés, ils ont trouvé un « point idéal » qui fonctionne mieux.

3. La Règle de la Profondeur (La Règle de la « Couche »)

Le Concept : Imaginez une course de relais. Si vous ajoutez plus de coureurs (couches) à l'équipe, le bâton passe-t-il plus vite ou plus lentement ?
La Découverte : Étonnamment, pour ce type spécifique de modèle, le taux d'apprentissage pour les couches cachées n'a pas besoin de beaucoup changer à mesure que vous ajoutez des couches. Le modèle est naturellement stable. Cependant, ils ont découvert que les paramètres de « départ » (initialisation) pour la toute première et la toute dernière couche nécessitent un tout petit ajustement pour que la course reste fluide.

Les Résultats : Pourquoi Cela Compte

Les auteurs ont testé cette nouvelle recette νGPT contre l'ancienne.

L'Ancienne Méthode (nGPT) : Lorsqu'ils ont rendu le modèle plus grand, la courbe de performance était chaotique. Le « meilleur » taux d'apprentissage pour un petit modèle était le « pire » pour un grand modèle.
La Nouvelle Méthode (νGPT) : Lorsqu'ils ont rendu le modèle plus grand, la courbe de performance était parfaite. Le taux d'apprentissage qui fonctionnait pour le petit modèle fonctionnait pour le grand modèle, et le modèle plus grand performait aussi bien (ou légèrement mieux) que s'ils l'avaient réglé à partir de zéro.

Analogie de Résumé

Imaginez le taux d'apprentissage comme le bouton de volume d'une radio.

Ancienne Théorie : « Si vous achetez un haut-parleur plus grand (modèle plus large), vous devez tourner le bouton de volume à la moitié. »
Découverte du Papier : « En fait, à cause du fonctionnement spécifique de ce haut-parleur, vous n'avez besoin de tourner le bouton de volume que d'une quantité spécifique et calculée (la règle des $3/4$ ) pour obtenir un son parfait. Si vous suivez cette règle, vous pouvez acheter un haut-parleur 100 fois plus grand, et le même réglage de volume sonnera parfaitement. »

Ce Qu'ils N'ONT PAS Affirmé

Ils n'ont pas dit que cela rend l'IA plus intelligente ou capable de faire de nouvelles choses (comme guérir des maladies).
Ils n'ont pas dit que cela fonctionne pour tous les types de modèles d'IA (il est spécifique aux Transformateurs Normalisés/nGPT).
Ils n'ont pas affirmé que cela élimine entièrement le besoin de réglage ; cela signifie simplement que vous pouvez régler un petit modèle et faire confiance au fait que cela fonctionnera pour un grand modèle.

En bref : Le papier fournit un « guide de traduction » mathématique qui permet aux ingénieurs de prendre les paramètres d'une IA petite et rapide et de les appliquer à une IA massive avec confiance, en économisant du temps et de la puissance de calcul.

1. Énoncé du problème

Le papier aborde le défi du transfert d'hyperparamètres (HP) dans les Transformers normalisés (nGPT), une variante de l'architecture Transformer introduite par Loshchilov et al. (2025).

Contexte : nGPT réalise des accélérations significatives de l'entraînement et élimine le besoin de décroissance des poids (weight decay) et de réchauffement du taux d'apprentissage (learning rate warmup) en normalisant extensivement les poids et les activations (en utilisant des normes $\ell_2$ au lieu de LayerNorm/RMSNorm).
Le problème : Bien que nGPT possède des hyperparamètres qui évoluent avec la taille du modèle, les auteurs observent qu'il échoue à exhiber un transfert de taux d'apprentissage à travers la largeur du modèle (dimension), la profondeur (nombre de couches) et l'horizon de tokens (itérations d'entraînement).
Limites des méthodes existantes : Les techniques de transfert standard comme $\mu$ P (Maximal Update Parametrization) reposent sur des hypothèses théoriques spécifiques concernant l'alignement des poids et des activations (spécifiquement, qu'ils sont entièrement alignés ou non alignés de manières spécifiques). Les auteurs constatent que ces hypothèses ne tiennent pas pour nGPT, conduisant à des performances sous-optimales lors de la mise à l'échelle.

2. Méthodologie

Les auteurs proposent une paramétrisation novatrice appelée $\nu$ GPT (nu-GPT). Leur approche combine des expériences numériques avec un cadre théorique principiel basé sur les exposants d'alignement (Everett et al., 2024).

A. Cadre théorique : Exposants d'alignement

Au lieu de supposer les régimes d'"alignement complet" ( $\alpha=1$ ) ou de "non-alignement" ( $\alpha=1/2$ ) utilisés dans $\mu$ P, les auteurs mesurent empiriquement les exposants d'alignement ( $\alpha, \omega, \nu$ ) qui décrivent comment les mises à jour des poids et les activations évoluent par rapport à la dimension du modèle $d_{model}$ .

Ils définissent des exposants pour la manière dont le changement dans un produit matrice-vecteur évolue : $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ .
Résultat clé : Dans nGPT, le régime d'"alignement intermédiaire" est observé, où $\max\{\alpha, \nu\} \approx 3/4$ . Cela contredit l'hypothèse de $\mu$ P selon laquelle $\max\{\alpha, \nu\} = 1$ (alignement complet) ou $1/2$ (non-alignement).

B. La paramétrisation $\nu$ GPT

Basée sur l'hypothèse d'"alignement intermédiaire" ( $\max\{\alpha, \nu\} = 3/4$ ) et les lois d'échelle empiriques, les auteurs dérivent des règles d'échelle spécifiques pour les taux d'apprentissage ( $\eta$ ) et les paramètres d'initialisation. Soient $m_{width}$ , $m_{depth}$ et $m_{data}$ les multiplicateurs pour la largeur, la profondeur et le nombre de tokens par rapport à un modèle de base.

Règles d'échelle clés dans $\nu$ GPT :

Taux d'apprentissage global : Évolue selon $m_{data}^{-1/3}$ . Cela corrige l'horizon de tokens, différant de la $m_{data}^{-1/2}$ suggérée par certaines théories antérieures basées sur les EDS (SDE).
Poids d'embedding ( $\eta_{input}$ ) : Évolue selon $m_{width}^{-1/2}$ .
Poids cachés/dé-embedding ( $\eta_{hidden}, \eta_{output}$ ) : Évolue selon $m_{width}^{-3/4}$ . C'est la déviation critique par rapport à $\mu$ P (qui utilise $m_{width}^{-1}$ ou $m_{width}^{-1/2}$ selon la variante).
Corrections de profondeur :
- Les vecteurs de redimensionnement entraînables $\alpha_{A, init}$ et $\alpha_{M, init}$ sont mis à l'échelle par $m_{depth}^{-1}$ .
- Contrairement au "Depth- $\mu$ P" (qui met à l'échelle les taux d'apprentissage cachés par $m_{depth}^{-1/2}$ ), $\nu$ GPT constate que les taux d'apprentissage cachés ne doivent pas être mis à l'échelle avec la profondeur dans nGPT, car les redimensionneurs entraînables gèrent naturellement la stabilité de la profondeur.
Constantes d'initialisation : Des constantes fixes (par exemple 0,03) sont utilisées pour les paramètres d'échelle ( $\alpha_{scale}$ ) plutôt que de les faire évoluer avec $d_{model}^{-1/2}$ .

3. Contributions clés

Identification de l'échec de $\mu$ P dans nGPT : Démonstration que les hypothèses standard de $\mu$ P concernant l'alignement poids-activation sont invalides pour les architectures normalisées, conduisant à un mauvais transfert de taux d'apprentissage.
Proposition de $\nu$ GPT : Introduction d'une nouvelle paramétrisation qui cible explicitement le régime d'"alignement intermédiaire" ( $\approx 3/4$ ) observé dans nGPT.
Mise à l'échelle de l'horizon de tokens : Établissement que le taux d'apprentissage optimal dans nGPT évolue avec le nombre de tokens selon $T^{-1/3}$ , affinant les prédictions théoriques antérieures de $T^{-1/2}$ .
Insight sur le transfert de profondeur : Démonstration que pour les modèles normalisés avec redimensionneurs entraînables, une mise à l'échelle explicite de la profondeur du taux d'apprentissage caché est inutile et potentiellement néfaste ; à la place, la mise à l'échelle de l'initialisation des redimensionneurs suffit.

4. Résultats expérimentaux

Les auteurs ont validé $\nu$ GPT sur le jeu de données FineWeb-Edu en utilisant le tokeniseur OLMo 2.

Transfert de largeur :
- nGPT de base : N'a montré aucun transfert de taux d'apprentissage ; les performances se sont dégradées à mesure que la largeur augmentait.
- Corrections de style $\mu$ P : Ont montré une légère dérive des taux d'apprentissage optimaux.
- $\nu$ GPT : A réalisé un transfert de taux d'apprentissage parfait à travers la largeur (de 0,26 Md à 3,22 Md de paramètres) sans perte de perte de validation par rapport à la base ajustée.
Transfert de profondeur :
- Le nGPT de base a montré un transfert de profondeur décent mais est devenu instable à des profondeurs extrêmes.
- $\nu$ GPT a maintenu la stabilité et les performances à travers les profondeurs (de 8 à 128 couches), montrant une sensibilité réduite aux choix de taux d'apprentissage à grande profondeur.
Transfert d'horizon de tokens :
- Les expériences ont confirmé la loi d'échelle $T^{-1/3}$ pour le taux d'apprentissage optimal à mesure que le nombre d'itérations d'entraînement augmentait.
Vérification de l'exposant d'alignement :
- Les mesures empiriques ont confirmé que $\omega_{hidden} = \omega_{output} = 1/2$ et $\max\{\alpha, \nu\} \approx 0,75$ (alignement intermédiaire), validant la base théorique de $\nu$ GPT.

5. Signification

Impact pratique : $\nu$ GPT permet aux chercheurs d'entraîner des Transformers normalisés à grande échelle en ajustant simplement les hyperparamètres sur de petits modèles et en les transférant directement à des échelles massives, économisant ainsi des ressources de calcul considérables.
Avancement théorique : Le papier remet en question l'universalité de $\mu$ P, démontrant que différents choix architecturaux (spécifiquement les schémas de normalisation) nécessitent des hypothèses d'alignement et des lois d'échelle différentes.
Efficacité : En éliminant le besoin de décroissance des poids et de réchauffement tout en permettant une mise à l'échelle robuste, $\nu$ GPT offre un pipeline d'entraînement plus rationalisé et efficace pour les modèles de base de nouvelle génération.

En résumé, le papier fournit une solution rigoureuse et empiriquement fondée au problème de mise à l'échelle dans les transformers normalisés, remplaçant l'approche "taille unique" de $\mu$ P par une paramétrisation sur mesure ( $\nu$ GPT) qui respecte la dynamique unique des architectures normalisées.