💬 NLP

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

Cette étude démontre que l'utilisation d'un calendrier d'apprentissage sans décroissance (Warmup-Stable-Only) lors du pré-entraînement des grands modèles de langage améliore leurs performances après un ajustement supervisé, car cette approche préserve des minima plus plats favorisant l'adaptabilité, contrairement aux schedulers à décroissance qui optimisent la perte de pré-entraînement au détriment de la flexibilité downstream.

Auteurs originaux : Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

Publié 2026-03-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Grand Secret de l'Entraînement des IA : Pourquoi "Ralentir" n'est pas toujours la meilleure idée

Imaginez que vous apprenez à un enfant (ou à un robot très intelligent) à parler et à comprendre le monde. C'est ce qu'on appelle le pré-entraînement d'un modèle de langage (comme ceux qui font tourner les IA génératives).

Pendant des années, les experts pensaient qu'il fallait suivre une règle stricte pour apprendre : commencer fort, puis ralentir progressivement. C'est comme si vous appreniez à conduire : vous commencez sur un grand terrain plat à grande vitesse, puis, à mesure que vous vous rapprochez de la ville, vous ralentissez doucement pour vous arrêter précisément à un endroit. En IA, on appelle cela un "déclin du taux d'apprentissage" (Learning Rate Decay).

Mais cette nouvelle étude, publiée à la conférence ICLR 2026, découvre quelque chose de surprenant : parfois, il vaut mieux ne jamais ralentir !

🏃‍♂️ La Course de l'Entraînement : Deux Approches

Les chercheurs ont comparé deux méthodes pour entraîner des modèles (des "cerveaux" numériques) de différentes tailles :

L'approche classique (avec ralentissement) : On apprend vite, puis on réduit la vitesse à la fin pour "se stabiliser" et minimiser les erreurs. C'est comme un coureur qui s'arrête net à la ligne d'arrivée pour ne pas dépasser.
L'approche nouvelle (WSO - Warmup-Stable-Only) : On apprend vite, et on maintient cette vitesse constante jusqu'à la toute fin. Pas de ralentissement, pas de freinage. On arrive à la ligne d'arrivée en gardant le même élan.

🎯 Le Paradoxe : Qui gagne la course ?

C'est ici que ça devient fascinant. Les chercheurs ont regardé deux moments différents de la vie de l'IA :

Moment 1 : Juste après l'entraînement (La fin de la course).
Les modèles qui ont ralenti (l'approche classique) semblent avoir fini la course "mieux". Ils font moins d'erreurs sur les tests de base. Ils sont plus "propres".
Analogie : C'est comme un étudiant qui a révisé en ralentissant ses révisions à la fin pour tout mémoriser parfaitement. Il a un très bon dossier scolaire.
Moment 2 : Après l'entraînement spécial (La vraie vie).
Ensuite, on prend ces modèles et on leur apprend une nouvelle tâche spécifique (par exemple, écrire des poèmes, coder, ou répondre à des questions complexes). C'est ce qu'on appelle le "Fine-Tuning" (ajustement fin).
Résultat surprenant : Les modèles qui ont maintenu leur vitesse constante (WSO) sont beaucoup plus performants dans cette nouvelle tâche ! Ils s'adaptent mieux, apprennent plus vite et font moins d'erreurs.
Analogie : L'étudiant qui a maintenu son rythme de fou (WSO) est plus flexible. Même si son dossier était un peu moins "parfait" à la fin des révisions, il est capable de s'adapter à n'importe quel nouvel examen sans paniquer. L'étudiant qui a trop ralenti est devenu un peu "rigide" et a du mal à changer de rythme.

🌍 L'Analogie du Paysage de Montagne

Pourquoi cela arrive-t-il ? Les chercheurs ont regardé la "géographie" de l'apprentissage de l'IA (ce qu'ils appellent le "paysage des pertes").

Avec le ralentissement (Classique) : L'IA tombe dans un creux très profond et très étroit (un sommet pointu). C'est un endroit très stable, mais si vous bougez un tout petit peu (comme lors d'un nouvel apprentissage), vous tombez vite et vous vous blessez. C'est un terrain "tranchant".
Sans ralentissement (WSO) : L'IA s'installe dans une grande vallée large et plate. C'est peut-être un peu moins "bas" que le creux profond, mais c'est beaucoup plus stable. Si vous bougez un peu, vous restez en sécurité. C'est un terrain "doux".

La leçon : Pour qu'une IA soit adaptable et utile dans la vraie vie (après son entraînement), il vaut mieux qu'elle soit dans une vallée large et plate plutôt que coincée dans un trou profond et étroit. Le ralentissement force l'IA à tomber dans le trou, ce qui la rend moins flexible.

🚀 Pourquoi c'est important pour nous ?

Des IA plus intelligentes : En arrêtant de ralentir l'apprentissage à la fin, on obtient des modèles qui comprennent mieux les instructions humaines et qui sont plus faciles à personnaliser.
Économie d'énergie : On n'a pas besoin de faire des ajustements complexes à la fin. On garde le même rythme, ce qui simplifie la vie des ingénieurs.
Le futur : Les chercheurs suggèrent que les entreprises devraient publier des modèles entraînés avec cette méthode "sans ralentissement" (WSO), car ils seront plus utiles pour les développeurs qui veulent les adapter à leurs propres besoins.

En résumé

Imaginez que vous entraînez un athlète.

L'ancienne méthode : Vous le faites courir très vite, puis vous le forcez à marcher doucement juste avant la fin pour qu'il s'arrête parfaitement. Il est très précis, mais s'il doit changer de sport demain, il est raide.
La nouvelle méthode (WSO) : Vous le faites courir à vitesse constante jusqu'à la fin. Il arrive peut-être un tout petit peu moins "parfait" sur la ligne, mais il garde son élan, sa souplesse et sa capacité à s'adapter à n'importe quelle nouvelle course.

Cette étude nous dit : Ne freinez pas trop tôt ! Gardez l'élan. C'est la clé pour créer des IA plus adaptables et plus intelligentes.

1. Problématique

L'entraînement des grands modèles de langage (LLM) repose traditionnellement sur des planificateurs de taux d'apprentissage (LR) basés sur une décroissance (comme la décroissance cosinus, linéaire ou le schéma Warmup-Stable-Decay - WSD). L'objectif de ces schémas est de minimiser la perte (loss) lors de la phase d'entraînement préalable (pre-training).

Cependant, les auteurs soulignent une lacune critique : l'optimisation de la perte d'entraînement préalable ne garantit pas nécessairement une meilleure performance après les phases de post-entraînement, telles que le Fine-Tuning Supervisé (SFT). Des travaux récents suggèrent qu'un modèle pré-entraîné performant peut être moins adaptable aux tâches downstream. La question centrale est donc : la décroissance du taux d'apprentissage, bien qu'optimale pour les métriques d'entraînement préalable, nuit-elle à l'adaptabilité du modèle lors du SFT ?

2. Méthodologie

L'étude propose une investigation empirique systématique en comparant les schémas de décroissance classiques à une approche sans décroissance.

Approche proposée (WSO) : Les auteurs introduisent le schéma Warmup-Stable-Only (WSO). Contrairement au WSD (qui inclut une phase de décroissance finale), le WSO maintient un taux d'apprentissage constant après la phase de warmup jusqu'à la fin de l'entraînement, sans aucune décroissance ( $\alpha_{pre} = 1.0$ ).
Comparaison : Ils comparent le WSO à plusieurs schémas de référence : WSD, Cosine et Linear, avec différents facteurs de décroissance minimale ( $\alpha_{pre} \in \{0.0, 0.1, 1.0\}$ ).
Configurations Expérimentales :
- Échelles de modèles : Expériences menées sur des modèles de 1 milliard et 8 milliards de paramètres (architecture Llama 3).
- Scénarios d'entraînement :
  1. Deux étapes : Pré-entraînement $\rightarrow$ SFT.
  2. Trois étapes : Pré-entraînement $\rightarrow$ Mid-training (entraînement intermédiaire sur des données de haute qualité) $\rightarrow$ SFT.
  3. Sur-entraînement (Over-training) : Entraînement sur des quantités massives de tokens (jusqu'à 2 billions de tokens, soit ~100x la limite Chinchilla) pour tester la robustesse de la méthode.
- Données : Utilisation de FineWeb-Edu, olmo-mix-1124, et dolmino-mix-1124. Le SFT utilise le mélange Tulu-3.
Analyse Théorique : Pour comprendre les mécanismes sous-jacents, les auteurs analysent la géométrie du paysage de perte (loss landscape), en mesurant spécifiquement la pointe (sharpness) des minima atteints par les modèles, en utilisant l'estimateur de trace de Hessian de Hutchinson.

3. Contributions Clés

Démonstration empirique de l'inversion de performance : L'article montre que les schémas avec décroissance obtiennent de meilleurs résultats sur les métriques de pré-entraînement (perte de validation, tâches zero-shot), mais que le WSO surpasse systématiquement ces schémas après le SFT.
Généralité du résultat : Cette supériorité du WSO est confirmée à travers différentes architectures (1B, 8B), différentes phases d'entraînement (y compris le mid-training) et des régimes de sur-entraînement extrêmes.
Explication par la géométrie de la perte : L'étude relie la performance downstream à la géométrie du paysage de perte. Elle démontre que le WSO préserve des minima plus plats (faible sharpness), tandis que la décroissance du LR conduit à des minima plus aigus (forte sharpness).

4. Résultats Principaux

Performance SFT : Dans tous les scénarios (1B et 8B, avec ou sans mid-training, avec ou sans sur-entraînement), le modèle pré-entraîné avec WSO obtient les scores les plus élevés sur les benchmarks de SFT (AlpacaEval, TruthfulQA, MMLU, GSM8K, etc.).
- Exemple (Modèle 8B) : Le WSO obtient un score moyen SFT de +1.1 par rapport au meilleur schéma à décroissance, alors qu'il est inférieur de +0.127 en perte de validation pré-entraînement.
Inversion des métriques : Il existe une corrélation négative entre la performance pré-entraînement et la performance post-SFT. Les schémas qui minimisent le mieux la perte pré-entraînement (souvent avec $\alpha_{pre}=0.0$ ) produisent les modèles les moins adaptables.
Analyse de la Pointe (Sharpness) :
- Les modèles entraînés avec décroissance convergent vers des minima avec une sharpness 2 à 3 fois plus élevée que ceux entraînés avec WSO.
- Une corrélation négative forte (Pearson r = -0.709) est observée entre la sharpness du modèle pré-entraîné et sa performance finale en SFT.
- Les minima plats (WSO) permettent une adaptation plus stable des paramètres lors du fine-tuning, car les mises à jour n'entraînent pas de fluctuations drastiques de la perte.

5. Signification et Implications

Changement de paradigme pour l'entraînement : Ce travail remet en question la pratique standard de la décroissance du taux d'apprentissage pour les LLM. Il suggère que l'optimisation aveugle des métriques de pré-entraînement peut être contre-productive pour les applications réelles.
Adaptabilité et Portabilité : Les modèles entraînés avec WSO sont intrinsèquement plus adaptables. Cela a des implications majeures pour les stratégies de publication de modèles : il est préférable de distribuer des modèles pré-entraînés avec WSO pour permettre aux praticiens d'obtenir de meilleurs résultats lors du fine-tuning.
Efficacité : La méthode WSO est simple à implémenter (pas de phase de décroissance à régler) et offre une amélioration directe des performances downstream sans coût computationnel supplémentaire.

En conclusion, l'article démontre que maintenir un taux d'apprentissage constant jusqu'à la fin de l'entraînement préalable (WSO) est une stratégie supérieure pour construire des LLM robustes et adaptables, car elle préserve la géométrie "plate" du paysage de perte, essentielle pour le fine-tuning efficace.