📊 statistics

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging

Cet article démontre que la combinaison de la moyenne de poids avec des programmes de taux d'apprentissage simples et sans horizon (tels que la décroissance polynomiale ou $1/\sqrt{t}$ ) permet d'atteindre une performance finale comparable aux programmes cosinus ajustés pour les grands modèles de langage, offrant ainsi une alternative pratique et théoriquement fondée pour l'entraînement dans des contextes ouverts où l'horizon total est inconnu.

Auteurs originaux : Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Publié 2026-08-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, les grands modèles de langage sont les moteurs qui alimentent tout, des assistants d'écriture aux outils de raisonnement complexes. Pour faire fonctionner ces moteurs, les chercheurs doivent les enseigner en les nourrissant de vastes quantités de texte, un processus connu sous le nom de pré-entraînement. Cet enseignement nécessite un équilibre délicat entre vitesse et précision, contrôlé par un paramètre appelé taux d'apprentissage. Considérez ce taux comme le rythme auquel le modèle ajuste ses connaissances internes en fonction des nouvelles informations. Si le rythme est trop rapide, le modèle dépasse la vérité ; s'il est trop lent, il n'apprend rien. Pendant des années, la méthode standard pour gérer ce rythme a été un calendrier connu sous le nom de décroissance cosinus. Cette méthode commence le modèle à une vitesse modérée, le ralentit progressivement selon une courbe fluide, et s'arrête à un moment précis. Cependant, cette approche standard présente un défaut majeur : elle nécessite de savoir exactement combien de temps l'entraînement durera avant même que la première étape ne soit franchie. Dans un monde où les données arrivent de manière continue et où la quantité totale d'informations est inconnue, cette exigence revient à essayer de conduire une voiture avec une carte qui ne montre que la destination, et non la distance pour y parvenir.

Des chercheurs de l'Université de Harvard et de l'Institut Kempner ont abordé ce problème en développant une nouvelle façon d'entraîner ces modèles qui ne nécessite pas de date de fin prédéfinie. Leurs travaux, qui combinent la théorie mathématique et des expériences à grande échelle, démontrent que les modèles peuvent être entraînés efficacement sans jamais savoir quand l'entraînement s'arrêtera. Ils ont découvert qu'en utilisant un rythme simple et constant qui ralentit naturellement au fil du temps, et en moyennant les progrès du modèle tout au long du voyage, ils pouvaient obtenir des résultats aussi bons que la méthode traditionnelle. Cette découverte suggère que les calendriers rigides et pré-planifiés du passé ne sont pas nécessaires pour construire l'intelligence artificielle la plus avancée, ouvrant la porte à l'entraînement de systèmes capables d'apprendre continuellement à mesure que de nouvelles données deviennent disponibles.

Le cœur du problème réside dans la nature des données modernes. Contrairement aux ensembles de données fixes du passé, les flux d'informations d'aujourd'hui arrivent sans fin. Un modèle peut être entraîné pendant une semaine, puis un mois, ou potentiellement pendant des années, selon la quantité de données disponibles. Le calendrier de décroissance cosinus traditionnel est « dépendant de l'horizon », ce qui signifie qu'il doit être ajusté spécifiquement pour une durée connue. Si un chercheur ajuste un calendrier pour une exécution d'un mois mais que le projet se prolonge sur trois mois, la performance du modèle en pâtit car le taux d'apprentissage a été conçu pour ralentir trop tôt. Les chercheurs ont cherché une alternative « sans horizon », une méthode qui fonctionne bien que l'entraînement s'arrête demain ou l'année prochaine. Ils ont proposé qu'au lieu d'une courbe complexe, un calendrier simple qui décroît lentement au fil du temps, combiné à une technique appelée moyennage de poids, pourrait résoudre ce problème. Le moyennage de poids est un processus où le modèle final n'est pas seulement la dernière version créée, mais un mélange de nombreuses versions tout au long du processus d'entraînement, lissant le bruit et stabilisant le résultat.

Pour tester cette idée, l'équipe s'est d'abord tournée vers la théorie mathématique. Ils ont analysé le comportement d'un modèle simplifié d'apprentissage, utilisant la régression linéaire sur des données qui imitent les motifs complexes trouvés dans le langage. Leur analyse a montré que pour certains types de données, un taux d'apprentissage qui diminue lentement au fil du temps, plus précisément suivant un motif où le taux chute à mesure que la racine carrée du temps augmente, est théoriquement optimal. Crucialement, ils ont prouvé que lorsque cette décroissance spécifique est couplée au moyennage de poids, la méthode atteint la meilleure vitesse d'apprentissage possible sans avoir besoin de connaître le temps total d'entraînement à l'avance. Cette découverte théorique a fourni une base solide, suggérant qu'une approche simple et constante pourrait surpasser les courbes complexes et pré-planifiées dans un contexte ouvert.

Les chercheurs sont ensuite passés de la théorie à la pratique, en entraînant des grands modèles de langage de 150 millions et 300 millions de paramètres. Ils ont entraîné ces modèles sur un ensemble massif de textes, les poussant à apprendre jusqu'à 32 fois la quantité de données habituellement utilisée pour des modèles de leur taille. Cette échelle est significative car elle reflète les conditions dans lesquelles les systèmes d'IA les plus avancés au monde sont construits. Ils ont comparé leurs nouveaux calendriers sans horizon aux calendriers de décroissance cosinus standards, qui avaient été soigneusement ajustés pour chaque durée d'entraînement spécifique. Les résultats ont été frappants. Les nouvelles méthodes, qui utilisaient soit un taux d'apprentissage constant avec moyennage, soit un taux en décroissance lente avec moyennage, suivaient presque parfaitement la performance des meilleurs calendriers cosinus ajustés. Sur toute la plage d'entraînement, des sessions courtes aux durées les plus longues possibles, les méthodes sans horizon ont obtenu des résultats finaux pratiquement indiscernables de l'approche traditionnelle.

L'un des aspects les plus convaincants de ce travail est sa dimension pratique. Les chercheurs ont montré qu'un seul ensemble de paramètres, choisi au début de l'entraînement, pouvait être utilisé pour toute la durée d'un projet, même si ce projet s'étendait soudainement. Ils ont démontré que si un modèle est ajusté pour un point intermédiaire spécifique, tel que quatre fois la quantité de données standard, ces mêmes paramètres continueraient de bien fonctionner alors que l'entraînement s'étendrait à 32 fois cette quantité. Cela élimine la nécessité d'arrêter et de réajuster le modèle chaque fois que l'horizon d'entraînement change. De plus, ils ont testé une méthode alternative populaire connue sous le nom de « warmup-stable-decay » (échauffement-stabilité-décroissance), qui tente d'imiter le meilleur des deux mondes en maintenant le taux stable pendant la majeure partie de l'entraînement, puis en le faisant décroître à la fin. Bien que cette méthode ait bien fonctionné, elle nécessitait toujours de savoir quand commencer la phase de décroissance, ce qui la rend moins flexible que l'approche véritablement sans horizon proposée par les auteurs.

L'étude a également exploré comment ces méthodes se comportent lorsque les données d'entraînement sont très volumineuses, un scénario où le bruit dans le processus d'apprentissage est naturellement plus faible. Dans ces conditions, les chercheurs ont constaté que le taux d'apprentissage n'avait pas besoin de décroître du tout. Un taux d'apprentissage constant, combiné au moyennage de poids, suffisait à atteindre une performance de haut niveau. Cela concorde avec leur prédiction théorique : lorsque la variance, ou le bruit, dans les données est faible, le modèle bénéficie davantage du maintien d'un rythme constant pour réduire le biais, ou l'erreur, plutôt que de ralentir. Cette intuition suggère qu'à mesure que la puissance de calcul augmente et que les modèles peuvent traiter des lots de données plus importants, la nécessité de calendriers de décroissance complexes pourrait disparaître totalement, remplacée par des stratégies plus simples et plus robustes.

En fin de compte, cette recherche trace une voie claire pour l'avenir de l'entraînement de l'intelligence artificielle. Elle suggère que les calendriers rigides et pré-calculés qui dominent le domaine depuis des années ne sont pas la seule façon, ou peut-être même pas la meilleure façon, d'entraîner des modèles à une ère de données continues. En prouvant que des calendriers simples et sans horizon, combinés au moyennage de poids, peuvent égaler la performance des méthodes traditionnelles les plus soigneusement ajustées, les auteurs ont offert une solution pratique pour l'apprentissage ouvert. Cette approche permet aux modèles de s'adapter à n'importe quelle quantité de données disponibles, rendant le processus d'entraînement plus flexible et efficace. Les conclusions indiquent que l'avenir de l'entraînement des grands modèles de langage ne réside peut-être pas dans des algorithmes de planification plus complexes, mais dans des stratégies plus simples et plus résilientes capables d'apprendre continuellement sans fin prédéterminée.

Résumé technique : Préentraînement anytime avec des programmes de taux d'apprentissage sans horizon

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus entraînés dans des contextes continus ou ouverts où l'horizon total d'entraînement (le nombre total de jetons à traiter) n'est pas connu à l'avance. Malgré ce changement, les recettes de préentraînement standard reposent sur des programmes de taux d'apprentissage dépendants de l'horizon, notamment la décroissance cosinusiale (cosine decay). La décroissance cosinusale nécessite de connaître la longueur totale d'entraînement $N$ au préalable pour définir la courbe de décroissance, ce qui la rend inadaptée aux scénarios où les données arrivent de manière continue ou lorsque les budgets d'entraînement sont étendus dynamiquement.

Les alternatives « presque-anytime » existantes, telles que le programme Warmup-Stable-Decay (WSD), réduisent cette dépendance mais nécessitent tout de même une surcharge supplémentaire (stockage de points de contrôle à des intervalles spécifiques) et un réajustement ou une nouvelle décroissance lors d'une extension de l'entraînement, ce qui introduit des coûts de calcul et brise la propriété « anytime ». Le défi central est d'identifier un programme de taux d'apprentissage qui :

Ne dépend pas de l'horizon d'entraînement $N$ .
Atteint une performance compétitive (suivant l'enveloppe cosinusale) à tout point de contrôle intermédiaire $T < N$ sans connaissance préalable de $N$ .

Méthodologie

Analyse théorique

Les auteurs fournissent une analyse théorique utilisant la régression linéaire sur-paramétrée sur des données gaussiennes avec des spectres en loi de puissance. Cela sert de proxy pour le préentraînement des LLM.

Configuration : L'étude considère la descente de gradient stochastique (SGD) avec moyennage des itérations (moyennage des poids) sur une fonction de perte quadratique. La matrice de covariance des données $H$ et le vecteur cible $w^*$ suivent des distributions en loi de puissance caractérisées par un exposant de capacité $a$ (décroissance des valeurs propres $\lambda_k \sim k^{-a}$ ) et un exposant de source $b$ (décroissance des coordonnées de la cible $(w^*_k)^2 \sim k^{-b}$ ).
Insight clé : Les auteurs analysent la décomposition biais-variance du risque. Ils démontrent que, bien que les taux d'apprentissage constants avec moyennage puissent être optimaux dans certains régimes ( $b \le a$ ), ils nécessitent souvent une mise à l'échelle dépendante de l'horizon pour $b > a$ .
Programme proposé : Le papier démontre qu'un programme de taux d'apprentissage polynomial de la forme $\eta_t = \eta / t^\gamma$ $η_{t} = η / t^{γ}$ combiné au moyennage des itérations (spécifiquement l'EMA, Exponential Moving Average) peut atteindre des taux de convergence minimax optimaux sans connaître $N$ $N$ .
- Pour le régime $1 < a < b \le 2a$ , l'exposant de décroissance optimal est dérivé comme $\gamma^* = 1 - a/b$ .
- Un cas particulier notable est $\gamma = 1/2$ (soit $1/\sqrt{t}$ ), qui est montré comme étant optimal pour le « anytime » jusqu'à des facteurs logarithmiques et des constantes sous des conditions spectrales spécifiques.
Moyennage des poids : L'analyse souligne que le moyennage des poids est central pour atteindre ces taux. Sans moyennage, la SGD standard avec décroissance polynomiale échoue souvent à atteindre les taux optimaux dans le cadre de la régression linéaire.

Évaluation empirique

Les prescriptions théoriques sont testées sur le préentraînement de LLM en utilisant la base de code OLMo.

Modèles : Deux modèles ont été entraînés : 150M et 300M de paramètres.
Échelle : L'entraînement a été mené jusqu'à 32 $\times$ le nombre de jetons optimal de Chinchilla pour le modèle 150M et 16 $\times$ pour le 300M.
Baselines :
- Enveloppe Cosinusale : Une baseline « gold standard » construite en ajustant indépendamment un programme cosinusal pour chaque horizon de puissance de 2 (de 1 $\times$ à 32 $\times$ ) et en prenant la meilleure perte de validation à chaque point.
- WSD : Le programme Warmup-Stable-Decay, implémenté en sauvegardant des points de contrôle à 90 % des horizons cibles et en déclenchant la décroissance pour les 10 % finaux.
Candidats :
- LR Constant + EMA : Un taux d'apprentissage fixe avec une fenêtre EMA croissant proportionnellement au temps ( $f=25$ ).
- $1/\sqrt{t}$ + EMA : Un programme à décroissance polynomiale $\eta_t = \eta \sqrt{\alpha/(t+\alpha)}$ avec EMA.
Protocole : Les auteurs évaluent si une configuration unique et fixe (hyperparamètres choisis une seule fois) peut suivre l'enveloppe cosinusale à travers tous les points de contrôle intermédiaires, plutôt que de nécessiter un réajustement pour chaque horizon.

Principales contributions

Dérivation théorique de programmes anytime : Le papier prouve que, pour la régression linéaire avec des données en loi de puissance, un programme de taux d'apprentissage de la forme $1/t^\gamma$ combiné au moyennage des itérations atteint des taux optimaux minimax sans dépendance vis-à-vis de l'horizon d'entraînement. Plus précisément, il établit l'optimalité de $\gamma$ en fonction des exposants de source et de capacité ( $a$ et $b$ ).
Rôle du moyennage des poids : Ce travail souligne que le moyennage des poids (fusion de modèles) n'est pas seulement une heuristique de généralisation, mais une nécessité théorique pour atteindre des taux de convergence optimaux avec des programmes sans horizon dans des contextes sur-paramétrés.
Validation empirique à grande échelle : Les auteurs démontrent que des programmes simples et sans horizon (Constant LR + EMA et $1/\sqrt{t}$ + EMA) peuvent suivre la performance d'une enveloppe cosinusale soigneusement ajustée sur une plage d'entraînement massive (jusqu'à 32 $\times$ Chinchilla) en utilisant une configuration unique d'hyperparamètres.
Transfert prospectif : L'étude montre que les hyperparamètres ajustés à un point de contrôle intermédiaire (par exemple, 4 $\times$ Chinchilla) peuvent se transférer avec succès à des cycles d'entraînement nettement plus longs (jusqu'à 32 $\times$ ) sans réajustement, offrant un protocole pratique pour l'entraînement ouvert.

Résultats

Performance vs Cosinus : Sur toute la plage d'entraînement (1 $\times$ à 32 $\times$ ), les programmes proposés (Constant + EMA et $1/\sqrt{t}$ + EMA) atteignent des pertes de validation comparables à l'enveloppe cosinusale ajustée indépendamment. L'écart est minime (souvent moins de 0,005 unité de perte de validation).
Succès de trajectoire unique : Contrairement à la décroissance cosinusale, qui nécessite un réajustement pour différents horizons afin d'éviter des performances sous-optimales aux étapes intermédiaires, un seul passage des programmes « anytime » suit efficacement l'« enveloppe cosinusale ».
Régime de grand batch : Dans une expérience à grand batch (taille de batch 4096), où le bruit du gradient est supprimé, le taux d'apprentissage constant avec moyennage a surpassé la décroissance cosinusale et le programme $1/\sqrt{t}$ . Cela concorde avec la prédiction théorique : lorsque la variance est faible, la décroissance est inutile et un taux constant plus élevé accélère la réduction du biais.
Comparaison avec WSD : Le programme WSD affiche des performances comparables à la décroissance cosinusale et aux méthodes « anytime » proposées. Cependant, le WSD n'est pas strictement sans horizon car il nécessite de sauvegarder des points de contrôle à 90 % du cycle pour initier la phase de décroissance, tandis que les méthodes proposées ne nécessitent aucune intervention de ce type.

Signification et affirmations

Le papier affirme que le moyennage des poids combiné à des tailles de pas simples et sans horizon offre une alternative pratique et efficace aux programmes de taux d'apprentissage de type décroissance cosinusale pour le préentraînement des grands modèles de langage.

Praticité : La méthode proposée élimine la nécessité de connaître le budget total d'entraînement à l'avance, facilitant un entraînement véritablement continu et ouvert.
Simplicité : Les programmes sont moins coûteux en calcul que le WSD (pas de surcharge de point de contrôle pour l'initiation de la décroissance) et plus faciles à implémenter que l'amortissement cosinusal dépendant de l'horizon.
Fondement théorique : Le succès empirique est soutenu par une analyse théorique rigoureuse dans le régime de la régression linéaire, suggérant que les bénéfices de ces programmes ne sont pas de simples artefacts empiriques mais découlent de propriétés fondamentales d'optimisation dans les environnements sur-paramétrés.

Les auteurs restent modestes, notant que leurs limites théoriques ne correspondent aux taux minimax qu'à des constantes et des facteurs logarithmiques près, et que leurs conclusions empiriques sont actuellement limitées à des tailles de modèles spécifiques (150M/300M) et des optimiseurs particuliers (AdamW sans décroissance de poids). Ils identifient comme travail futur la compréhension de la sélection automatique du point de réglage optimal (par exemple, 4 $\times$ Chinchilla) et l'extension de ces découvertes à des échelles plus vastes et à différents optimiseurs.