📊 statistics

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

Ce papier présente ScheduleFree+, une méthode sans taux d'apprentissage ni calendrier qui parvient à étendre avec succès l'apprentissage sans calendrier aux grands modèles de langage, surpassant nettement les calendriers d'entraînement les plus avancés tels que Warmup-Stable-Decay, en particulier dans les scénarios d'entraînement de longue durée.

Auteurs originaux : Aaron Defazio

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aaron Defazio

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot géant et surintelligent (un Modèle de Langage) comment parler la langue humaine. Pour ce faire, vous lui montrez des milliards de phrases et lui laissez deviner le mot suivant, en corrigeant ses erreurs encore et encore.

Pendant longtemps, la méthode standard pour enseigner à ce robot consistait à utiliser un Calendrier de Taux d'Apprentissage. Imaginez cela comme un professeur strict qui commence le cours avec une voix très forte et énergique (taux d'apprentissage élevé) pour attirer l'attention du robot, puis chuchote lentement et s'éteint (taux d'apprentissage faible) à la fin du cours. Le problème ? Vous devez deviner exactement quand commencer à chuchoter et à quelle vitesse vous éteindre. Si vous vous trompez, le robot apprend mal.

Ce papier présente une nouvelle méthode appelée ScheduleFree+. Au lieu d'un professeur qui change le volume de sa voix au fil du temps, cette méthode utilise une technique de « moyennage intelligent » qui permet au robot d'apprendre à un rythme constant et confiant, sans avoir besoin d'un calendrier complexe.

Voici comment le papier explique la magie derrière ScheduleFree+, en utilisant des analogies simples :

1. L'astuce du « Moyennage Intelligent » (L'idée centrale)

Dans l'entraînement traditionnel, le robot met à jour son cerveau en se basant sur la tout dernière chose qu'il a vue. C'est comme un étudiant qui ne se souvient que de la dernière question posée en classe.

Schedule-Free change cela. Il maintient deux versions du cerveau du robot :

Le Cerveau « Actif » ( $z$ ) : C'est le robot qui se met à jour en temps réel, apprenant des dernières erreurs.
Le Cerveau « Moyen » ( $x$ ) : C'est une version calme et stable qui se souvient de la moyenne de tout ce que le robot a appris jusqu'à présent.

La magie opère parce que le robot ne regarde pas seulement le cerveau « Actif » pour décider quoi faire ensuite. Il regarde un mélange du cerveau « Actif » et du cerveau « Moyen ».

Analogie : Imaginez que vous naviguez sur un navire. Le cerveau « Actif » est le capitaine regardant les vagues en ce moment même (très réactif). Le cerveau « Moyen » est le navigateur regardant la carte de tout le voyage jusqu'à présent (très stable). La nouvelle méthode dit au capitaine de diriger en se basant sur un mélange des deux. Cela empêche le navire de dévier sauvagement lorsqu'il heurte une petite vague, menant à un voyage beaucoup plus fluide et rapide.

2. Pourquoi cela échouait auparavant (Le problème du « Gros Lot »)

Les auteurs ont découvert que, bien que ce « Moyennage Intelligent » fonctionne très bien pour les petits robots, il échouait lorsqu'ils essayaient d'entraîner des robots géants avec de gros lots de données.

Le Problème : Lorsque vous donnez trop de données au robot d'un coup (un gros « lot »), le cerveau « Actif » se confond et commence à vaciller, provoquant un crash de l'entraînement.
La Solution : Ils ont ajouté une Momentum Interne. Imaginez cela comme donnant au robot un peu d'« inertie » ou de « momentum ». Tout comme un camion lourd est plus difficile à arrêter et à tourner qu'un vélo, ajouter du momentum aide le robot à rester sur sa voie même lorsque les données sont énormes et bruyantes. Cela leur a permis de passer à l'échelle de cette méthode pour des modèles massifs.

3. La Vitesse « Auto-Réglable » (Plus de Devinettes)

Habituellement, les humains doivent régler manuellement la vitesse à laquelle le robot apprend. Le papier introduit une Taille de Pas Polyak, qui est comme un compteur de vitesse autonome.

Comment cela fonctionne : Au lieu qu'un humain fixe la vitesse, le robot regarde à quel point il est « confus » (la taille de ses erreurs) et ajuste automatiquement sa vitesse. Si les erreurs sont grandes, il ralentit pour réfléchir soigneusement. Si les erreurs sont petites, il accélère.
Le Résultat : Vous n'avez plus besoin de deviner le taux d'apprentissage. La méthode est « sans taux d'apprentissage », ce qui signifie qu'elle trouve elle-même la vitesse parfaite.

4. Correction des « Dérives » des Poids

Le papier a découvert un effet secondaire étrange : lorsqu'on utilise cette nouvelle méthode, les « poids » internes du robot (la force de ses connexions) grandissent parfois trop ou rétrécissent trop, rendant le robot instable.

L'Analogie : Imaginez que les cellules du cerveau du robot deviennent trop grosses, étirant les fils jusqu'à ce qu'ils se cassent.
La Solution : Ils ont appliqué une correction spéciale « inverse-gradient ». Imaginez cela comme un régulateur intelligent qui resserre les vis chaque fois que les cellules du cerveau du robot tentent de devenir trop grosses, maintenant tout stable et empêchant les fils de se casser. Cela permet au robot d'entraîner beaucoup plus longtemps sans se briser.

5. Les Ajustements de « Réchauffement » et de « Refroidissement »

Pour que cela fonctionne parfaitement lors de longues sessions d'entraînement, ils ont ajouté deux touches finales :

Démarrage à Chaud : Au tout début, ils laissent le robot apprendre normalement sans l'astuce du « moyennage » pendant un court moment. C'est comme laisser un coureur faire quelques tours de piste avant de commencer la course, pour qu'il ne trébuche pas au départ.
Recuit du Beta : Au fur et à mesure que l'entraînement progresse, ils changent lentement le « mélange » entre les cerveaux Actif et Moyen. Au début, ils écoutent davantage le cerveau Actif (pour apprendre vite). Plus tard, ils écoutent davantage le cerveau Moyen (pour être précis). C'est comme un étudiant qui commence par prendre des notes frénétiquement, mais qui, à la fin du semestre, se fie davantage à son guide d'étude bien organisé.

Le Grand Résultat

Lorsqu'ils ont testé ScheduleFree+ sur des modèles de langage massifs :

C'était plus rapide : Pour atteindre le même niveau d'intelligence, cela a pris 31 % de temps en moins que les meilleures méthodes existantes.
C'était plus stable : La courbe d'apprentissage était lisse et prévisible, contrairement aux courbes irrégulières et cahoteuses des anciennes méthodes.
Cela fonctionne pour un entraînement « À Tout Moment » : Vous pouvez arrêter l'entraînement à n'importe quelle seconde, et le robot sera à son état le meilleur possible pour ce moment. Vous n'avez pas besoin d'attendre une « fin de calendrier » spécifique pour obtenir un bon modèle.

En résumé : Le papier montre qu'en mélangeant les pensées actuelles du robot avec ses pensées moyennes, en ajoutant un peu de momentum pour la stabilité, et en laissant le robot ajuster sa propre vitesse, nous pouvons entraîner des modèles d'IA géants plus rapidement, plus fluidement et sans avoir besoin que les humains ajustent constamment les paramètres.

Résumé technique : Mise à l'échelle de l'apprentissage sans taux d'apprentissage et sans calendrier (Schedule-Free) pour les grands modèles de langage avec ScheduleFree+

1. Énoncé du problème

L'optimisation traditionnelle en apprentissage automatique repose fortement sur des calendriers de taux d'apprentissage (par exemple, décroissance linéaire, cosinus, échauffement-stabilité-décroissance) pour assurer la convergence. Bien que efficaces, ces méthodes nécessitent un réglage important et entraînent souvent des courbes d'entraînement instables ou imprévisibles. Les méthodes d'apprentissage « sans calendrier » (Schedule-Free) récentes, qui remplacent les calendriers par une moyenne agressive des itérés, ont montré des promesses sur des benchmarks à petite échelle, mais ont historiquement échoué à s'adapter à l'entraînement des grands modèles de langage (LLM). Plus précisément, les implémentations antérieures de Schedule-Free souffraient de :

Divergence aux grandes tailles de lot : Les performances se dégradaient considérablement lorsque les tailles de lot dépassaient les limites à petite échelle.
Dérive de la norme du gradient : La méthode nécessitait des valeurs de décroissance des poids (weight decay) exceptionnellement faibles pour fonctionner, entraînant des normes de poids instables et de mauvaises performances lors d'entraînements de longue durée.
Convergence sous-optimale sur les longues périodes : La méthode ne tirait pas pleinement parti des avantages de la moyenne sur des horizons d'entraînement étendus (par exemple, 1000 tokens par paramètre).

L'article aborde le défi de la mise à l'échelle de l'apprentissage Schedule-Free pour égaler ou dépasser les performances des méthodes basées sur des calendriers à la pointe de l'art (SOTA) pour le préentraînement des LLM, visant une procédure d'entraînement stable, « à tout moment », ne nécessitant aucun réglage de taux d'apprentissage.

2. Méthodologie : ScheduleFree+

Les auteurs proposent ScheduleFree+, une méthode composite intégrant plusieurs modifications spécifiques à l'algorithme de base Schedule-Free pour le rendre robuste aux LLM. Les composants principaux sont :

A. Réintroduction de la momentum interne

Bien que le travail original sur Schedule-Free ait supprimé la momentum interne (par exemple, $\beta_1$ d'Adam) pour économiser de la mémoire, les auteurs ont constaté que cela était préjudiciable aux grandes tailles de lot.

Correction : Réintroduire la momentum interne (par exemple, $\beta_1 = 0,75$ ou $0,9$) dans l'optimiseur de base.
Effet : Cela restaure la robustesse aux grandes tailles de lot et permet des taux d'apprentissage plus élevés sans divergence, résolvant le « goulot d'étranglement de mise à l'échelle » observé dans AdamW Schedule-Free standard.

B. Pondération inverse de la norme du gradient (pas de Polyak)

L'apprentissage Schedule-Free standard nécessitait souvent une faible décroissance des poids pour compenser l'augmentation des normes de gradient, ce qui causait de l'instabilité. Les auteurs déduisent une correction théorique basée sur le pas de Polyak.

Mécanisme : Le pas $\gamma_t$ est mis à l'échelle inversement proportionnel à la norme L1 du gradient ( $\gamma_t \propto 1/\|g_t\|_1$ ).
Implémentation : Une moyenne mobile exponentielle (EMA) de la norme L1 du gradient est utilisée pour estimer le dénominateur, approxime la pondération optimale dérivée des bornes de regret convexe.
Résultat : Cette correction contrebalance la dérive du taux d'apprentissage effectif causée par les couches de normalisation, permettant l'utilisation de valeurs de décroissance des poids standard et plus élevées (par exemple, 0,05–0,5) qui stabilisent les normes de poids et préviennent le phénomène de « norme de poids rétrécissante » qui déstabilise les longues périodes d'entraînement.

C. Optimisation sans taux d'apprentissage via le pas de Polyak

S'appuyant sur la pondération inverse du gradient, les auteurs implémentent une variante entièrement sans taux d'apprentissage utilisant un pas de Polyak modifié :
$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$

Stabilité : Le numérateur utilise une estimation de l'écart de la valeur de la fonction ( $f(z_t) - f^*$ ) plutôt que l'itéré courant bruité, et le dénominateur utilise la norme L1 lissée. Cela évite les problèmes de dénominateur s'annulant courants dans les pas de Polyak stochastiques.
Adaptativité : Cette approche met automatiquement à l'échelle le taux d'apprentissage avec la taille de lot (suivant la mise à l'échelle $\sqrt{b}$ pour AdamW) et élimine le besoin de recherches manuelles de grille de taux d'apprentissage.

D. Stratégies de démarrage à chaud et de recuit

C-Warmup : Pour empêcher le tampon de moyenne de diluer les phases de convergence rapide et précoces, les auteurs retardent la mise à jour de la moyenne ( $c_t = 1$ ) pendant une période initiale (par exemple, $2\times$ la durée de l'échauffement du taux d'apprentissage).
Recuit du Beta : Le paramètre d'interpolation $\beta$ (mélangeant l'itéré courant $z_t$ et la moyenne $x_t$ ) est recuit d'une valeur inférieure (par exemple, 0,9) vers une valeur supérieure (par exemple, 0,965) au cours de l'entraînement. Cela capture une convergence initiale rapide tout en optimisant la réduction de la perte à long terme.
Moyenne pondérée ( $r=1$ ) : Pour les longues périodes, les poids de moyenne sont fixés à $r=1$ (poids augmentant linéairement) plutôt qu'à la valeur par défaut $r=0$ , ce qui accélère la convergence pour les problèmes non fortement convexes.

3. Résultats clés

Les auteurs ont mené des expériences de mise à l'échelle extensives sur des LLM allant de 120 M à 1 milliard de paramètres, entraînés sur jusqu'à 1000 tokens par paramètre.

Entraînement de longue durée (1000 TPP) : À cette échelle, ScheduleFree+ surpasse nettement à la fois les calendriers Warmup-Stable-Decay (WSD) et la décroissance linéaire.
- Efficacité : Il atteint la même perte finale qu'un calendrier de décroissance linéaire en 31 % de temps d'entraînement en moins (une réduction de 45 % des tokens nécessaires pour atteindre la perte cible).
- Stabilité : La méthode produit des courbes de perte lisses et prévisibles suivant un taux de décroissance théorique de $1/\sqrt{t}$ , permettant une prédiction précise de la perte finale à partir des données d'entraînement précoce.
Entraînement de courte durée (20–100 TPP) : ScheduleFree+ surpasse les calendriers WSD pour toutes les tailles de modèle. Par rapport à la décroissance linéaire, il égale ou sous-performe légèrement aux horizons très courts (20 TPP) en raison du temps nécessaire pour atteindre un état stable, mais se comporte généralement de manière compétitive.
Mise à l'échelle de la taille de lot : Avec la momentum interne, ScheduleFree+ s'adapte de manière robuste à des tailles de lot de 8 M, égalant les performances d'AdamW standard avec décroissance linéaire.
Stabilité de la norme des poids : En utilisant le pas de Polyak et une décroissance des poids plus élevée, la méthode maintient des normes de poids stables, évitant la divergence et les problèmes de quantification associés aux faibles valeurs de décroissance des poids requises par les méthodes Schedule-Free non modifiées.

4. Importance et revendications

L'article revendique que ScheduleFree+ fournit une fondation théorique pour la moyenne de modèles et la fusion de points de contrôle lors du préentraînement, comblant le fossé entre l'optimisation en ligne et la « soupe de modèles » hors ligne.

Entraînement à tout moment : Contrairement aux calendriers WSD, qui nécessitent une phase de recuit spécifique à la fin de l'entraînement pour réaliser des gains, ScheduleFree+ offre une véritable capacité « à tout moment ». Le modèle est utilisable et optimal à n'importe quel point d'arrêt sans phase de décroissance dédiée.
Élimination du réglage : La méthode supprime le besoin de recherches de grille de taux d'apprentissage, s'appuyant plutôt sur le pas de Polyak et la pondération inverse du gradient pour s'adapter automatiquement à la taille de lot et à la durée de l'entraînement.
Prévisibilité : Les auteurs soutiennent que les courbes de perte de l'apprentissage Schedule-Free ne sont pas seulement empiriquement stables mais théoriquement fondées, suivant étroitement le taux de convergence $1/\sqrt{t}$ prédit par la théorie de l'optimisation convexe, même dans le contexte non convexe des LLM.

En résumé, l'article démontre que grâce à des modifications spécifiques — momentum interne, pondération inverse du gradient et recuit adaptatif — l'apprentissage Schedule-Free peut être mis à l'échelle pour devenir une alternative supérieure, stable et sans réglage aux calendriers de taux d'apprentissage traditionnels pour l'entraînement des grands modèles de langage.