🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

Cette étude démontre que l'approche classique « SFT puis RL » surpasse les méthodes de politiques mixtes grâce à la correction de deux bugs logiciels majeurs qui faussaient les résultats de référence précédents.

Auteurs originaux : Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Malentendu de l'Intelligence Artificielle : Pourquoi les "Nouveaux Méthodes" n'étaient en fait que des erreurs de calcul

Imaginez que vous essayez de former un champion de mathématiques. Il existe deux grandes écoles de pensée pour l'entraîner :

La méthode classique (SFT puis RL) : On lui donne d'abord des manuels de cours parfaits pour qu'il apprenne les bases (c'est le SFT). Une fois qu'il a compris les règles, on le laisse faire des exercices et on le félicite quand il trouve la bonne réponse (c'est le RL).
La méthode "Mixte" (la nouvelle mode) : On essaie de lui donner les cours et de le laisser faire des exercices en même temps, pour qu'il apprenne "en direct".

Récemment, de nombreux chercheurs ont publié des articles affirmant que la méthode Mixte était révolutionnaire et bien meilleure que la méthode classique. Mais cette nouvelle étude vient de prouver que tout cela était basé sur un énorme malentendu.

1. Le problème : Un entraîneur qui "oublie" la moitié des leçons

L'étude a découvert que les chercheurs qui utilisaient la méthode classique commettaient, sans le savoir, deux erreurs techniques majeures dans leurs logiciels d'entraînement.

L'analogie du cahier de brouillon (Le bug de l'optimiseur) : Imaginez qu'un élève travaille sur 10 pages de calculs. Mais à cause d'un bug informatique, l'entraîneur ne regarde que la toute première page et ignore les 9 autres. L'élève travaille dur, mais l'entraîneur ne reçoit que 10 % de l'effort. Résultat ? L'élève semble très mauvais, alors qu'il est juste mal évalué.
L'analogie de la moyenne truquée (Le bug de l'agrégation) : Imaginez que vous donnez un examen de 10 questions à un élève, et un autre de 2 questions à un autre. Si vous faites la moyenne en disant que chaque examen "vaut un point" sans regarder le nombre de questions, vous faussez totalement le résultat. C'est ce qui arrivait aux logiciels : ils donnaient trop d'importance à certains petits morceaux de données et pas assez aux autres.

Résultat : La méthode classique semblait médiocre parce que les outils utilisés pour la tester étaient "cassés".

2. La révélation : La méthode classique est en fait la championne

Une fois que les chercheurs ont réparé ces bugs (en "nettoyant les lunettes" de l'entraîneur), la réalité a éclaté : la méthode classique (Apprendre d'abord, puis s'exercer) est largement supérieure aux méthodes mixtes.

Non seulement elle est plus intelligente (elle obtient de bien meilleurs scores en mathématiques), mais elle est aussi beaucoup plus efficace.

L'analogie de la fondation : C'est comme construire une maison. Les méthodes "mixtes" essaient de poser les briques et de peindre les murs en même temps. C'est instable. La méthode classique, elle, construit d'abord des fondations en béton armé (le SFT), puis elle s'occupe de la décoration (le RL). La maison est bien plus solide et on finit le travail beaucoup plus vite.

3. Pourquoi est-ce important ?

Cette étude est un rappel crucial pour le monde de la science : "Vérifiez vos outils avant de prétendre avoir découvert une nouvelle loi de la nature."

Si les logiciels que tout le monde utilise pour entraîner l'IA contiennent des erreurs invisibles, des pans entiers de la recherche actuelle pourraient être basés sur des illusions. Les auteurs nous disent : "Ne cherchez pas forcément la méthode la plus complexe ou la plus exotique ; parfois, faire les choses dans le bon ordre avec des outils bien réglés est la clé du succès."

En résumé : Les chercheurs pensaient avoir trouvé une nouvelle recette magique pour l'IA, mais ils avaient juste oublié de régler le thermostat de leur four. Une fois le four réparé, la recette de grand-mère s'est avérée être la meilleure !

Résumé Technique : "SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning"

Problématique

Depuis l'émergence de modèles de raisonnement comme OpenAI o1 et DeepSeek-R1, la méthode standard de post-entraînement consiste en un pipeline en deux étapes : le SFT (Supervised Fine-Tuning) sur des traces de raisonnement expertes, suivi du RL (Reinforcement Learning) pour affiner la stratégie de résolution.

Récemment, de nombreuses publications ont proposé des méthodes de "politique mixte" (mixed-policy), qui tentent de mélanger les signaux de SFT et de RL au cours d'une seule phase d'entraînement. Ces travaux prétendent surpasser le pipeline classique SFT $\rightarrow$ RL. Cependant, les auteurs de ce papier soutiennent que ces gains sont illusoires et reposent sur des baselines (références) de SFT défaillantes dues à des bugs critiques dans les frameworks de calcul largement utilisés.

Méthodologie et Découverte de Bugs

Les auteurs ont identifié deux bugs majeurs dans les frameworks open-source (DeepSpeed, OpenRLHF, Llama-Factory, TRL) qui dégradent silencieusement la qualité du SFT :

Bug de l'optimiseur avec déchargement CPU (DeepSpeed) : Lors de l'utilisation de l'optimiseur Adam avec déchargement sur CPU (CPU-offloading) pour économiser de la mémoire GPU, une erreur dans la routine d'accumulation de gradients fait que seuls les gradients du premier micro-batch sont réellement transmis à l'optimiseur. Les gradients des micro-batches suivants sont accumulés sur le GPU mais ne sont jamais copiés vers le CPU. Cela affaiblit considérablement l'apprentissage.
Bug d'agrégation de la perte (OpenRLHF, Llama-Factory, verl) : Au lieu de calculer la moyenne réelle par jeton (per-token mean), le framework calcule une moyenne des moyennes par mini-batch. Comme les réponses ont des longueurs variables, cela accorde un poids incorrect aux mini-batches, ce qui introduit une instabilité et une dégradation de la performance.

Pour valider leurs conclusions, les auteurs ont réimplémenté les pipelines en corrigeant ces bugs et ont comparé les résultats sur deux familles de modèles : Qwen2.5-Math-7B et Llama-3.1-8B.

Contributions Clés

Identification et correction de bugs systémiques : Les auteurs ont corrigé les erreurs dans DeepSpeed et OpenRLHF (et ont soumis des Pull Requests pour les intégrer officiellement).
Démystification des méthodes de politique mixte : Ils démontrent que les avantages rapportés par les méthodes comme LUFFY ou ReLIFT disparaissent une fois que le SFT de référence est correctement exécuté.
Optimisation de l'efficacité : Ils prouvent qu'un pipeline SFT $\rightarrow$ RL bien exécuté est non seulement plus performant, mais aussi plus efficace en termes de calcul (FLOPs).

Résultats Principaux

Supériorité du pipeline classique : Une fois les bugs corrigés, le pipeline SFT $\rightarrow$ RL surpasse toutes les méthodes de politique mixte évaluées. Sur Qwen2.5-Math-7B, il dépasse la meilleure méthode mixte (SRFT) de +3,8 points sur les benchmarks mathématiques. Sur Llama-3.1-8B, l'écart est massif : +22,2 points.
Efficacité de calcul : Les auteurs ont montré qu'une version tronquée du pipeline (seulement 50 étapes de RL au lieu de 500) suffit pour surpasser les méthodes mixtes tout en utilisant beaucoup moins de FLOPs.
Dynamique d'apprentissage : Le SFT prépare le modèle en lui injectant les connaissances nécessaires, ce qui permet au RL de commencer avec un signal de récompense "dense" (le modèle réussit déjà certaines tâches). À l'inverse, les méthodes mixtes partent de zéro et luttent avec un signal de récompense très "sparse" (rare), ce qui ralentit l'apprentissage.

Signification et Implications

Cette étude est cruciale pour la communauté de l'IA pour deux raisons :

Rigueur scientifique : Elle souligne le danger des "bugs silencieux" dans les frameworks de deep learning distribué, qui peuvent invalider des recherches entières en faussant les comparaisons de performance.
Validation du paradigme SFT $\rightarrow$ RL : Elle réaffirme la robustesse de l'approche séquentielle (SFT puis RL) comme étant la méthode la plus efficace et la plus stable pour développer des capacités de raisonnement complexes dans les LLM, plutôt que de chercher à fusionner les deux étapes de manière complexe.