Résumé technique : Repenser l'exploitation des trajectoires d'experts dans le post-entraînement des LLM pour le raisonnement mathématique

Énoncé du problème

Le post-entraînement des modèles de langage de grande taille (LLM) pour le raisonnement mathématique est actuellement dominé par deux paradigmes : le réglage fin supervisé (SFT) et l'apprentissage par renforcement (RL). Alors que le SFT repose fortement sur des trajectoires d'experts (paires prompt-solution) pour inculquer des priors de raisonnement par imitation, les méthodes RL (par exemple, GRPO, DAPO) exploitent généralement des signaux de récompense pour explorer des chemins de raisonnement sans utiliser directement les trajectoires d'experts.

Malgré le consensus selon lequel les deux sont nécessaires, le mécanisme optimal pour exploiter les trajectoires d'experts afin de maximiser le plafond de performance final reste non résolu. Le domaine fait face à un « dilemme de paradigme » :

1. Approches synchronisées (Syn-SFT-RL) : Les méthodes récentes (par exemple, UPT, SRFT, LUFFY) intègrent la perte d'imitation directement dans la boucle RL, revendiquant une efficacité supérieure. Cependant, elles sont souvent contraintes par des échelles de données SFT limitées (par exemple, ~46K échantillons) et manquent de comparaisons rigoureuses par rapport à des baselines entraînées sur des ensembles de données significativement plus grands.
2. Approches séquentielles (SFT puis RL) : La norme industrielle implique un pipeline séquentiel. Cependant, les principes régissant cette approche sont largement empiriques. Des questions critiques restent sans réponse concernant le moment optimal pour passer du SFT au RL, l'impact de l'échelle des données par rapport à la difficulté, et si l'hypothèse « Moins c'est plus » (utiliser des données de haute qualité minimales) est vraie pour maximiser le plafond ultime de raisonnement.

Méthodologie : Le cadre Plasticité-Plafond

Pour combler ces lacunes, les auteurs proposent le cadre Plasticité-Plafond, une approche analytique unifiée qui décompose le plafond de performance théorique du post-entraînement ($A_{post}$) en deux composants mesurables :

1. Performance SFT ($P_{sft}$) : La performance réalisée atteinte après la phase SFT étant donnée une allocation de calcul spécifique ($x_{sft}$).
2. Plasticité RL ($P_{L_{rl}}$) : L'amélioration potentielle maximale réalisable via un RL ultérieur, définie comme la différence entre le plafond asymptotique et la baseline SFT ($A_{post} - P_{sft}$).

Le cadre modélise la performance du post-entraînement comme une fonction du calcul RL en utilisant une loi sigmoïde, permettant la décomposition quantitative du plafond final. Cela permet aux auteurs d'évaluer systématiquement comment les propriétés des données SFT (échelle et difficulté) et les dynamiques d'entraînement influencent à la fois le fondement ($P_{sft}$) et la marge de progression ($P_{L_{rl}}$).

Configuration expérimentale

L'étude réalise des benchmarks extensifs sur Qwen2.5-7B et Llama3.2-3B à travers six benchmarks mathématiques (GSM8K, OlympiadBench, Minerva, MATH, AIME24/25) et des tâches hors domaine (OOD) (GPQA-Diamond, ARC-C).

• Ensembles de données : Les auteurs constituent des ensembles de données SFT allant de 1K à 889K échantillons uniques, dérivés des sorties distillées de DeepSeek-R1. Ceux-ci incluent des variantes d'échelle (S1K, Uniform102K, SFT889K) et des variantes de difficulté (Easy102K, Uniform102K, Hard102K).
• Baselines : L'étude compare SFT pur, RL pur (GRPO, DAPO), Syn-SFT-RL (LUFFY, SRFT, UPT, Prefix-RFT) et le pipeline séquentiel SFT puis RL.
• Métriques : La performance est mesurée via la précision pass@1, les coûts de calcul étant normalisés en FLOPs (exaFLOPs).

Résultats clés

1. Sélection du paradigme : Domination séquentielle

Le pipeline séquentiel SFT puis RL est établi comme la norme supérieure.

• Limites des Syn-SFT-RL : Les méthodes synchronisées présentent une instabilité d'entraînement et une convergence prématurée. Elles sont hautement sensibles aux priors du modèle et ne parviennent pas à s'étendre efficacement par rapport aux baselines séquentielles optimisées sur des ensembles de données plus grands.
• L'avantage « Lent mais élevé » : Le SFT pur démontre une amélioration continue avec un entraînement extensif, atteignant un pic significativement plus élevé que les plafonds des méthodes RL pur ou Syn-SFT-RL. Crucialement, la transition vers le RL après la saturation du SFT débloque des gains supplémentaires, atteignant la frontière de performance la plus élevée (par exemple, 78,1 points sur Qwen2.5-7B contre 74,3 pour le RL pur).

2. Moment optimal de transition : Saturation SFT

La stratégie optimale pour passer du SFT au RL est d'attendre le Régime Stable ou le Régime de Surapprentissage Léger de la perte de validation SFT.

• Transition prématurée : Changer pendant le Régime Adaptatif (sous-ajustement) produit des plafonds sous-optimaux car le modèle manque des compétences fondamentales requises pour que le RL puisse récupérer.
• Surapprentissage sévère : Continuer le SFT jusqu'au Régime de Surapprentissage Sévère provoque un effondrement de la plasticité RL, préjudiciable au plafond final.
• Généralisation : Entraîner le SFT jusqu'à la saturation établit un fondement robuste pour la généralisation hors domaine (OOD), contredisant les affirmations selon lesquelles un SFT intensif dégrade la généralisation.

3. Propriétés des données : Échelle et difficulté

L'étude réfute l'hypothèse « Moins c'est plus » dans le contexte de l'extension SFT puis RL.

• L'échelle domine : L'échelle des données est le déterminant principal du plafond de performance final. Alors que les petits ensembles de données (par exemple, S1K) réalisent des gains initiaux rapides, ils saturent prématurément. Les ensembles de données à grande échelle (par exemple, SFT889K) fournissent à la fois une performance SFT réalisée plus élevée et une plasticité RL préservée plus grande, conduisant à un plafond significativement plus élevé.
• La difficulté comme multiplicateur : La difficulté des trajectoires agit comme un multiplicateur de performance. Des données plus difficiles (Hard102K) produisent une performance SFT plus élevée et maintiennent une plasticité comparable aux données plus faciles, les rendant le choix supérieur lorsque l'échelle est fixe.
• Indicateur prédictif : La Perte de Validation Minimale de la phase SFT sert d'indicateur fiable et robuste pour le plafond final du post-entraînement, corrélant fortement avec la performance ultime ($A_{post}$).

Importance et contributions

L'article prétend transformer l'optimisation des trajectoires d'experts d'un jeu de devinettes empirique en un processus systématique et prévisible. Ses contributions principales sont :

1. Le cadre Plasticité-Plafond : Un mécanisme théorique qui décompose la performance du post-entraînement en gains SFT réalisés et plasticité RL ultérieure, offrant une vue unifiée pour la sélection de paradigme.
2. Benchmarking rigoureux : Établir le pipeline séquentiel SFT puis RL comme la norme rigoureuse pour la stabilité et la performance, surpassant les approches synchronisées et les méthodes pures.
3. Directives d'extension actionnables :
   • Timing : Initier le RL à la saturation SFT (Régime Stable).
   • Stratégie de données : Prioriser l'échelle des données par rapport à la difficulté pour maximiser le plafond ; utiliser la difficulté pour optimiser dans le cadre de contraintes d'échelle limitées.
   • Surveillance : Utiliser la Perte de Validation Minimale comme proxy pour le plafond de performance final.

Les auteurs concluent que ces résultats fournissent des directives actionnables pour extraire la valeur maximale des trajectoires d'experts, spécifiquement pour les tâches de raisonnement mathématique utilisant des trajectoires de style R1. Ils reconnaissent des limites concernant la généralisation à des tâches non vérifiables (par exemple, écriture créative) ou à des styles de trajectoires alternatifs, laissant ces questions ouvertes pour un travail futur.