Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

Résumé technique : L'entraînement intermédiaire avec des données auto-générées améliore l'apprentissage par renforcement dans les modèles de langage

Énoncé du problème
Les récents progrès des grands modèles de langage (LLM) ont mis en évidence l'apprentissage par renforcement (RL) comme une technique puissante pour améliorer les capacités de raisonnement, notamment grâce à la mise à l'échelle au moment de l'inférence. Cependant, l'efficacité du RL dépend fortement des a priori établis dans le modèle avant l'entraînement par RL. La littérature existante suggère que le RL avec des récompenses vérifiables (RLVR) opère souvent un « affinement distributionnel », amplifiant sélectivement des comportements déjà présents dans le modèle de base plutôt que d'induire de véritables nouvelles capacités. Lorsqu'un modèle n'a pas été exposé à des approches de résolution de problèmes diversifiées pour une tâche unique, l'entraînement RL ultérieur peut peiner à améliorer les performances, voire les dégrader sous certaines métriques d'évaluation (par exemple, pass@k). Le défi central abordé consiste à équiper efficacement un modèle de base d'un ensemble riche de stratégies de raisonnement diversifiées avant d'appliquer le RL, permettant ainsi au processus RL de composer et d'affiner ces stratégies plutôt que de simplement renforcer un ensemble restreint de comportements existants.

Méthodologie
Les auteurs proposent un cadre d'entraînement intermédiaire (mid-training) qui sert d'étape intermédiaire entre le pré-entraînement et le RL. Cette phase utilise des données auto-générées diversifiées pour exposer le modèle à plusieurs trajectoires de solutions valides pour un même problème.

1. Génération de données guidée par des heuristiques :

   • Le cadre s'inspire des heuristiques de résolution de problèmes de George Pólya (par exemple, Analogie, Décomposition et recomposition, Travailler à rebours).
   • Pour chaque question d'un ensemble de données initial (GSM8K), le modèle de base est sollicité avec des descriptions spécifiques d'heuristiques et des exemples few-shot pour générer plusieurs réponses candidates.
   • Ce processus est amorcé : le modèle génère ses propres données d'entraînement sans dépendre de la distillation à partir de modèles enseignants plus puissants.
   • Filtrage et sélection : Les réponses générées sont filtrées pour leur exactitude à l'aide de vérificateurs basés sur des règles (par exemple, Math-Verify). Les candidats restants sont notés par un modèle de récompense ($R_\phi$) en fonction de leur conformité à l'heuristique spécifique. La réponse la mieux notée pour chaque paire question-heuristique est sélectionnée.
   • L'ensemble de données résultant ($D_{Pólya}$) contient $n$ variantes de solutions distinctes par question, où $n$ représente le nombre d'heuristiques appliquées.

2. Entraînement intermédiaire (Affinement supervisé) :

   • Le modèle de base est affiné sur $D_{Pólya}$. Contrairement à l'affinement supervisé (SFT) standard qui associe une question à une seule réponse, cette approche associe chaque question à $n$ trajectoires diversifiées.
   • L'objectif est de minimiser la négation du logarithme de vraisemblance sur ces multiples trajectoires, encourageant le modèle à attribuer une probabilité non négligeable à diverses options de prochain token aux points de bifurcation, créant ainsi efficacement une distribution de prochain token N-modale.

3. Apprentissage par renforcement :

   • Après l'entraînement intermédiaire, le modèle subit un entraînement RL utilisant l'optimisation de politique relative par groupes (GRPO) sur un ensemble de données séparé (DAPO-Math-17k).
   • L'étude compare des modèles initialisés avec un nombre variable d'heuristiques ($n \in \{1, 2, \dots, 64\}$) à des références : Zero-Shot, RL pur (directement sur le modèle de base) et STaR+RL (Raisonneur auto-enseigné suivi de RL).

Perspective théorique
L'article fournit une analyse théorique de la manière dont l'entraînement intermédiaire influence les mises à jour du gradient de politique :

• Régimes unimodaux vs N-modaux : Dans un régime unimodal (confiance élevée en un seul token), une mise à jour de gradient de politique entraîne des changements négligeables ($\propto \epsilon^2$). En revanche, dans un régime N-modal (masse de probabilité répartie entre $N$ modes dominants), la mise à jour induit des changements conservateurs mais appréciables ($\propto 1/N$).
• Composition des stratégies : Les auteurs prouvent que sous une mise à jour d'avantage négatif, la masse de probabilité retirée d'un token échantillonné est redistribuée principalement vers les $N-1$ modes dominants restants. Ce mécanisme incite le modèle à apprendre à combiner différentes approches de résolution de problèmes au sein d'une seule réponse pendant le RL, plutôt que de s'effondrer vers une stratégie unique.

Résultats clés
Des expériences ont été menées sur Llama 3.2–3B–Instruct et Qwen2.5–7B–Instruct sur six benchmarks de raisonnement mathématique (Math-500, AIME 2024/2025, AMC 2023, HMMT 2025, OlympiadBench) et des tâches hors domaine (HumanEval, MuSR).

• Gains de performance : L'entraînement intermédiaire avec des données auto-générées diversifiées améliore constamment les performances du RL, en particulier pour des valeurs de $k$ plus élevées (pass@64).
  • Sur Math-500, le pass@64 est passé de 87,76 % (Zero-Shot) à 88,94 % ($n=64$).
  • Sur AIME 2025, le pass@64 est passé de 12,84 % à 18,66 %.
  • Les modèles entraînés intermédiairement avec une plus grande diversité de raisonnement ($n=64$) ont surpassé les références RL pur et STaR+RL sur tous les benchmarks.
• Diversité vs Quantité : Une expérience contrôlée a montré que l'apprentissage de multiples approches par question (moins de problèmes, plus d'approches) apporte plus de bénéfices au RL que l'apprentissage d'une seule approche sur un plus grand nombre de problèmes, étant donné un budget d'entraînement fixe.
• L'exactitude est essentielle : L'entraînement intermédiaire avec des approches diversifiées menant à des réponses incorrectes n'a pas permis d'améliorer les performances du RL, indiquant que l'exactitude est une condition préalable aux bénéfices de la diversité.
• Supériorité sur la distillation : Les données auto-générées ont présenté une plus grande diversité (Score Vendi 13,81) par rapport aux données distillées à partir d'un modèle enseignant plus puissant (QwQ-32B, Score Vendi 10,95), conduisant à de meilleures performances en aval.
• Généralisation : Malgré la nature centrée sur les mathématiques des heuristiques de Pólya, les stratégies apprises se sont généralisées à la génération de code (HumanEval) et au raisonnement narratif (MuSR), avec des gains significatifs sur les tâches de raisonnement multi-étapes.

Signification et affirmations
L'article affirme que la contribution principale réside dans la démonstration que l'exposition à plusieurs approches de résolution de problèmes via des données auto-générées lors de l'entraînement intermédiaire façonne fondamentalement les a priori du modèle, permettant au RL ultérieur de composer efficacement ces stratégies.

• Mécanisme d'amélioration : L'étude postule que le RL ne crée pas nécessairement des capacités de raisonnement « émergentes » à partir de zéro, mais compose plutôt des comportements existants. L'entraînement intermédiaire garantit que ces comportements sont diversifiés et disponibles pour la composition.
• Utilité pratique : L'approche offre une méthode simple, efficace et évolutive pour améliorer le RL sans nécessiter d'annotation humaine ni de modèles enseignants plus puissants.
• Insight théorique : Ce travail comble le fossé entre le succès empirique du RL et la compréhension théorique, montrant comment les distributions N-modales empêchent l'effondrement de mode et facilitent l'apprentissage de chaînes de raisonnement composées.

Les auteurs restent modestes concernant la précision sur un seul échantillon (pass@1), notant que leur objectif est de comprendre comment une exposition diversifiée façonne le comportement du RL et d'améliorer les performances dans des scénarios nécessitant plusieurs tentatives d'échantillonnage (pass@k). Ils reconnaissent que, bien que les heuristiques soient centrées sur les mathématiques, la généralisation résultante vers d'autres domaines suggère que la procédure fait émerger et consolide des capacités latentes au sein du modèle de base.