Résumé Technique : ExpRL : RL Exploratoire pour le Mid-Training des LLM

1. Énoncé du Problème

L'apprentissage par renforcement (RL) est devenu un mécanisme standard pour améliorer le raisonnement des grands modèles de langage (LLM), particulièrement pour les tâches avec des récompenses binaires éparses (ex: exactitude de la réponse finale). Cependant, le succès du RL à récompense éparse dépend de manière critique de la couverture du modèle de base : la masse de probabilité que le modèle assigne à des chemins de raisonnement productifs avant de commencer l'entraînement.

Si un modèle de base échantillonne rarement des étapes de raisonnement utiles ou des stratégies de résolution diverses pour des problèmes complexes, les récompenses éparses fournissent des signaux d'apprentissage insuffisants. Le modèle peut échouer à explorer au-delà de ses schémas de raisonnement initiaux, souvent sous-optimaux. Les stratégies actuelles de mid-training pour y remédier — telles que le réglage fin supervisé (SFT) sur des traces curatées ou l'auto-distillation — nécessitent souvent une spécification manuelle de compétences ou reposent sur l'imitation de tokens. Ces approches peuvent perturber les capacités de raisonnement natives du modèle ou échouer à généraliser à des stratégies de résolution de problèmes plus larges, nécessaires pour les tâches combinatoires ou mathématiques complexes.

Le défi central est d'automatiser l'« amorçage » d'un modèle de base pour augmenter sa couverture sur des chemins de raisonnement productifs (mesurée par $pass@k$) sans recourir à l'imitation, créant ainsi une initialisation plus forte pour un RL ultérieur à récompense éparse.

2. Méthodologie : Exploratory RL (ExpRL)

ExpRL est une approche de mid-training basée sur le RL on-policy qui utilise des solutions de référence non pas comme cibles d'imitation, mais comme des échafaudages de récompense (reward scaffolds). La méthode opère sur un ensemble de problèmes difficiles $\mathcal{D}_{mid}$ associés à des solutions de référence $y^*$.

Principe de Conception Fondamental

Au lieu d'exposer les solutions de référence à la politique comme des démonstrations (ce qui biaiserait la politique vers l'imitation), ExpRL cache les références à la politique. La politique échantillonne des trajectoires $y$ uniquement à partir de l'invite du problème $x$. Un juge LLM compare ensuite la trajectoire échantillonnée à la référence cachée $y^*$ pour assigner des récompenses denses. Cela exploite l'écart entre vérification et génération (« verification-generation gap »), où les LLM sont souvent meilleurs pour vérifier un progrès partiel par rapport à une référence que pour générer une solution correcte à partir de zéro.

Mécanismes de Récompense

ExpRL définit deux variantes de récompenses denses :

1. ExpRL-Outcome : Assigne un score gradué et dense à l'intégralité du déroulement basé sur l'alignement avec la solution de référence. Le juge évalue l'ensemble de la trace par rapport à une grille d'évaluation, fournissant un retour même si la réponse finale est incorrecte. Cela récompense la correction partielle et les réductions intermédiaires utiles.
2. ExpRL-Process : Assigne des scores denses aux préfixes intermédiaires du déroulement. Pour améliorer l'attribution de crédit, la méthode calcule des avantages par segment $A_t$. Un segment reçoit un avantage positif uniquement s'il améliore le score d'alignement du juge par rapport au préfixe précédent ($s_t - s_{t-1}$), encourageant la politique à construire sur le progrès intermédiaire et pénalisant la régression.

Optimisation

La politique $\pi_\theta$ est optimisée en utilisant du RL on-policy (GRPO pour les récompenses de résultat, REINFORCE pour les récompenses de processus) avec un terme de régularisation KL par rapport à la politique de base $\pi_0$. L'objectif maximise l'espérance de la récompense dense tout en restant dans un espace KL accessible du modèle de base :
$$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$$

Application Aval

Après le mid-training, la politique amorcée sert d'initialisation pour une phase de RL à récompense éparse de Stade II standard sur un ensemble de données en aval $\mathcal{D}'$. Dans cette étape, toute information de référence est supprimée, et le modèle est entraîné en utilisant uniquement des récompenses binaires de réponse finale.

3. Contributions Clés

• Construction Automatisée de la Couverture : ExpRL propose une méthode pour élargir automatiquement la couverture du modèle sur des chemins de raisonnement productifs en utilisant les solutions de référence comme échafaudages de récompense plutôt que comme cibles d'imitation.
• Échafaudage de Récompense Dense : L'article introduit un mécanisme pour convertir les solutions de référence en grilles d'évaluation denses et spécifiques au problème via un juge LLM, permettant de renforcer le progrès partiel et les réductions intermédiaires que les récompenses éparses manquent.
• Attribution de Crédit au Niveau du Processus : En utilisant la notation par préfixe et les avantages par segment, ExpRL fournit un feedback granulaire sur la qualité des étapes de raisonnement, encourageant des comportements tels que la décomposition et l'auto-correction.
• Validation Empirique de l'Amorçage : Le travail démontre qu'ExpRL produit une initialisation supérieure pour le RL à récompense éparse en aval par rapport aux bases SFT, GRPO à récompense éparse et l'auto-distillation.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de raisonnement mathématique exigeantes (AIME, HMMT, IMO-AnswerBench) et étendues à des contextes mixtes (sciences, codage).

• Performance Aval : Les modèles initialisés avec ExpRL ont atteint des scores $pass@1$ et $pass@k$ plus élevés sur des benchmarks hors échantillon après le RL de Stade II par rapport à toutes les bases. Notamment, sur AIME 2026, ExpRL-Process a atteint une précision de 63,41 %, surpassant la meilleure base (GRPO) qui était de 58,75 %.
• Améliorations de Stade I : Même avant le RL en aval, les modèles amorcés par ExpRL ont montré des améliorations significatives de $pass@1$ et $pass@16$ sur la distribution de mid-training, indiquant que la méthode réussit à étendre l'ensemble des problèmes solubles que le modèle peut échantillonner.
• Changements Comportementaux : L'analyse des comportements de raisonnement a révélé qu'ExpRL augmente la fréquence des comportements orientés recherche tels que la vérification, l'auto-correction et le retour en arrière (backtracking) par rapport au modèle de base. En revanche, le SFT tend à réduire les comportements de vérification.
• Domaine Mixte et Scalabilité du Juge :
  • ExpRL-Outcome a réussi à améliorer une politique de 8B plus grande en utilisant un juge plus petit de 4B à travers les domaines mathématiques, scientifiques et de codage, suggérant que le juge n'a pas besoin d'égaler l'échelle de la politique s'il est conditionné par une référence.
  • Limitation en Codage : ExpRL a montré des résultats mitigés sur les tâches de codage (LiveCodeBench). Bien qu'il ait amélioré la politique de base, le GRPO à récompense basée sur l'exécution est resté plus performant. Les auteurs attribuent cela au fait que les récompenses de codage reposent fortement sur la justesse fonctionnelle (exécution) plutôt que sur l'échafaudage de solution de référence, où le progrès partiel est plus difficile à définir via un chemin de référence.
• Fiabilité de la Récompense : Des tests de calibration ont confirmé que le signal de récompense dense dépend de la présence d'une référence correcte et adaptée au problème. Supprimer la référence ou utiliser une mauvaise référence dégradait considérablement la capacité du juge à discriminer entre les déroulements corrects et incorrects.

5. Signification et Revendications

L'article affirme qu'ExpRL répond au « goulot d'étranglement de l'exploration » dans le RL des LLM en déplaçant la charge de l'exploration vers la phase de mid-training. En récompensant le progrès partiel et les diverses stratégies de raisonnement via des récompenses denses guidées par la référence, ExpRL construit un « a priori d'exploration » plus fort.

Les auteurs soutiennent que cette approche est supérieure à l'imitation de mid-training (SFT) car elle évite les pièges de la clonation de traces que le modèle de base pourrait ne pas générer naturellement, ce qui peut mener à un décalage de distribution et à l'instabilité. Au lieu de cela, ExpRL maintient la politique sur sa propre distribution tout en la guidant vers des régions productives de l'espace de solution.

Ce travail positionne ExpRL comme une interface d'amorçage générale qui peut être combinée avec d'autres stratégies d'exploration (ex: génération guidée par préfixe) et suggère que la clé pour passer à l'échelle du RL sur des problèmes difficiles réside dans le fait de s'assurer que le modèle de base possède une couverture suffisante de chemins de raisonnement productifs avant que l'optimisation par récompense éparse ne commence. L'article reste modeste, notant que la méthode nécessite des données de référence auxiliaires et que son efficacité varie selon le domaine (étant par exemple moins critique pour le codage où un feedback d'exécution est disponible).