Résumé Technique : NUDGERL – Exploration Efficace Guidée par la Stratégie pour RLVR

1. Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme évolutif pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), notamment grâce à des méthodes comme l'optimisation de politique relative aux groupes (GRPO). Cependant, l'efficacité du RLVR est fondamentalement contrainte par l'exploration. La politique ne peut améliorer que les trajectoires qu'elle a déjà échantillonnées.

Les approches actuelles visant à atténuer cette limitation font face à des compromis significatifs :

• Mise à l'échelle par force brute : Augmenter le nombre de déroulements ($N$) améliore la probabilité de découvrir des trajectoires correctes rares, mais est prohibitif en termes de calcul. L'analyse théorique suggère que les trajectoires correctes de la queue de distribution décroissent lentement en probabilité, nécessitant des budgets exponentiellement grands pour être couvertes.
• Modification de l'objectif : Des techniques comme la régularisation par entropie ou le clipping découplé encouragent une exploration plus large au niveau de la distribution, mais offrent un contrôle limité sur ce qui est exploré, échouant souvent à garantir la couverture de stratégies de raisonnement sémantiquement significatives.
• Informations privilégiées : Les méthodes utilisant des solutions oracle ou des étapes intermédiaires (par exemple, POPE) améliorent la faisabilité mais reposent sur une supervision coûteuse et non évolutive. De plus, guider la politique vers des trajectoires réussies étroites et prédéfinies peut involontairement limiter la découverte de stratégies de raisonnement alternatives.

Le défi central consiste à réaliser une exploration structurée et pilotée par la diversité qui soit efficace sur le plan computationnel, évolutive et ne dépende pas de données oracle coûteuses.

2. Méthodologie : NUDGERL

Les auteurs proposent NUDGERL, un cadre conçu pour structurer l'espace de raisonnement grâce à un « Nudging de Stratégie ». Le cadre se compose de trois composants principaux :

A. Nudging de Stratégie (Exploration Structurée)

Au lieu de s'appuyer sur un échantillonnage naïf à partir d'une seule invite, NUDGERL conditionne la génération de déroulements sur des contextes légers au niveau de la stratégie.

• Mécanisme : Pour chaque invite $x_0$, un pool de contextes au niveau de la stratégie $C(x_0)$ (par exemple, des théorèmes mathématiques spécifiques ou des mots-clés de raisonnement comme « théorème de Pythagore ») est généré hors ligne à l'aide d'un LLM léger.
• Processus : Lors de la génération de déroulements, un seul contexte $c$ est échantillonné et ajouté à l'invite ($x_1 = (x_0, c)$) pour ce déroulement spécifique. Pour maintenir la compatibilité avec la politique de base et éviter une dépendance excessive aux contextes, un mécanisme de chute de contexte (context dropout) est appliqué, où un déroulement peut occasionnellement être généré sans aucun contexte ($c = \emptyset$).
• Objectif : Cela force le modèle à parcourir des modes de raisonnement distincts qu'il ignorerait autrement sous un échantillonnage naïf, déplaçant efficacement la distribution d'échantillonnage vers des trajectoires rares mais potentiellement correctes sans nécessiter de solutions oracle.

B. Avantage Inter-Intra Groupe (Attribution de Crédit)

Le GRPO standard calcule les avantages basés sur les récompenses au niveau du groupe au sein d'une seule distribution d'invites. Cependant, NUDGERL génère des déroulements sous différentes conditions de contexte, créant un décalage où la variation de la récompense reflète à la fois la qualité de la trajectoire et les biais spécifiques au contexte.

• Solution : Les auteurs introduisent un estimateur d'avantage unifié qui décompose le signal en deux composantes :
  1. Avantage Intra-contexte : Mesure la qualité de la trajectoire par rapport à la récompense moyenne de son groupe de contexte spécifique.
  2. Avantage Inter-contexte : Mesure la fiabilité du contexte lui-même par rapport à la moyenne globale.
• Formule : L'avantage $\hat{A}_i$ pour un déroulement $i$ avec contexte $z(i)$ et récompense $r_i$ est défini comme :
  $$\hat{A}_i = \frac{A_i - \mu_A}{\sigma_A + \delta}$$
  où $A_i = (r_i - \bar{r}_{z(i)}) + \lambda(\bar{r}_{z(i)} - \bar{r})$ si $z(i) \neq \emptyset$, et $A_i = r_i - \bar{r}$ sinon.
• Rôle de $\lambda$ : Ce paramètre d'hyperparamètre équilibre exploration et exploitation. $\lambda > 1$ favorise les succès issus de contextes à haute récompense (exploitation), tandis que $\lambda < 1$ encourage l'exploration de contextes à faible récompense. L'article démontre que pour $\lambda \in [0, 2]$, des récompenses plus élevées produisent toujours des avantages plus élevés, garantissant la cohérence avec l'objectif d'optimisation.

C. Objectif Augmenté par Distillation (Combler l'Écart Entraînement-Test)

Puisque les déroulements sont générés avec des contextes ($x_1$) mais que la politique doit opérer sans eux au moment de l'inférence ($x_0$), un décalage distributionnel existe.

• Mécanisme : NUDGERL emploie un terme d'auto-distillation qui transfère les comportements de haute qualité découverts lors de l'exploration conditionnée par le contexte vers la politique de base.
• Fonction de Perte : L'objectif total combine la perte RL standard sur les déroulements conditionnés par le contexte avec une perte de distillation :
  $$\mathcal{L}_{NUDGERL} = \mathcal{L}_{RL} + \lambda_{distill} \mathcal{L}_{Distill}$$
  où $\mathcal{L}_{Distill} = -\mathbb{E}_{y \sim \pi_\theta(\cdot|x_1)} [\hat{A} \log \pi_\theta(y|x_0)]$.
• Effet : Cela garantit que la politique internalise les stratégies de raisonnement efficaces découvertes sous des contextes divers, lui permettant de les reproduire lors de l'inférence sans contexte.

3. Contributions Clés

1. Nudging de Stratégie : Un mécanisme d'exploration novateur qui utilise des invites heuristiques légères pour induire des trajectoires de raisonnement diversifiées sans supervision oracle coûteuse.
2. Avantage Inter-Intra Groupe : Une méthode d'attribution de crédit qui dissocie le biais induit par le contexte de la qualité intrinsèque de la trajectoire, permettant un apprentissage stable à partir de déroulements conditionnés par le contexte.
3. RL Augmenté par Distillation : Un objectif qui comble explicitement l'écart entre l'entraînement conditionné par le contexte et l'inférence sans contexte, garantissant que les stratégies découvertes sont retenues par la politique de base.
4. Validation Empirique : Démontrant que l'exploration structurée peut surpasser à la fois la mise à l'échelle par force brute des déroulements et les méthodes guidées par oracle.

4. Résultats Expérimentaux

Les auteurs ont évalué NUDGERL sur cinq benchmarks mathématiques exigeants (AIME24, AIME25, AMC23, MATH500, APEX) en utilisant les modèles Qwen3-4B et Olmo3-7B.

• Efficacité vs Mise à l'échelle des Déroulements : NUDGERL a atteint une performance moyenne supérieure par rapport au GRPO, même lorsque le GRPO bénéficiait d'un budget de déroulements 8× plus important (par exemple, NUDGERL avec 8 déroulements a surpassé le GRPO avec 64 déroulements sur Qwen3-4B).
• Comparaison avec les Méthodes Oracle : NUDGERL a surpassé POPE (une ligne de base de préfixe oracle) sur tous les modèles et benchmarks, malgré l'utilisation d'indices de stratégie non vérifiés et légers plutôt que de solutions oracle coûteuses.
• Diversité de l'Exploration : L'analyse a montré que NUDGERL a considérablement augmenté le nombre de clusters de raisonnement distincts découverts par rapport à l'échantillonnage naïf, qui tend souvent à s'effondrer vers des modes dominants.
• Étude de Cas : Dans un problème spécifique d'AIME25, le GRPO a échoué à trouver une solution, s'appuyant sur des stratégies inefficaces. NUDGERL a réussi à découvrir et à utiliser la stratégie de la « formule des lacets », générant des solutions correctes en forçant l'exploration vers ce mode de raisonnement spécifique.

5. Signification et Revendications

L'article revendique que NUDGERL démontre que l'exploration structurée et pilotée par le contexte est une alternative viable et efficace à la fois à la mise à l'échelle par force brute et aux méthodes axées sur la faisabilité reposant sur des informations privilégiées.

• Évolutivité : En utilisant des indices de stratégie légers générés hors ligne, la méthode évite le coût computationnel des budgets de déroulements massifs et les problèmes de rareté des données des méthodes basées sur l'oracle.
• Contrôle : Contrairement à la régularisation au niveau de la distribution qui est stochastique, le Nudging de Stratégie offre un contrôle explicite sur l'espace de raisonnement, garantissant la couverture de stratégies diverses et sémantiquement significatives.
• Généralisation : Le composant de distillation transfère avec succès les découvertes spécifiques au contexte vers la politique de base, prouvant que les modèles peuvent apprendre des motifs de raisonnement diversifiés sans dépendre d'indices externes au moment de l'inférence.

Les auteurs concluent que l'amélioration de la qualité de l'exploration grâce à un guidage structuré est plus efficace que l'augmentation simple de la quantité d'échantillons ou le recours à des signaux privilégiés étroits.