🤖 machine learning

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

Cet article introduit l'Off-Context GRPO (OC-GRPO), un algorithme d'apprentissage par renforcement qui exploite un guidage privilégié pendant l'entraînement pour surmonter les chutes d'apprentissage sur des problèmes de raisonnement difficiles tout en utilisant une correction d'importance pour garantir que le modèle optimise l'objectif non guidé d'origine, ce qui entraîne des gains de performance significatifs sur les benchmarks mathématiques.

Auteurs originaux : Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

Publié 2026-07-22

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot en train d'être entraîné pour résoudre des énigmes mathématiques complexes, aux côtés d'un professeur capable de vérifier instantanément si la réponse qu'il produit est juste ou fausse. Cette configuration, composée d'un apprenant plus un juge automatique délivrant un verdict clair de « vrai ou faux », est ce que les chercheurs en IA appellent le « Reinforcement Learning with Verifiable Rewards ». Le robot tente de résoudre une énigme, obtient un « pouce levé » s'il réussit et un « pouce baissé » sinon, et au fil de nombreuses tentatives, apprend à accumuler le plus de « pouces levés » possible.

Le problème est que certaines énigmes sont si difficiles que chaque tentative échoue. Lorsque chaque tentative échoue, tous les verdicts sont identiques, il n'y a rien à comparer, et l'enseignant n'a aucun signal sur lequel s'appuyer. Cela ressemble à l'apprentissage du vélo alors que l'on tombe dès que les pédales tournent : sans avoir jamais ressenti ce qu'est l'équilibre, on ne peut rien construire. C'est ce qu'on appelle un « gouffre d'apprentissage » (learning cliff).

La solution évidente est une antisèche, un indice ou les premières étapes d'une solution détaillée, afin que le robot réussisse au moins occasionnellement. Cela fonctionne, mais cela pose une question délicate : quel mérite un robot peut-il réellement recevoir pour une victoire qui lui a été donnée sur un plateau ?

Cet article répond correctement à cette question. La méthode, Off-Context GRPO (OC-GRPO), applique une correction qui demande quelle était la probabilité que le robot atteigne cette solution exacte sans l'antisèche. Le mérite n'est jamais donné en totalité ; une partie appartient toujours à l'indice, et la part qui subsiste dépend de la capacité que le robot possédait déjà. Un robot qui était proche de résoudre l'énigme seul conserve la majeure partie du mérite, car l'antisèche n'a fait que faire émerger une capacité déjà présente. Un robot qui n'avait pratiquement aucune chance n'en conserve presque aucune, car l'antisèche a substitué la compétence au lieu de la révéler. Une antisèche ne peut pas fabriquer du progrès à partir d'une compétence qui n'existe pas. Les erreurs fonctionnent en sens inverse : rater une énigme alors que la moitié de la réponse est déjà devant soi entraîne une pénalité plus lourde qu'un échec ordinaire, car échouer avec de l'aide est une preuve plus grave que d'échouer sans elle. Sur les énigmes les plus difficiles, où la capacité sans aide est proche de zéro, l'essentiel de l'apprentissage réel provient de cette pénalité amplifiée plutôt que des victoires assistées. Le robot est repoussé de ce qu'il est manifestement incapable de faire, plutôt que d'être félicité pour avoir lu.

Le résultat est que le robot est toujours évalué sur la véritable énigme, et non sur celle avec indices, même s'il s'est entraîné avec de l'aide.

Sur les tests de référence mathématiques standards, l'OC-GRPO a fait passer la précision moyenne de 27,8 % à 31,7 % par rapport à la méthode d'entraînement standard, soit un gain relatif de 13,8 %, sans coût supplémentaire substantiel. La correction est d'autant plus importante pour les modèles plus petits : là, les anciennes méthodes basées sur les indices sont en fait moins performantes qu'un entraînement classique, car un apprenant plus faible ne peut pas absorber le décalage entre l'énigme avec indices et l'énigme sans indices, tandis que l'OC-GRPO maintient ses gains pour chaque taille de modèle testée. La leçon plus large est que les indices privilégiés sont un excellent moyen de guider l'exploration. Il faut simplement que le mérite soit attribué honnêtement.

Résumé Technique : Off-Context GRPO (OC-GRPO)

1. Énoncé du Problème : Le Mur d'Apprentissage dans le RLVR

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards), en particulier via l'optimisation de politique relative de groupe (GRPO - Group Relative Policy Optimization), est devenu une approche dominante pour améliorer le raisonnement des grands modèles de langage (LLM). Cependant, les auteurs identifient un mode de défaillance fondamental appelé le mur d'apprentissage (learning cliff).

Dans le GRPO standard, pour un problème donné, un groupe de réponses est échantillonné, scoré par un vérificateur, et les avantages sont calculés sur la base de la performance relative au sein de ce groupe. Si un problème est suffisamment difficile pour que le modèle ne parvienne à générer aucune solution correcte dans un groupe de tirages (rollout), toutes les récompenses sont nulles. Par conséquent, la variance de la récompense intra-groupe s'effondre à zéro, entraînant un signal de gradient nul. Le modèle ne reçoit aucun signal d'apprentissage, quelle que soit la durée de l'entraînement.

Les contournements existants impliquent souvent une guidance privilégiée (par exemple, des préfixes de solution, des indices ou des informations d'oracle) injectée dans le prompt pendant l'entraînement pour garantir qu'au moins certains tirages réussissent. Bien que cela restaure le signal d'apprentissage, cela introduit le problème du hors-contexte (off-context problem) :

Distribution d'entraînement : Les tirages sont échantillonnés à partir d'un prompt guidé $g(x)$ contenant des informations privilégiées indisponibles lors du déploiement.
Objectif cible : Le but est d'optimiser la politique pour le prompt original non guidé $x$ .
Le décalage : Les méthodes de guidance standard (par exemple, POPE, BREAD) optimisent un objectif $J_{guide}(\theta)$ conditionné par $g(x)$ , en supposant que la politique se généralisera vers $x$ (« back-generalization »). Les auteurs soutiennent que cela est une optimisation implicite d'un objectif différent de celui évalué lors du déploiement. Ce décalage peut entraîner des biais de gradient, un désalignement de l'objectif et une instabilité de l'entraînement, particulièrement pour les petits modèles ayant une capacité limitée à absorber le changement de distribution.

2. Méthodologie : Off-Context GRPO (OC-GRPO)

Le papier propose OC-GRPO, une variante très peu modifiée de GRPO qui utilise des tirages guidés pour surmonter le mur d'apprentissage tout en corrigeant mathématiquement le décalage de distribution afin de garantir que la mise à jour cible l'objectif non guidé original $J(\theta)$ .

Mécanisme Central : Correction par Échantillonnage d'Importance

Au lieu de traiter les tirages guidés comme s'ils avaient été générés à partir du prompt original, OC-GRPO applique une correction par échantillonnage d'importance (IS) au ratio de la politique par jeton (token).

Ratio GRPO Standard : $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
Ratio OC-GRPO : $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

Ici, le numérateur représente la probabilité du jeton actuel par la politique donnée le prompt non guidé (la cible), tandis que le dénominateur représente la probabilité sous le prompt guidé (la distribution d'échantillonnage réelle).

Propriétés Théoriques

Absence de Biais (Unbiasedness) : Il est prouvé mathématiquement que l'espérance repondérée sous la distribution guidée est exactement équivalente à l'espérance sous l'objectif non guidé original. Cela garantit que l'algorithme optimise $J(\theta)$ , et non $J_{guide}(\theta)$ .
Attribution de Crédit Sensible au Comportement : Le ratio d'importance agit comme un mécanisme dynamique d'attribution de crédit :
- Succès : Si une trajectoire correcte est hautement probable sous le prompt guidé mais peu probable sous le prompt non guidé (c'est-à-dire que le modèle a fortement compté sur l'indice), le ratio d'importance est $<1$ , atténuant le crédit positif. Cela empêche le modèle de simplement apprendre à « suivre les indices » plutôt qu'à résoudre le problème.
- Échecs : Si une trajectoire échoue malgré la guidance, le ratio est $>1$ , amplifiant la pénalité. Cela renforce le fait que le modèle n'a pas réussi à résoudre le problème même avec de l'aide.
Contrôle de la Variance : La variance du terme de correction est proportionnelle à la longueur du préfixe de guidance, et non à l'intégralité du tirage. Cela motive le principe de conception consistant à utiliser la guidance la plus courte possible nécessaire pour briser le mur d'apprentissage.

Variantes d'Implémentation

OC-GRPO-Fixed : Identifie le niveau de guidance minimal requis pour chaque problème difficile à l'aide d'un modèle de base avant l'entraînement. Cet ensemble de données augmenté est fixe, et la politique ne re-sélectionne jamais la guidance. Cette méthode est recommandée par défaut en raison de ses coûts d'inférence moindres et de ses performances compétitives.
OC-GRPO-Adaptive : Ajuste dynamiquement les niveaux de guidance pendant l'entraînement en fonction de la performance actuelle de la politique. Bien que théoriquement flexible, elle entraîne des coûts d'inférence plus élevés et a montré des performances légèrement inférieures lors des expériences.

3. Contributions Clés

Formalisation du Problème du Hors-Contexte : Les auteurs définissent formellement le décalage dans les méthodes de RLVR guidées existantes, montrant qu'elles optimisent implicitement un objectif différent de l'objectif de déploiement.
Algorithme OC-GRPO : Une modification minimale de GRPO utilisant l'échantillonnage d'importance pour corriger le hors-contexte de l'échantillonnage, fournissant une absence de biais prouvée pour l'objectif original.
Attribution de Crédit Théorique : La preuve que la correction d'importance induit un mécanisme sensible au comportement qui discrédite automatiquement les succès fortement dépendants de la guidance et amplifie les pénalités pour les échecs persistants malgré la guidance, sans nécesscente de façonnage de récompense supplémentaire.
Validation Empirique : Démonstration qu'OC-GRPO obtient des gains constants par rapport au GRPO vanilla et aux bases de comparaison guidées à travers plusieurs échelles de modèles (1.5B, 3B, 7B) et des benchmarks mathématiques.

4. Résultats Expérimentaux

Les auteurs ont évalué OC-GRPO sur le jeu de données MATH (Niveaux 3–5) en utilisant des modèles Qwen2.5 (1.5B, 3B, 7B) avec des adaptateurs LoRA.

Gains de Performance : Sur le modèle 7B, OC-GRPO-Fixed a obtenu un gain relatif de 13,8 % (amélioration absolue de 3,9 %) du Pass@1 moyen par rapport au GRPO vanilla sur les benchmarks AIME, Gaokao2023 et OmniMath.
Comparaison aux Baselines :
- OC-GRPO a surpassé les autres méthodes de guidance (POPE, PrefixRL, BREAD) qui optimisent l'objectif décalé $J_{guide}$ .
- Dépendance à l'Échelle : Une conclusion critique est que les baselines de guidance optimisant l'objectif décalé entraînent souvent une dégradation par rapport au GRPO vanilla à des échelles de modèles plus petites (ex: 1.5B et 3B). En revanche, OC-GRPO maintient des gains constants sur toutes les échelles. Cela suggère que les petits modèles ne peuvent pas absorber le décalage d'objectif, rendant la correction par échantillonnage d'importance cruciale pour eux.
Stabilité : Les expériences ont montré que l'entraînement guidé non corrigé (Masked no-IC) mène à un effondrement des récompenses, des pics de norme de gradient et un élargissement des écarts de log-probabilité, tandis qu'OC-GRPO reste stable.

5. Signification et Revendications

Le papier affirme que l'information privilégiée peut guider l'exploration, mais la mise à jour doit tenir compte de la distribution dont elle provient.

Résoudre le Mur : OC-GRPO offre un moyen principled pour échapper au mur d'apprentissage sur les problèmes difficiles sans recourir au réglage fin supervisé (SFT) ou à des objectifs hybrides complexes qui déforment le style de raisonnement natif du modèle.
Alignement : Il garantit que l'entraînement sur des contextes privilégiés (qui n'existent pas lors de l'inférence) ne détourne pas la politique de l'objectif réel de déploiement.
Scalabilité : La méthode est particulièrement vitale pour les petits modèles où l'hypothèse de « back-generalization » des autres méthodes échoue.
Généralité : Bien que démontrée sur le raisonnement mathématique avec des préfixes de solution, le cadre est agnostique au mécanisme et applicable à toute forme de signal privilégié (par exemple, résultats d'appels d'outils, états intermédiaires) dans les contextes d'agents RLVR.

Les auteurs concluent qu'OC-GRPO représente une correction nécessaire pour la prochaine génération d'algorithmes de RLVR, permettant un raisonnement robuste sur des problèmes difficiles tout en maintenant l'alignement avec la définition originale de la tâche.