🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

Cet article démontre que pour les petits modèles de langage entraînés par RLVR sur des tâches de raisonnement mathématique, la supervision de récompense au niveau du processus surpasse de manière significative la supervision basée uniquement sur le résultat, tant en termes de précision que de fidélité de la trace de raisonnement, tandis que les structures de récompense hybrides bénéficient généralement de poids de processus plus élevés.

Auteurs originaux : Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un très jeune étudiant, un petit modèle d'IA, comment résoudre des problèmes mathématiques sous forme de problèmes de texte. Vous voulez qu'il obtienne la bonne réponse, mais vous voulez aussi qu'il apprenne comment réfléchir, et pas seulement qu'il devine.

Ce document est comme un professeur comparant deux manières différentes de noter cet étudiant : vérifier uniquement la réponse finale par rapport à vérifier chaque étape de son travail.

Voici le détail de leur expérience en termes simples :

La configuration : L'étudiant au "Petit Cerveau"

Les chercheurs ont utilisé un modèle d'IA très petit (appelé Qwen2.5-0.5B). Voyez ce modèle comme un enfant intelligent mais petit qui n'a pas une énorme mémoire ou beaucoup de puissance cérébrale. Parce qu'il est petit, il peut être confus si les instructions ne sont pas claires.

Ils ont donné à cet étudiant 1 319 problèmes mathématiques à résoudre (provenant d'un ensemble de données appelé GSM8K). Ils ont entraîné l'étudiant en utilisant une méthode appelée "Apprentissage par renforcement", qui est essentiellement un système de récompenses : "Bon travail !" pour les bonnes réponses et "Réessaie" pour les mauches.

Les deux styles d'enseignement (Structures de récompense)

Les chercheurs ont testé cinq manières différentes de donner ces récompenses :

Le coach "Résultat Uniquement" (La note finale) :
- Comment ça marche : Le professeur regarde seulement le nombre final dans la case. Si la réponse est juste, l'étudiant reçoit une étoile dorée. Si elle est fausse, il n'obtient rien.
- Le résultat : L'étudiant a appris à obtenir la bonne réponse environ 54 % du temps.
- Le problème : L'étudiant a commencé à "tricher" ou à deviner. Il passait directement à la réponse, sautait des étapes ou inventait de la logique juste pour obtenir l'étoile dorée. Son raisonnement était désordonné et souvent faux, même si le nombre final était le fruit de la chance.
Le coach "Processus Uniquement" (Le correcteur étape par étape) :
- Comment ça marche : Le professeur vérifie chaque étape que l'étudiant écrit. A-t-il additionné correctement ? A-t-il défini ses variables ? Si une étape est juste, il gagne un point. Si une étape est fausse, il perd un point.
- Le résultat : L'étudiant a obtenu la bonne réponse 64 % du temps.
- Le bénéfice : Sa pensée est devenue beaucoup plus logique et ancrée. Il a réellement appris comment résoudre le problème.
- L'effet secondaire : L'étudiant est devenu un peu bavard. Il écrivait parfois trop d'étapes ou se répétait, comme un élève qui, par peur de faire une erreur, écrit un roman juste pour résoudre $2+2$ .
Les coachs "Hybrides" (Mélanger les styles) :
- Les chercheurs ont essayé de mélanger les deux styles. Ils ont donné un score à l'étudiant basé principalement sur les étapes, avec un peu de poids sur la réponse finale (ou vice versa).
- La surprise : Le meilleur mélange était de se concentrer à 90 % sur les étapes et 10 % sur la réponse finale. Cet étudiant a performé presque aussi bien que l'étudiant "Processus Uniquement" (61 % de précision), mais écrivait des réponses plus propres et plus concises.
- L'avertissement : Lorsqu'ils ont essayé un mélange de 90 % de concentration sur la réponse finale et seulement 10 % sur les étapes, l'étudiant a en fait fait moins bien que l'étudiant "Résultat Uniquement". Il semble que lorsque la récompense de la "réponse finale" est trop forte, elle confond l'étudiant et rend les instructions "étape par étape" inutiles.

Qu'ont-ils découvert ? (L'analogie)

Pensez à l'IA comme à un randonneur essayant d'atteindre le sommet d'une montagne (la bonne réponse).

Résultat Uniquement : Vous dites au randonneur : "Si tu atteins le sommet, tu gagnes un prix." Le randonneur pourrait prendre un raccourci, glisser le long d'une falaise ou se perdre, mais s'il tombe sur le sommet par chance, il gagne. Il n'apprend pas le sentier.
Processus Uniquement : Vous dites au randonneur : "Chaque fois que tu fais un pas sûr et correct sur le chemin, tu reçois un snack." Le randonneur apprend parfaitement le sentier. Il peut faire quelques pas supplémentaires pour être prudent, mais il y arrive de manière fiable.
L'Hybride : Vous donnez des snacks pour les pas sûrs, mais vous donnez aussi un gros prix pour atteindre le sommet. Si le prix est trop grand par rapport aux snacks, le randonneur ignore le sentier et essaie de voler ou de sauter, échouant plus souvent.

La grande conclusion

Le document conclut que la façon dont vous notez compte plus que vous ne le pensez.

Pour les petits modèles d'IA, simplement récompenser la réponse finale ne suffit pas. Cela crée des "hallucinations" (logique imaginaire) où le modèle invente des étapes juste pour obtenir le bon nombre. Pour obtenir un modèle qui réfléchit réellement, vous devez récompenser le processus (les étapes) massivement.

L'approche "Processus Uniquement" a rendu le modèle nettement plus intelligent et précis, prouvant que pour les petits cerveaux, montrer son travail est aussi important que d'obtenir la bonne réponse.

Résumé technique : Granularité des récompenses dans le RLVR pour les petits modèles de langage

Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est apparu comme un paradigme pour améliorer le raisonnement mathématique des modèles de langage, s'appuyant généralement sur des récompenses basées sur le résultat (exactitude de la réponse finale). Cependant, l'impact de la supervision au niveau du processus (récompenses étape par étape) reste sous-exploré, particulièrement pour les petits modèles de langage (SLM) comme Qwen2.5-0.5B. Ces modèles plus petits manquent souvent de la capacité interne pour s'auto-corriger lorsqu'ils sont confrontés à un feedback parcimonieux, basé uniquement sur le résultat, ce qui conduit à des traces de raisonnement qui peuvent être logiquement incohérentes, hallucinées ou structurellement fragiles, même lorsque la réponse finale est correcte. La question centrale de recherche est de savoir si les récompenses de processus améliorent la cohérence et la validité des traces de raisonnement et si des structures de récompense hybrides produisent un raisonnement plus stable que l'une ou l'autre approche seule.

Méthodologie

Les auteurs ont mené une étude empirique contrôlée utilisant Qwen2.5-0.5B, un modèle transformer compact, affiné sur le jeu de données GSM8K (problèmes mathématiques de niveau primaire) en utilisant l'optimisation de politique relative de groupe (GRPO - Group Relative Policy Optimization).

Configuration expérimentale

Base de référence (Baseline) : Un modèle pré-entraîné évalué dans un cadre de réponse directe (sans chaîne de pensée/CoT), atteignant une précision de 33,13 %.
Régimes de récompense : Cinq conditions de récompense distinctes ont été comparées :
1. Processus uniquement (Process-Only) : Récompenses attribuées à chaque étape intermédiaire si elle correspond au calcul de vérité terrain (dans une tolérance numérique). Une pénalité est appliquée si la chaîne générée dépasse 1,5× le nombre d'étapes de la vérité terrain.
2. Résultat uniquement (Outcome-Only) : Récompense binaire basée uniquement sur l'exactitude de la réponse numérique finale.
3. Configurations hybrides : Combinaisons pondérées de récompenses de processus et de résultat ( $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ ) avec $\lambda \in \{0,9 ; 0,5 ; 0,1\}$ .
Stratégie d'évaluation :
- Précision (Accuracy) : Mesurée sur l'ensemble complet de 1 319 questions.
- Fidélité du raisonnement (Reasoning Fidelity) : Évaluée sur une tranche stratifiée de 45 questions (15 faciles, 15 moyennes, 15 difficiles) en utilisant quatre métriques :
  - CoT-Pass@1 : Taux de réussite d'un échantillon unique de trace.
  - Validité de la trace : Bien-fondé logique (absence de contradictions ou de transformations invalides).
  - Écart de longueur de chaîne : Différence entre le nombre d'étapes générées et celui de la vérité terrain.
  - Ratio d'étape de processus : Proportion d'étapes s'alignant sur le raisonnement de la vérité terrain.
- Analyse d'erreurs : GPT-4o a été utilisé comme juge pour catégoriser les modes de défaillance (ex: dérivation incorrecte, erreurs de calcul, étapes manquantes, contradictions).

Résultats clés

1. Gains de précision

La supervision par processus uniquement a atteint la précision de test la plus élevée à 63,73 %, représentant une amélioration de +30,60 % par rapport à la base de référence. Cela surpasse de manière significative la supervision par résultat uniquement (53,75 %, une amélioration de +20,62 %).

Performance hybride : La configuration hybride avec un poids élevé accordé au processus ( $\lambda=0,9$ ) a atteint 61,10 % de précision.
Anomalie : La configuration à faible processus/haut résultat ( $\lambda=0,1$ ) a sous-performé la supervision par résultat pur (49,30 %), suggérant que des signaux d'optimisation conflictuels dans ce poids spécifique dégradent la performance.

2. Fidélité et stabilité du raisonnement

Validité de la trace : Le modèle hybride $\lambda=0,9$ a obtenu la validité de trace la plus élevée (0,60), suivi du modèle par résultat uniquement (0,40) et du modèle par processus uniquement (0,22).
Longueur de chaîne : Les modèles par processus uniquement ont présenté le plus grand écart par rapport aux longueurs de chaîne de la vérité terrain (6,49), indiquant une tendance vers un raisonnement verbeux ou redondant. Les modèles par résultat uniquement ont produit des traces plus concises (écart de 3,64).
Ratio d'étape de processus : Le modèle hybride $\lambda=0,9$ a obtenu le ratio le plus élevé (0,84), indiquant le meilleur alignement avec les étapes de raisonnement de la vérité terrain.

3. Analyse qualitative et d'erreurs

Modèles par processus uniquement : Génèrent des traces structurellement incohérentes mais arithmétiquement fondées. Ils introduisent fréquemment des incohérences structurelles et des contradictions, probablement en raison de l'incitation à produire de longues chaînes d'étapes localement plausibles.
Modèles par résultat uniquement : Produisent des chaînes concises mais sont sujets à des erreurs de dérivation et d'arithmétique, reflétant un ancrage intermédiaire faible et une tendance à "sauter" entre les points de raisonnement.
Modèles hybrides : Présentent le flux de raisonnement le plus proche de l'humain, équilibrant la continuité des étapes avec la brièveté nécessaire, et montrent la distribution la plus équilibrée des types d'erreurs avec moins de défaillances catastrophiques.

Signification et contributions

L'article affirme que la granularité de la récompense est une décision de conception de premier ordre pour le RLVR, plutôt qu'un simple détail de mise en œuvre. Les principales contributions sont :

Comparaison systématique : Fournir une comparaison contrôlée de cinq conditions de récompense sur un petit modèle, démontrant que les signaux de processus denses fournissent des orientations plus informatives que le feedback parcimonieux du résultat pour les SLM.
Au-delà de la précision : Établir que la précision seule est insuffisante ; la supervision de processus améliore considérablement la fidélité de la trace et la validité des étapes, tandis que la supervision par résultat seul peut mener à un raisonnement "instable" (flaky).
Dynamiques hybrides : Identifier que, bien que les récompenses hybrides soient généralement corrélées positivement avec le poids du processus, des configurations spécifiques à faible processus créent des signaux conflictuels qui nuisent à la performance.
Caractérisation des modes de défaillance : Utiliser un LLM-as-a-judge pour révéler des distributions d'erreurs distinctes : les modèles de processus souffrent d'incohérence structurelle, tandis que les modèles de résultat souffrent d'erreurs de dérivation.

Les auteurs concluent que pour développer des modèles qui non seulement répondent correctement mais raisonnent aussi de manière fiable, il est essentiel de superviser à la fois le processus et le résultat du raisonnement. L'écart de précision de près de 10 points de pourcentage entre la supervision par processus uniquement et la supervision par résultat uniquement souligne l'importance critique de la granularité de la récompense dans les petits modèles de langage.