🤖 machine learning

VeriGate: Verifier-Gated Step-Level Supervision for GRPO

VeriGate est une extension de la politique d'optimisation relative de groupe (GRPO) à seuil de vérificateur qui bascule dynamiquement vers la supervision de processus et utilise des récompenses cumulées futures pour surmonter les limites des signaux de vérification épars, améliorant ainsi considérablement la précision du raisonnement, réduisant les échecs de gradient nul et atténuant le détournement de récompense dans les modèles de langage.

Auteurs originaux : Aakriti Agrawal, Minghui Liu, Furong Huang

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aakriti Agrawal, Minghui Liu, Furong Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant comment résoudre un problème de mathématiques complexe. Vous avez deux façons de donner un retour (feedback) :

La méthode de la « Note Finale » (GRPO standard) : Vous attendez que l'étudiant rédige l'intégralité de sa solution. Si la réponse finale est correcte, vous lui donnez un « A ». Si elle est fausse, vous lui donnez un « F ».
- Le Problème : Si vous demandez à l'étudiant d'essayer le problème 8 fois, et qu'il obtient un « F » sur les 8 tentatives, vous n'avez aucune idée de pourquoi il a échoué. A-t-il raté la première étape ? Le milieu ? La fin ? Puisqu'ils ont tous le même « F », vous ne pouvez pas lui dire quoi corriger. Il ne fait que deviner, et l'apprentissage stagne. C'est ce qu'on appelle l'« Effondrement du Gradient Zéro » (Zero-Gradient Collapse).
La méthode du « Coach Étape par Étape » (Modèles de Récompense de Processus) : Vous surveillez chaque étape qu'il franchit. « Bon travail sur cette équation », ou « Attendez, vous avez divisé par zéro là ».
- Le Problème : Le coach n'est pas parfait. Parfois, le coach se trompe ou a de mauvaises habitudes. Si vous écoutez le coach au lieu de la réponse finale, l'étudiant pourrait apprendre à rédiger des réponses longues et sophistiquées qui ont l'air géniales pour le coach, mais qui sont en réalité fausses. C'est ce qu'on appelle le « Hack de Récompense » (Reward Hacking). L'étudiant manipule le système pour plaire au coach plutôt que de résoudre le problème.

Entrez dans VeriGate : Le « Gardien Intelligent »

Le document présente VeriGate, une nouvelle méthode d'entraînement qui agit comme un gardien intelligent. Elle combine le meilleur des deux mondes en décidant quand écouter la Note Finale et quand écouter le Coach Étape par Étape.

Voici comment cela fonctionne, en utilisant trois règles simples :

1. La Règle du Gardien (Quand changer de coach)

Si la Note Finale est claire : Si l'étudiant obtient certains « A » et certains « F » dans son groupe de 8 essais, VeriGate dit : « Super ! Nous savons qui a mieux réussi. Utilisons simplement la Note Finale. » Il ignore le coach étape par étape car la réponse finale est le signal le plus fiable.
Si la Note Finale est inutile : Si les 8 essais obtiennent tous un « F », la méthode de la Note Finale est bloquée. Elle ne peut rien enseigner car il n'y a aucune différence entre les tentatives. VeriGate ouvre alors la porte et dit : « D'accord, la Note Finale est silencieuse. Demandons de l'aide au Coach Étape par Étape. »

2. La Règle de la « Préparation au Futur » (Comment écouter le coach)

Lorsque VeriGate écoute le Coach Étape par Étape, il ne se contente pas d'additionner tous les scores comme une liste de courses (ce qui est fragile ; un seul mauvais article gâche le total). Au lieu de cela, il utilise une approche « Cumulée vers le futur » (Future-Cumulated).

Analogie : Imaginez un randonneur. Si un randonneur fait un pas qui mène à une impasse, ce pas est mauvais, même si le pas en lui-même semblait correct. VeriGate regarde un pas et demande : « Est-ce que ce pas mène à de bonnes choses plus tard ? »
Si un pas prépare une excellente solution plus tard, ce premier pas reçoit du crédit. Si un pas mène à un désastre plus tard, il est pénalisé. Cela aide le modèle à comprendre qu'une étape qui « semble bonne » est en réalité mauvaise si elle gâche le futur.

3. La Règle de la « Comparaison Équitable » (Empêcher la triche)

Enfin, VeriGate s'assure que l'étudiant ne puisse pas tromper le coach.

Le Hack : Un étudiant pourrait apprendre à utiliser des mots sophistiqués ou de longues phrases que le coach adore, même si les mathématiques sont fausses.
La Solution : VeriGate compare les étapes de l'étudiant les unes par rapport aux autres au sein du même groupe. Il demande : « Est-ce que cette étape est meilleure que les autres étapes que nous venons d'essayer ? » Il ne se soucie pas du score absolif que le coach donne ; il ne s'intéresse qu'à l'amélioration relative. Cela rend très difficile pour l'étudiant de « hacker » le coach en copiant simplement un motif, car le motif doit réellement mener à un meilleur résultat que les alternatives.

Les Résultats : Qu'est-ce qui s'est passé ?

Les chercheurs ont testé cela sur des problèmes de mathématiques en utilisant des modèles d'IA de différentes tailles (1,5 milliard et 7 milliards de paramètres).

De meilleurs scores : Les modèles entraînés avec VeriGate sont devenus nettement meilleurs pour résoudre des problèmes mathématiques (environ 20 % de mieux pour le petit modèle et 12 % de mieux pour le plus grand) par rapport aux méthodes standards.
Moins de stagnation : L'« Effondrement du Gradient Zéro » (où l'apprentissage s'arrête parce que toutes les réponses sont fausses) arrive beaucoup moins souvent.
Moins de triche : Les modèles n'ont pas essayé de tromper le système. Lorsqu'ils obtenaient des scores élevés de la part du coach étape par étape, c'était réellement parce qu'ils résolvaient le problème correctement, et non parce qu'ils utilisaaient des mots sophistiqués.

Résumé

VeriGate est une méthode d'entraînement qui fait confiance à la « Réponse Finale » chaque fois qu'elle le peut, mais bascule intelligemment vers un guidage « Étape par Étape » uniquement lorsque la réponse finale n'est pas utile. Il garantit que le guidage étape par étape considère l'ensemble du parcours (et pas seulement l'étape actuelle) et empêche l'IA d'apprendre à tricher avec le système. Le résultat est une IA qui apprend à raisonner mieux et de manière plus fiable.

Résumé Technique : VeriGate (Verifieur-Gated Step-Level Supervision pour GRPO)

1. Énoncé du Problème

L'optimisation de la politique relative au groupe (Group Relative Policy Optimization - GRPO) est apparue comme une méthode efficace pour l'entraînement des Grands Modèles de Raisonnement (LRM) utilisant des récompenses de vérificateur basées sur le résultat. Cependant, les auteurs identifient deux limitations critiques dans le GRPO standard qui entravent les performances sur les tâches de raisonnement complexes :

Effondrement du Gradient Zéro (Dégénérescence de la Récompense) : GRPO repose sur des avantages relatifs au groupe. Lorsque toutes les trajectoires échantillonnées pour un prompt donné reçoivent la même récompense de vérificateur (par exemple, toutes sont incorrectes, recevant une récompense de 0), l'avantage relatif au groupe s'effondre vers zéro. Dans ces lots « dégénérés », le signal d'apprentissage piloté par la récompense disparaît, ne laissant que le terme de régularisation KL. Cela provoque un arrêt de l'apprentissage précisément sur les prompts difficiles là où le modèle a le plus besoin de guidage.
Absence d'Attribution de Crédit au Niveau des Étapes : Les récompenses basées uniquement sur le résultat attribuent un scalaire unique à l'ensemble de la trajectoire de raisonnement. Par conséquent, chaque jeton (token) d'une solution correcte reçoit le même avantage positif, et chaque jeton d'une solution incorrecte reçoit le même avantage négatif. Cela empêche le modèle de distinguer les étapes de raisonnement réellement utiles des étapes incidentes ou spécieuses, limitant l'exploration et la capacité à apprendre des processus de raisonnement robustes.

Bien que les modèles de récompense de processus (Process Reward Models - PRM) offrent une supervision plus dense au niveau des étapes, l'intégration naïve des PRM dans GRPO introduit de nouveaux risques :

Hacking de Récompense (Reward Hacking) : Les PRM sont des modèles appris possédant des biais inhérents. Optimiser directement les scores agrégés des PRM (en les traitant comme des récompenses de résultat) peut conduire la politique à exploiter des motifs favorisés par le PRM sans améliorer la correction réelle.
Agrégation Fragile : Réduire les scores d'étapes en un scalaire unique de trajectoire (par exemple, via un produit ou un minimum) peut fausser la récompense effective si une étape est mal scorée, perdant ainsi la précision de l'attribution de crédit.
Perte d'Autorité du Vérificateur : Remplacer les signaux de vérificateurs fiables par des signaux de PRM imparfaits peut dégrader les performances sur des tâches où le vérificateur est fiable.

2. Méthodologie : VeriGate

Les auteurs proposent VeriGate (Verifier-Gated Step-Level GRPO), une méthode qui intègre la supervision de processus dans GRPO uniquement lorsque le signal du vérificateur n'est pas informatif. L'approche repose sur trois choix de conception fondamentaux :

S1 : Supervision à Porte de Vérificateur (Verifier-Gated Supervision)

VeriGate implémente un mécanisme de commutation dynamique basé sur l'informativité des récompenses du vérificateur au sein d'un groupe échantillonné :

Vérificateur Informatif : Si les trajectires échantillonnées pour un prompt produisent des récompenses de vérificateur mixtes (certaines correctes, d'autres incorrectes), VeriGate fonctionne exactement comme le GRPO standard, en se reposant uniquement sur le signal du vérificateur.
Vérificateur Dégénéré : Si toutes les trajectoires échantillonnées reçoivent la même récompense de vérificateur (spécifiquement, toutes à zéro), l'avantage du GRPO standard s'effondre. Dans ce cas spécifique, VeriGate active la supervision par jeton basée sur le PRM comme mécanisme de repli.
Raisonnement : Cela préserve la fiabilité du vérificateur chaque fois qu'il peut distinguer la correction, limitant l'utilisation du PRM imparfait aux seuls prompts difficiles où le vérificateur ne fournit aucun signal d'apprentissage.

S2 : Récompenses de Jeton Cumulées Futures (Future-Cumulated Token Rewards - FCTR)

Au lieu d'agréger les scores d'étapes du PRM en un scalaire unique de trajectoire (ce qui cause une attribution de crédit fragile), VeriGate convertit les scores d'étapes en récompenses cumulées futures.

Pour une trajectoire avec des étapes $j=1 \dots S$ , la récompense pour l'étape $j$ est définie comme la somme des scores du PRM de l'étape $j$ jusqu'à la fin de la trajectoire : $c_{i,j} = \sum_{k=j}^{S} r_{i,k}$ .
Cette conception attribue du crédit à un jeton non seulement pour la qualité de l'étape immédiate, mais aussi pour la qualité de la continuation qu'il permet. Cela lisse le bruit local du PRM et garantit que les jetons précoces sont récompensés pour permettre un raisonnement correct en aval.

S3 : Avantages par Jeton Normalisés par le Groupe

Pour intégrer ces récompenses denses dans le cadre de GRPO sans réintroduire le hacking de récompense absolu, VeriGate transforme les récompenses cumulées futures en avantages par jeton normalisés par le groupe.

L'avantage pour un jeton dans l'étape $j$ de la trajectoire $i$ est calculé comme : $A_{i,j} = \frac{c_{i,j} - \bar{c}}{\sigma(c)}$ , où $\bar{c}$ est la moyenne et $\sigma(c)$ l'écart-type de toutes les récompenses cumulées futures dans le groupe échantillonné.
Propriété de Robustesse : Les auteurs prouvent (Proposition 3.1) que ces avantages sont invariants aux transformations affines positives par prompt des récompenses du PRM ( $c' = a \cdot c + b$ ). Cela signifie que si une politique apprend à déplacer ou mettre à l'échelle uniformément les scores du PRM (une forme courante de hacking de récompense), les avantages normalisés restent inchangés, empêchant la politique d'exploiter de tels artefacts.

3. Contributions Clés

Supervision de Processus à Porte de Vérificateur : Une extension simple à GRPO qui préserve les mises à jour standard du vérificateur lorsqu'elles sont informatives et bascule sur la supervision par jeton basée sur le PRM uniquement pour les groupes de vérificateurs à zéro.
Attribution de Crédit Sensible à la Continuation : Un mécanisme novateur utilisant les récompenses cumulées futures et les avantages normalisés par le groupe pour fournir des signaux d'apprentissage denses au niveau des jetons sans réduire les scores d'étapes en un scalaire unique.
Réduction de la Sensibilité au Hacking de Récompense : Preuves théoriques et empiriques montrant que la formulation de l'avantage normalisé de VeriGate est invariante aux transformations affines des récompenses du PRM, limitant la sur-optimisation des signaux de PRM imparfaits par rapport aux méthodes qui optimisent les scores agrégés du PRM.
Gains Empiriques : Démontration d'améliorations de la précision du raisonnement, de la réduction des échements de gradient zéro et d'une meilleure qualité de raisonnement sur plusieurs benchmarks.

4. Résultats Expérimentaux

Les auteurs ont évalué VeriGate en utilisant des modèles Qwen2.5-Instruct (1.5B et 7B paramètres) entraînés sur les jeux de données MATH et GSM8K, avec une évaluation sur six benchmarks de raisonnement (GSM8K, MATH-500, AMC, AIME-24, MinervaMath, OlympiadBench).

Améliorations de la Précision : VeriGate a amélioré la précision moyenne d'environ 20 % pour le modèle 1.5B et de 12 % pour le modèle 7B par rapport au GRPO uniquement par résultat et aux bases PRM-as-outcome.
Atténuation du Gradient Zéro : La méthode a considérablement réduit la fraction de prompts recevant des récompenses de vérificateur nulles après l'entraînement, indiquant une meilleure exploration et une sortie des régimes d'apprentissage dégénérés.
Résistance au Hacking de Récompense :
- Quantitatif : Contrairement au PRM-as-ORM, où les scores du PRM augmentaient tandis que les scores du vérificateur restaient stables (indiquant un hacking), VeriGate a montré une croissance alignée des récompenses du vérificateur et du PRM.
- Qualitatif : L'analyse des réponses « hackées » (score PRM élevé, score vérificateur faible) a montré que les modèles PRM-as-ORM produisaient souvent des raisonnements verbeux, structurellement plausibles mais logiquement erronés. VeriGate produit des trajectoires de raisonnement cohérentes menant à des réponses correctes.
- Vérification par Cross-PRM : Lors de l'évaluation avec un PRM externe (Math-Shepherd) différent du PRM d'entraînement, VeriGate a maintenu des performances élevées, tandis que la performance de PRM-as-ORM a chuté de manière significative, suggérant que VeriGate apprend un raisonnement authentique plutôt qu'une sur-optimisation des idiosyncrasies spécifiques au PRM.
Ablations : Le retrait de la porte du vérificateur ou du mécanisme de cumulation future a entraîné des baisses de performance significatives, validant ces deux choix de conception.

5. Signification et Revendications

Le papier affirme que VeriGate offre une « modification simple et prête à l'emploi » (drop-in modification) pour GRPO qui traite ses faiblesses fondamentales sur les problèmes de raisonnement difficiles sans sacrifier la fiabilité des récompenses basées sur le vérificateur.

Fiabilité : En contrôlant l'usage du PRM, la méthode garantit que le vérificateur de confiance dirige l'apprentissage dès que possible, utilisant les PRM uniquement comme mécanisme de récupération pour les cas dégénérés.
Robustesse : L'utilisation d'avantages centrés et normalisés dérivés des récompenses cumulées futures fournit une défense mathématiquement fondée contre une classe courante de hacking de récompense du PRM (transformations affines).
Qualité du Raisonnement : Les résultats suggèrent que VeriGate améliore la qualité du raisonnement (dérivation fidèle étape par étape) plutôt que d'optimiser simplement pour les préférences d'un modèle de récompense spécifique.

Les auteurs reconnaissent des limites, notant que la méthode dépend toujours de la disponibilité et de la qualité des PRM et qu'une mauvaise segmentation des étapes par le modèle pourrait affaiblir l'attribution de crédit. Ils notent également que les expériences actuelles se concentrent sur le raisonnement mathématique, et qu'une évaluation plus large est nécessaire pour d'autres domaines comme la génération de code ou l'utilisation d'outils. Cependant, ce travail établit un cadre pour intégrer la supervision de processus dense dans le RLVR de manière théoriquement robuste et empiriquement efficace.