Résumé technique : Récompenses de processus vérifiables pour le raisonnement d'agents

Énoncé du problème

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) a réussi à améliorer les capacités de raisonnement des grands modèles de langage (LLM) en remplaçant les préférences humaines subjectives par des signaux de correction objectifs (par exemple, des réponses mathématiques exactes ou des résultats de tests unitaires). Cependant, les approches RLVR existantes reposent principalement sur une rétroaction éparsée au niveau du résultat, où une récompense n'est fournie qu'à la fin d'une trajectoire complète.

Cette éparsité crée un problème fondamental d'attribution de crédit dans le raisonnement d'agents à long horizon. Dans des tâches multi-étapes impliquant l'utilisation d'outils, la planification ou la mise à jour de croyances, une trajectoire peut échouer malgré la présence de nombreuses décisions intermédiaires correctes, ou réussir malgré la présence d'erreurs. Une rétroaction terminale éparsée ne peut pas identifier de manière fiable quelles actions intermédiaires spécifiques doivent être renforcées ou pénalisées. Bien que les modèles de récompense de processus (PRM) tentent de résoudre ce problème en fournissant une rétroaction au niveau de l'étape, ils reposent souvent sur des modèles de récompense appris, des évaluations de type « LLM en tant que juge » ou des simulations de Monte Carlo. Ces méthodes introduisent du bruit, des biais, une vulnérabilité au piratage des récompenses ou une variance computationnelle élevée.

L'article identifie un écart : il existe un besoin de supervision dense au niveau du tour qui reste objective et ancrée dans la structure de la tâche, plutôt que de dépendre d'approximations apprises ou d'échantillonnages coûteux.

Méthodologie : Récompenses de processus vérifiables (VPR)

Les auteurs proposent les récompenses de processus vérifiables (VPR), un cadre qui convertit des oracles symboliques ou algorithmiques en signaux de récompense denses au niveau du tour pour l'apprentissage par renforcement. Les VPR fonctionnent sous l'hypothèse de problèmes de raisonnement d'agents densément vérifiables, où les actions intermédiaires peuvent être vérifiées objectivement par un vérificateur spécifique à la tâche $V: S \times A \to \{0, 1\}$.

Mécanisme central

Au lieu d'attendre un signal au niveau de la trajectoire ou d'estimer des valeurs via des simulations, les VPR vérifient chaque action intermédiaire par rapport à un vérificateur. Si une action est valide, utile ou optimale selon la logique du vérificateur, elle reçoit une récompense dense et exempte de bruit ($r_t^{VPR} = V(s_t, a_t)$).

Le cadre est mis en œuvre dans trois contextes représentatifs :

1. Vérification basée sur la recherche (Déduction dynamique) : Implémentée dans le Morpion. Le vérificateur utilise une recherche arborescente Monte Carlo (MCTS) pour évaluer l'optimalité stratégique. Une action est récompensée si elle correspond au coup optimal MCTS ($Q_{MCTS}$), incitant l'agent à éviter les coups localement attrayants mais stratégiquement perdants.
2. Vérification basée sur les contraintes (Raisonnement logique) : Implémentée dans le Sudoku. Le vérificateur vérifie si un chiffre rempli est cohérent avec la grille de solution globale unique ($G^*$). Une action est récompensée si elle correspond au chiffre correct pour une cellule ($G^*[i, j] = d$), fournissant une supervision dense pour la satisfaction de contraintes.
3. Vérification basée sur la postérieure (Inférence probabiliste) : Implémentée dans le Démineur. Le vérificateur calcule la probabilité postérieure des mines en fonction des observations révélées. Une action est récompensée si elle révèle une cellule avec la probabilité postérieure de mine minimale (minimisation du risque) ou si elle marque une cellule avec une probabilité de 1. Cela encourage l'agent à mettre à jour son état de croyance et à agir en fonction de l'incertitude.

Optimisation

La politique est optimisée à l'aide d'une variante au niveau du tour de l'optimisation de politique relative par groupe (GRPO). Pour chaque tour $t$, les récompenses sont normalisées à travers un groupe de trajectoires pour calculer un avantage au niveau du tour ($A_{i,t}$). Contrairement au RL au niveau du résultat, cela permet de renforcer les étapes intermédiaires correctes même si la trajectoire échoue finalement, et de pénaliser les étapes invalides même si la trajectoire réussit par hasard.

Analyse théorique

L'article fournit trois insights théoriques clés :

1. Mise à jour de type imitation : Les VPR agissent comme une mise à jour d'imitation filtrée en politique, où chaque étape contribue à son propre signal de crédit ancré dans l'oracle.
2. Échelle du biais : Le biais de gradient introduit par un vérificateur approximatif évolue linéairement avec le taux de désaccord du vérificateur ($\bar{\epsilon}$). Cela contraste avec les récompenses apprises ou basées sur des simulations, où le bruit peut se propager de manière plus imprévisible.
3. Accumulation de signal : Dans les tâches à long horizon, le signal VPR s'accumule linéairement avec l'horizon ($T$), tandis que le signal de récompense au niveau du résultat (OR) est dilué exponentiellement ($p^T$) car le succès nécessite que chaque étape soit correcte. Cela explique pourquoi les VPR offrent une attribution de crédit supérieure pour les trajectoires longues.

Contributions clés

1. Cadre : Introduction des VPR, une méthode pour dériver des récompenses de processus à partir de vérificateurs symboliques ou algorithmiques dans des problèmes de raisonnement d'agents densément vérifiables.
2. Implémentations : Démonstration des VPR dans trois domaines de raisonnement distincts : basé sur la recherche (Morpion), basé sur les contraintes (Sudoku) et basé sur la postérieure (Démineur).
3. Théorie : Une analyse théorique montrant que la rétroaction vérifiable dense améliore l'attribution de crédit à long horizon en localisant les mises à jour de gradient de politique et en offrant une échelle d'horizon favorable par rapport aux récompenses au niveau du résultat.
4. Validation empirique : Évaluation complète montrant que les VPR surpassent à la fois le RL au niveau du résultat et les bases de récompense de processus basées sur des simulations dans des environnements contrôlés, avec un transfert réussi vers des benchmarks de raisonnement général et d'agents.

Résultats expérimentaux

Les auteurs ont évalué les VPR en utilisant le modèle Qwen3-4B dans trois environnements d'entraînement et ont testé le transfert vers des tâches de raisonnement général et d'agents.

Performance en domaine

• Morpion : Les VPR se sont approchés du retour optimal (0) et étaient la seule méthode à performer fortement à la fois en tant que premier et deuxième joueur. Les bases au niveau du résultat (OR) et de récompense de processus Monte Carlo (MC-PR) étaient en retard, en particulier pour le deuxième joueur où l'attribution de crédit dense est critique.
• Sudoku : Bien que le modèle de base ait eu un taux de complétion modéré, il n'a résolu presque aucune énigme. Les VPR ont considérablement amélioré à la fois le taux de réussite (SR) et le taux de complétion (CR). Notamment, les MC-PR ont sous-performé par rapport aux OR, suggérant que les estimations bruyantes au niveau de l'étape peuvent être préjudiciables dans des tâches strictes de satisfaction de contraintes.
• Démineur : Les VPR ont montré les plus grands gains en taux de complétion, indiquant que les agents ont fait plus de déductions locales valides et ont survécu plus longtemps dans des états incertains par rapport aux bases.

Généralisation hors domaine

Les modèles entraînés avec des VPR ont démontré des capacités de transfert supérieures :

• Raisonnement général : Les modèles entraînés avec des VPR ont obtenu les scores moyens les plus élevés sur 7 benchmarks (GSM8K, MATH-500, AIME24/25, GPQA-D, BBH, MMLU-P). Les améliorations étaient les plus prononcées sur les benchmarks les plus difficiles (AIME, GPQA), suggérant que les VPR renforcent le raisonnement multi-étapes plutôt que d'améliorer uniformément toutes les tâches.
• Tâches d'agents : Les modèles VPR ont surpassé les bases sur ALFWorld (planification textuelle incarnée) et WebShop (interaction web orientée vers un objectif), des domaines structurellement éloignés des jeux d'entraînement synthétiques. Cela indique que les VPR favorisent des compétences de raisonnement général applicables au-delà de l'environnement d'entraînement.

Ablation de la qualité de l'oracle

Une découverte critique concernant la qualité de l'oracle :

• Vérificateurs de haute qualité (N=10 000 simulations MCTS) : Ont produit les meilleures performances à la fois en domaine et hors domaine.
• Vérificateurs faibles (N=100) : Ont nui activement à l'entraînement. Les modèles entraînés avec des vérificateurs faibles ont performé moins bien que le modèle de base à la fois dans l'environnement d'entraînement et sur les benchmarks de raisonnement général.
• Conclusion : La supervision dense n'est bénéfique que si le vérificateur est fiable. Une supervision de processus bruyante provenant d'un oracle désaligné peut dégrader les capacités de raisonnement général plus qu'une supervision de résultat éparsée.

Signification et affirmations

L'article affirme que le raisonnement d'agents densément vérifiable offre une voie utile pour étudier comment une rétroaction de processus dense et objective peut améliorer les capacités de raisonnement général des agents LLM.

• Recette pratique : Les auteurs proposent une approche pratique : identifier des environnements où la correction intermédiaire peut être vérifiée objectivement, superviser le processus de raisonnement plutôt que simplement la réponse finale, et transférer ces compétences à des contextes d'agents plus larges.
• Limites et défis : L'article reconnaît modestement que les VPR dépendent de la disponibilité et de la qualité des vérificateurs intermédiaires. Étendre les VPR à des environnements moins structurés et ouverts où les oracles symboliques ou algorithmiques ne sont pas facilement disponibles reste un défi ouvert.
• Impact : Ce travail souligne que si la supervision de processus vérifiable peut favoriser des compétences de raisonnement général, la qualité de l'« oracle » est primordiale ; sans vérification fiable, une rétroaction dense peut être contre-productive.