Résumé Technique : rePIRL : Apprendre le PRM par l'Apprentissage par Renforcement Inverse pour le Raisonnement des LLM

Énoncé du Problème

Dans le raisonnement des Grands Modèles de Langage (LLM), les Modèles de Récompense de Processus (PRM) sont utilisés pour fournir des récompenses intermédiaires au niveau du jeton (token), visant à améliorer l'efficacité de l'entraînement, à réduire la variance et à prévenir le détournement de récompense (reward hacking). Cependant, les méthodes existantes pour apprendre des PRM efficaces font face à des limitations significatives :

• Méthodes Hors-ligne (Offline) : Les approches supervisées (ex. Uesato et al., 2022 ; Lightman et al., 2023) et les travaux de type DPO nécessitent l'accès à des annotations au niveau du jeton ou à des étiquettes de préférence provenant de trajectoires d'experts, ce qui est coûteux à obtenir. Les méthodes basées sur la recherche arborescente Monte Carlo (MCTS) (ex. Wang et al., 2024) nécessitent l'exécution d'une politique d'expert pour générer des trajectoires, ce qui est coûteux en termes de calcul et irréalisable si la politique d'expert n'est pas disponible.
• Méthodes En-ligne (Online) : Les approches comme PRIME (Cui et al., 2025a) reposent sur des hypothèses fortes concernant les fonctions de récompense et le modèle de politique en cours d'entraînement. Les méthodes de récompense intrinsèque (ex. Zhao et al., 2025b) utilisent l'entropie ou la confiance du modèle comme récompenses, mais souffrent d'un « effondrement de l'entropie » (entropy collapse), où les performances se dégradent lors des phases tardives de l'entraînement en raison d'un comportement de recherche de mode excessif.

Le défi central est d'apprendre un PRM efficace avec un minimum d'hypothèses : spécifiquement, sans nécessiter d'annotations de récompense au niveau du jeton, de labels de préférence, d'accès à la politique de l'expert, ou de suppositions fortes sur la forme de la fonction de récompense.

Méthodologie : Cadre rePIRL

Les auteurs proposent rePIRL, un cadre inspiré de l'Apprentissage par Renforcement Inverse (IRL) qui apprend des PRM uniquement à partir de trajectoires d'experts. La méthode modélise le raisonnement multi-étapes des LLM comme un processus de décision de Markov (MDP) au niveau du jeton et emploie un processus d'apprentissage dual qui met à jour la politique et le PRM de manière interchangeable.

1. Fondement Théorique

• Construction de l'Objectif : Suivant le cadre classique de l'IRL, les auteurs définissent une variable cachée $o_t \in \{0, 1\}$ indiquant si une action est échantillonnée de la politique d'expert. Ils modélisent la probabilité qu'une action soit échantillonnée par l'expert à l'aide d'une fonction basée sur l'énergie : $p(o_t=1|s_t, a_t) \propto \exp(r_\phi(s_t, a_t))$.
• Maximisation de la Vraisemblance : La fonction de récompense $r_\phi$ est apprise en maximisant la vraisemblance des trajectoires d'experts. Cela conduit à un objectif impliquant une fonction de partition $z(\phi)$, qui est intraitable pour les LLM en raison des vastes espaces d'états et d'actions.
• Tractabilité par Échantillonnage : Pour résoudre l'intraitabilité de la fonction de partition, les auteurs appliquent une astuce de gradient et un échantillonnage préférentiel (importance sampling). Au lieu d'échantillonner à partir de la politique optimale (qui est inconnue), ils échantillonnent des trajectoires $\bar{\tau}$ à partir de la politique actuelle $\pi_\theta$. Le gradient est approximé à l'aide de poids d'importance $w = \exp(r_\phi(\bar{\tau})) / \pi_\theta(\bar{\tau})$.
• Optimisation de la Politique : Pour prévenir l'effondrement du modèle (politiques déterministes), la politique est mise à jour en utilisant un objectif de RL à Entropie Maximale (Haarnoja et al., 2018), qui équilibre la maximisation de la récompense avec la régularisation de l'entropie. Cela est résolu à l'aide d'algorithmes tels que RLOO, PPO ou GRPO.

2. Algorithme d'Apprentissage

La boucle d'entraînement alterne entre la mise à jour du PRM et la politique :

1. Rollout (Déploiement) : Générer des déploiements de politique et récupérer les démonstrations d'experts.
2. Calcul de la Récompense : Calculer les récompenses de résultat (outcome rewards) et les récompenses de processus moyennes.
3. Mise à jour du PRM : Mettre à jour le modèle de récompense à l'aide d'une fonction de perte qui contraste les trajectoires d'experts avec les déploiements de la politique, pondérés par les scores d'échantillonnage préférentiel. Crucialement, les auteurs utilisent les récompenses de processus moyennes plutôt que les récompenses cumulées pour atténuer le détournement de récompense.
4. Mise à jour de la Politique : Mettre à jour le modèle de politique en utilisant les récompenses de processus apprises combinées aux récompenses de résultat (si disponibles), en employant des objectifs d'entropie maximale.

3. Unification des Méthodes Existantes

Une contribution théorique clé est de démontrer que rePIRL peut unifier diverses méthodes existantes d'apprentissage de PRM (DPO, DQO, Math-Shepherd, PRIME) sous un seul cadre en introduisant des hypothèses additionnelles spécifiques. Cela positionne rePIRL comme la méthode la plus générale, nécessitant le moins d'hypothèses.

Contributions Clés

1. Nouveau Cadre : Introduction de rePIRL, un cadre inspiré de l'IRL pour apprendre des PRM à partir de trajectoires d'experts sans annotations au niveau du jeton, sans labels de préférence, ni accès à la politique de l'expert.
2. Théorie Unifiée : Une analyse théorique montrant que rePIRL unifie les méthodes de apprentissage de PRM hors-ligne et en-ligne les plus performantes (incluant DPO, DQO, PRIME et les approches basées sur MCTS) sous un cadre d'apprentissage unique, clarifiant leurs hypothèses sous-jacentes.
3. Algorithme Scalable : Développement d'un algorithme d'apprentissage scalable adapté aux LLM, utilisant l'échantillonnage préférentiel pour gérer les fonctions de partition intraitable et l'apprentissage par renforcement à entropie maximale pour assurer la stabilité de l'entraînement.
4. Validation Empirique : Évaluation complète sur des benchmarks de mathématiques et de codage démontrant des performances supérieures par rapport aux baselines.

Résultats Expérimentaux

Les auteurs ont évalué rePIRL en utilisant Qwen2.5-3B-Instruct et Qwen3-4B-Base sur sept benchmarks standards (AIME-2024, AMC, Math-500, MinervaMath, OlympiadBench, Leetcode, LiveCodeBench).

• Performance : rePIRL a atteint des résultats de pointe parmi les modèles d'échelle 3B et 4B. Par exemple, sur Qwen3-4B-Base, il a atteint 41,6 % de précision moyenne sur les benchmarks mathématiques et 39,8 % sur les benchmarks de codage, surpassant des baselines solides comme PRIME, MCTS et le RLOO classique.
• Comparaison : Il a montré des améliorations absolues de 3,2 % (maths) et 4,3 % (codage) par rapport au RLOO classique avec Qwen3-4B-Base.
• Applications :
  • Entraînement au Temps de Test (Test-time Training) : Lorsqu'il est entraîné uniquement sur des signaux de PRM sans récompenses de résultat, rePIRL égale la performance des modèles entraînés avec des récompenses de résultat vérifiables.
  • Mise à l'Échelle au Temps de Test (Test-time Scaling) : L'utilisation du PRM comme vérificateur pour sélectionner de meilleurs déploiements a produit des améliorations de performance monotones, surpassant le vote majoritaire.
  • Problèmes Difficiles : Le PRM a fourni des signaux précoces informatifs pour les problèmes difficiles où les récompenses de résultat étaient rares, menant à une convergence plus rapide par rapport à l'entraînement basé uniquement sur le résultat.
• Efficacité : rePIRL a introduit un surcoût de temps d'entraînement d'environ 1,4x par rapport au RL basé sur le résultat (ex. RLOO) tout en évitant le besoin de réseaux de valeur séparés.

Signification et Revendications

L'article affirme être le premier travail à généraliser l'Apprentissage par Renforcement Inverse pour le raisonnement des LLM et le premier à unifier les méthodes d'apprentissage de PRM existantes dans un cadre unique.

• Hypothèses Minimales : Les auteurs soulignent que rePIRL opère sous les hypothèses minimales nécessaires, ce qui le rend plus généralisable que les méthodes nécessitant des annotations au niveau du jeton ou un accès spécifique à la politique d'expert.
• Stabilité : Le cadre traite le problème de l'effondrement de l'entropie courant dans les méthodes de récompense intrinsèque en exploitant l'apprentissage par renforcement à entropie maximale, assurant une dynamique d'entraînement stable.
• Utilité : Le PRM entraîné est présenté comme un module réutilisable et autonome qui bénéficie aux applications en aval telles que l'entraînement au temps de test et la mise à l'échelle, particulièrement dans les scénarios où les récompenses de résultat sont indisponibles ou rares.

Les auteurs concluent que, bien que rePIRL apporte une perspective théorique unifiée et une utilité pratique, les travaux futurs pourraient explorer la combinaison avec des méthodes de récompense intrinsèque, des comparaisons systématiques des heuristiques de RL en ligne, et le passage à l'échelle vers des tâches agentiques et des modèles plus grands.