Résumé Technique : OPENREWARD

Problématique

Les modèles de récompense (Reward Models - RM) sont essentiels pour l'alignement des grands modèles de langage (LLM) lors de l'entraînement et de l'inférence, servant de substituts évolutifs à l'évaluation humaine. Cependant, les RM existants, qu'ils soient entraînés comme classifieurs de préférences binaires ou utilisant le paradigme « LLM-as-a-Judge » (le LLM comme juge), éprouvent des difficultés significatives face aux tâches à réponse ouverte, intensives en connaissances et de longue forme. L'évaluation de tels contenus (par exemple, des rapports médicaux, des itinéraires de voyage ou des recherches approfondies) nécessite souvent un ancrage dans des informations externes qui dépassent la connaissance paramétrique interne du modèle. Les approches actuelles reposent soit sur le prompting de LLM commerciaux avec des moteurs de recherche (manquant de flexibilité), soit sur de simples interactions d'outils pour la vérification de formes courtes, laissant un vide dans l'évaluation efficace de réponses complexes et de longue forme dans des contextes ouverts.

Méthodologie

Le papier propose OPENREWARD, un cadre de modélisation de récompense augmenté par des outils, conçu pour raisonner de manière adaptative et appeler des outils externes afin de recueillir des preuves avant de rendre un jugement.

1. Cadre de Récompense Agentique

OPENREWARD fonctionne comme un processus de décision séquentiel. Étant donné une requête $q$ et deux réponses candidates ($x_1, x_2$) :

• Invocation d'Outil : Le modèle décide de manière itérative quel outil invoquer (par exemple, recherche Wikipedia, recherche arXiv, recherche PubMed) en fonction du contexte actuel.
• Collecte de Preuves : Les outils sélectionnés s'exécutent pour récupérer des résultats externes ($e_i$), qui sont ajoutés au contexte pour guider le raisonnement ultérieur.
• Jugement Final : Après avoir recueilli suffisamment de preuves, le modèle sélectionne la meilleure réponse ($y$) et fournit une explication.

2. Entraînement via l'Apprentissage par Renforcement (RL)

Pour entraîner le modèle à utiliser efficacement les outils et à rendre des jugements précis, les auteurs utilisent la Group Relative Policy Optimization (GRPO).

• Signal d'Entraînement : Une fonction de récompense composite $R$ est conçue pour superviser à la fois le comportement intermédiaire et les résultats finaux :
  $$R = R_{EM} + \text{sign}(R_{EM}) \cdot \lambda \cdot R_{tool}$$
  • $R_{EM}$ (Précision du Résultat) : Une récompense binaire (1 ou 0) basée sur le fait que le jugement final correspond à la vérité de terrain (ground truth).
  • $R_{tool}$ (Utilisation de l'Outil) : Une récompense de +1 pour une sélection d'outil correcte et 0 pour des appels incorrects ou non pertinents.
  • Conception Cruciale : La récompense de l'outil est cadencée par la précision du résultat final ($\text{sign}(R_{EM})$). Cela empêche le « reward hacking » (piratage de la récompense) où le modèle pourrait apprendre à appeler fréquemment des outils tout en échouant toujours à répondre correctement.
• Optimisation : La GRPO calcule les avantages relatifs au groupe en comparant les trajectoires au sein d'un groupe, encourageant la découverte de stratégies de raisonnement multi-étapes efficaces par essais et erreurs.

3. Synthèse de Données Contrôlable (OPENRM-LIB)

Pour remédier à la rareté des données par paires fiables pour les tâches de longue forme, les auteurs introduisent OPENRM-LIB, un cadre de synthèse de données non supervisée :

• Génération de Requêtes Sensibles à la Cible : Un LLM puissant génère des requêtes à partir de documents échantillonnés (ex. Wikipedia, arXiv).
• Construction de Paires Positives/Négatives :
  • Réponse Positive : Générée par un LLM ayant accès au document de référence.
  • Réponse Négative : Générée par le même LLM sans accès au document de référence.
• Cette configuration contrastive garantit un écart de qualité clair (ancré vs halluciné/incomplet) sans annotation manuelle, produisant plus de 27 000 paires d'entraînement de haute qualité.

Principales Contributions

1. Cadre OPENREWARD : Introduction d'un RM augmenté par des outils capable de récupérer de manière autonome des preuves externes pour juger des réponses complexes et de longue forme, répondant ainsi aux limites de la connaissance interne statique.
2. Synthèse de Données Contrôlable : Une stratégie novatrice (OPENRM-LIB) pour générer plus de 27K paires de données d'entraînement de haute qualité de manière non supervisée, surmontant les goulots d'étrangleux de données pour l'évaluation de longue forme.
3. Stratégie d'Entraînement RLVR : Une fonction de récompense composite utilisant la GRPO qui optimise conjointement la précision de la sélection des outils et la justesse du jugement final, prévenant efficacement le piratage de la récompense.
4. Validation Empirique : Évaluation complète démontrant qu'OPENREWARD surpasse les bases de référence existantes (y compris LLM-as-a-Judge et d'autres RM entraînés) sur plusieurs domaines.

Résultats Expérimentaux

Le papier évalue OPENREWARD sur trois nouveaux ensembles de données in-domain (Wikipedia, Scientifique, Médical) et deux benchmarks out-of-domain (RewardBench, PandaLM).

• Performance In-Domain : OPENREWARD (basé sur Qwen-2.5-7B) atteint une précision moyenne de 91,33 % sur les nouveaux ensembles de données, surpassant substantiellement des bases de référence solides comme GPT-4o (62,80 %), Claude-Opus (63,23 %) et d'autres RM entraînés (ex. RM-R1 à 54,32 %).
• Généralisation Out-of-Domain : Malgré un entraînement sur seulement 27K exemples (contre plus de 100K pour certaines bases de référence), OPENREWARD atteint une précision moyenne de 78,54 % sur RewardBench et PandaLM, surpassant des modèles entraînés sur des ensembles de données nettement plus vastes. Les auteurs attribuent cela à la capacité du modèle à raisonner sur les preuves récupérées plutôt qu'à mémoriser les distributions d'entraînement.
• Études d'Ablation :
  • Supprimer le signal de récompense de l'outil conduit à une « recherche paresseuse » (dépendance à la connaissance interne).
  • Découpler les récompenses d'outils de la précision finale conduit au « reward hacking » (recherche excessive sans jugements corrects).
  • La conception de la récompense cadencée est essentielle pour équilibrer le raisonnement et l'utilisation des outils.
• Utilité Aval (Downstream) :
  • Sélection de Données : Utiliser OPENREWARD pour filtrer les données d'entraînement pour DPO permet d'obtenir une précision de sélection plus élevée (75,18 %) par rapport à RM-R1 (68,87 %).
  • Alignement de Modèle : Les LLM alignés avec les données sélectionnées par OPENREWARD montrent des gains de performance constants (ex. +4,57 % en moyenne pour le modèle 7B) par rapport à ceux alignés avec les RM existants.

Signification

Le papier pose que la modélisation de récompense augmentée par des outils représente une étape significative vers une évaluation fiable et un alignement post-entraînement des LLM. En permettant aux RM d'agir comme des systèmes agentiques qui vérifient les affirmations par rapport à des preuves externes, OPENREWARD répond à la limitation fondamentale des RM standards dans les scénarios intensifs en connaissances. Ce travail démontre que l'intégration d'outils externes avec l'apprentissage par renforcement améliore non seulement la précision du modèle de récompense lui-même, mais améliore également la qualité de l'alignement des LLM en aval, suggérant une voie évolutive vers des systèmes d'IA plus dignes de confiance.