RewardBench 2: Advancing Reward Model Evaluation

1. Problématique

Les modèles de récompense (Reward Models - RMs) sont essentiels pour l'alignement des modèles de langage (LLM) via des méthodes comme l'apprentissage par renforcement à partir de feedback humain (RLHF) et le filtrage de données. Cependant, l'écosystème d'évaluation de ces modèles présente plusieurs lacunes critiques :

• Manque de corrélation avec les tâches en aval : Les performances sur les benchmarks existants (comme RewardBench) ne prédisent pas toujours efficacement l'efficacité des RMs dans des tâches réelles comme l'inférence (échantillonnage Best-of-N) ou l'entraînement RLHF.
• Contamination des données : De nombreux benchmarks réutilisent des prompts et des réponses issus d'évaluations en aval, créant un risque de contamination et de sur-estimation des performances.
• Complexité insuffisante : Les modèles actuels obtiennent des scores élevés sur les benchmarks existants, mais peinent dans des scénarios réels complexes. Les algorithmes d'alignement directs (sans RM) semblent parfois surpasser les approches basées sur des RMs mal évalués.
• Absence de diversité dans les tâches : Les évaluations actuelles ne couvrent pas suffisamment des domaines critiques comme la précision des instructions, la facticité (hallucinations) ou la gestion des réponses multiples valides (liens).

2. Méthodologie : Construction de REWARDBENCH 2

Les auteurs proposent REWARDBENCH 2, un nouveau benchmark multi-compétences conçu pour être plus rigoureux et corrélé aux performances en aval.

A. Collecte et Création des Données

• Prompts inédits : Contrairement aux travaux précédents, REWARDBENCH 2 utilise majoritairement des prompts humains inédits issus du pipeline WildChat, filtrés manuellement et par LM pour éviter toute contamination avec les tâches d'évaluation en aval.
• Format d'évaluation : Le benchmark utilise un format de choix parmi 4 complétions (1 choisie, 3 rejetées). Cela abaisse la ligne de base aléatoire à 25 % (contre 50 % pour les paires choisies/rejetées classiques), offrant plus de marge de progression ("headroom") pour les modèles performants.
• Six Domaines de Compétences :
  1. Facticité (Factuality) : Détection d'hallucinations et d'erreurs factuelles subtiles.
  2. Suivi d'instructions Précis (Precise IF) : Respect de contraintes strictes (ex: "répondre sans la lettre 'u'").
  3. Mathématiques (Math) : Résolution de problèmes ouverts (physique, calcul, combinatoire) avec vérification par vote majoritaire.
  4. Sécurité (Safety) : Capacité à refuser ou accepter des requêtes nuisibles, basée sur la taxonomie CoCoNot.
  5. Focus : Capacité à fournir des réponses pertinentes et hors-sujet (off-topic) pour distinguer la qualité de la réponse.
  6. Liens (Ties) : Un nouveau domaine testant la robustesse face à des réponses multiples également valides (ex: "Nommez une couleur de l'arc-en-ciel"). Le RM doit éviter de préférer arbitrairement une bonne réponse à une autre tout en rejetant les mauvaises.

B. Métriques de Scoring

• Précision (Accuracy) : Métrique principale pour 5 des 6 domaines.
• Score pondéré pour les "Ties" : Combine la précision et la capacité du modèle à maintenir un écart de récompense cohérent entre les réponses correctes et incorrectes, crucial pour éviter le collapse de la diversité en RLHF.

C. Expérimentations Contrôlées

Les auteurs ont entraîné 120 modèles de récompense (Bradley-Terry) en faisant varier :

• Les modèles de base (Llama 3.1, Qwen 2.5, Tulu 3 à différentes échelles 8B/70B).
• Les données d'entraînement (mélange Tulu vs Skywork).
• Les hyperparamètres (taux d'apprentissage, nombre d'époques).

3. Résultats Clés

A. Performance des Modèles Existants

• Difficulté accrue : Les modèles de pointe obtiennent environ 20 points de moins sur REWARDBENCH 2 que sur RewardBench.
• Faiblesses spécifiques : Les modèles actuels obtiennent moins de 40 % de précision sur le suivi d'instructions précises et moins de 70 % en mathématiques, révélant des lacunes significatives.

B. Insights sur l'Entraînement des RMs

• Impact du modèle de base : Les capacités acquises lors du post-entraînement (SFT, DPO, RL) du modèle de base se transfèrent au RM. Un RM basé sur un modèle Llama 3.1 Instruct surpasse souvent un RM basé sur un modèle Tulu SFT, même si les deux partent de la même base.
• Nombre d'époques : Contrairement à la pratique courante (1 époque pour éviter le surapprentissage), l'entraînement sur 2 époques s'est révélé bénéfique pour la précision de nombreux modèles, sans nuire aux performances en aval.
• Données d'entraînement : Combiner les données Tulu et Skywork donne de meilleurs résultats globaux que l'utilisation d'une seule source.

C. Corrélation avec les Tâches en Aval

• Inférence (Best-of-N) : Il existe une forte corrélation (r=0.87) entre les scores de REWARDBENCH 2 et les performances en échantillonnage Best-of-N (BoN). Le benchmark est un excellent prédicteur pour cette tâche.
• Entraînement RLHF (PPO) : La corrélation est plus nuancée.
  • Pour les modèles "On-Policy" (RM et politique de même lignée), les scores du benchmark prédisent bien les performances.
  • Problème majeur (Off-Policy) : Si le RM est entraîné sur une lignée différente de la politique (ex: RM Llama entraîné sur politique Tulu), les performances en aval chutent drastiquement, même si le RM obtient un excellent score sur le benchmark.
  • Conclusion : Un score élevé sur le benchmark ne garantit pas un bon résultat en RLHF si l'alignement de la lignée (lineage) n'est pas respecté.

4. Contributions Principales

1. Nouveau Benchmark Rigoureux : Introduction de REWARDBENCH 2, basé sur des prompts humains inédits et un format 1-vs-3, offrant une évaluation plus stricte et moins sujette à la contamination.
2. Analyse de l'Entraînement : Démonstration que l'entraînement sur plusieurs époques peut être bénéfique et que le choix du modèle de base (post-entraîné) est critique pour les capacités du RM.
3. Découverte du Facteur "Lignée" (Lineage) : Identification que la performance en RLHF dépend fortement de l'alignement entre le modèle de base du RM et la politique à entraîner, un facteur que les benchmarks standards ne capturent pas.
4. Corrélation Différenciée : Preuve que les benchmarks de précision sont excellents pour prédire les gains en inférence (BoN) mais insuffisants seuls pour garantir le succès en RLHF sans considérer le contexte d'entraînement.

5. Signification et Impact

Ce travail marque une étape cruciale dans l'évaluation des modèles de récompense. Il déplace le paradigme d'une simple optimisation de la précision sur des tâches statiques vers une évaluation contextuelle et systémique.

• Pour la communauté : REWARDBENCH 2 fournit un standard plus élevé pour comparer les RMs, forçant les chercheurs à développer des modèles plus robustes face aux hallucinations et aux instructions complexes.
• Pour la pratique industrielle : Le papier met en garde contre l'utilisation aveugle du "meilleur" modèle de récompense selon un benchmark. Pour le RLHF, il est impératif d'utiliser un RM issu de la même lignée que le modèle politique, sous peine de dégradation des performances.
• Évolution future : Il souligne la nécessité d'évoluer vers des cadres d'évaluation qui intègrent non seulement la précision, mais aussi la compatibilité du modèle avec l'architecture de post-entraînement spécifique.

En résumé, REWARDBENCH 2 n'est pas seulement un test plus difficile, mais un outil diagnostique qui révèle les limites des pratiques actuelles d'évaluation et d'entraînement des modèles de récompense.