C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences

Titre : C2 : Modélisation de récompense augmentée par des rubriques, évolutive et coopérative-critique

1. Problématique

L'alignement des grands modèles de langage (LLM) avec les valeurs humaines repose souvent sur la modélisation de récompense (Reward Modeling - RM) via des préférences binaires (choix entre deux réponses). Cependant, dans des domaines subjectifs comme l'écriture créative ou le suivi d'instructions, les critères d'évaluation sont implicites, rendant la vérification difficile.
Une approche prometteuse consiste à utiliser des rubriques (critères d'évaluation explicites) pour guider les modèles de récompense. Néanmoins, deux obstacles majeurs limitent l'évolutivité de cette méthode :

1. Coût des annotations : La plupart des méthodes existantes dépendent de rubriques annotées par des humains ou générées par des modèles propriétaires plus grands, ce qui est coûteux et limite la réutilisation des corpus de préférences existants.
2. Échec de la coopération : Les expériences montrent que la génération automatique de rubriques (self-generated) est instable. Si les rubriques sont de haute qualité, elles améliorent la précision ; mais si elles sont de mauvaise qualité (vagues ou incohérentes), elles détournent activement le modèle de récompense vers des jugements erronés, dégradant les performances en dessous du niveau de base (sans rubriques).

L'objectif est donc de concevoir un système de vérification augmenté par des rubriques qui soit évolutif (utilisant uniquement des préférences binaires) et robuste aux erreurs de génération de rubriques.

2. Méthodologie : Le cadre C2 (Cooperative yet Critical)

Les auteurs proposent C2, un cadre d'apprentissage conjoint qui traite la génération de rubriques et la vérification comme un processus de communication coopératif mais critique. Le système repose sur deux composants entraînés à partir de préférences binaires :

• Générateur de rubriques coopératif (Cooperative Generator) : Son rôle est de proposer des rubriques qui guident le vérificateur vers la bonne réponse.
• Vérificateur critique (Critical Verifier) : Son rôle est d'évaluer la validité d'une rubrique avant de l'utiliser pour juger une réponse. Il doit décider de faire confiance à la rubrique ou de l'ignorer.

Processus d'entraînement (en 3 étapes) :

1. Synthèse de rubriques contrastives :

   • À partir d'un modèle de base, on génère plusieurs rubriques candidates pour un même exemple.
   • On mesure l'impact de chaque rubrique sur la probabilité que le modèle de base choisisse la réponse correcte (le "gold label").
   • On identifie deux types de rubriques :
     • Aidantes (Helpful) : Elles augmentent la marge de confiance vers la réponse correcte.
     • Trompeuses (Misleading) : Elles poussent le modèle vers la réponse incorrecte.
   • Ces paires contrastives servent de signal d'apprentissage.

2. Entraînement du Générateur (via DPO) :

   • Le générateur est entraîné par Optimisation Directe des Préférences (DPO).
   • Pour chaque exemple, la rubrique "aidante" est traitée comme la réponse choisie, et la rubrique "trompeuse" comme la réponse rejetée. Cela apprend au générateur à produire des critères discriminatifs et pertinents.

3. Entraînement du Vérificateur (via GRPO) :

   • Le vérificateur est entraîné par Optimisation de Politique Relative de Groupe (GRPO).
   • Il apprend deux tâches simultanément :
     • Juger quelle réponse est préférée.
     • Évaluer la qualité de la rubrique fournie (classification binaire : "aidante" ou "trompeuse").
   • La fonction de récompense inclut un terme spécifique pour la justesse de l'évaluation de la rubrique.

4. Inférence Sélective :

   • Lors de l'utilisation, le vérificateur génère une rubrique, l'évalue, et décide :
     • Si la rubrique est jugée "aidante", il l'utilise pour affiner son jugement.
     • Si elle est jugée "trompeuse", il l'ignore et revient à une évaluation sans rubrique (rubric-free).

3. Contributions Clés

• Caractérisation empirique des rubriques auto-générées : Les auteurs démontrent que la qualité des rubriques est le facteur déterminant. Les rubriques de mauvaise qualité ne sont pas neutres ; elles nuisent activement à la performance.
• Cadre C2 sans annotations externes : C2 réalise une vérification augmentée par des rubriques en utilisant uniquement des préférences binaires, éliminant le besoin d'annotations humaines coûteuses ou de modèles plus grands pour générer les critères.
• Mécanisme de rejet sélectif : En apprenant au vérificateur à rejeter les rubriques non fiables, le système devient robuste au bruit inhérent à la génération automatique.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux modèles de base (Tulu3-8B et Qwen3-8B) et comparées à des modèles de récompense basés sur le raisonnement (Reasoning RMs) entraînés avec GRPO.

• Prédiction de préférences (Benchmarks) :
  • Sur RM-Bench (qui contrôle les biais de style et de longueur), C2 surpasse les modèles de référence de 6,5 points (87,8% contre 81,3% pour Qwen3-8B).
  • Sur RewardBench, C2 obtient une performance moyenne de 78,5% pour Qwen3-8B, égalant les performances d'un modèle utilisant des rubriques générées par un modèle 4 fois plus grand (Qwen3-32B).
• Alignement en aval (RLHF) :
  • Les politiques entraînées avec DPO guidées par C2 obtiennent des taux de victoire supérieurs sur AlpacaEval 2.0 (+6,0 points de taux de victoire contrôlé par la longueur pour Tulu3) et Arena-Hard.
• Robustesse :
  • C2 maintient sa performance même lorsque la proportion de rubriques de mauvaise qualité est élevée, grâce au mécanisme d'inférence sélective. Les modèles sans vérification critique voient leurs performances chuter drastiquement dans ces conditions.
• Analyse de coût :
  • Bien que C2 consomme plus de tokens (environ 2,4x) en raison de la génération de rubriques et des tentatives de rejeu, des expériences de contrôle de calcul montrent que les gains de performance proviennent de la conception coopérative-critique et non simplement d'une augmentation brute du temps de calcul.

5. Signification et Impact

Ce travail démontre que l'élicitation d'une coopération délibérée entre un générateur de critères et un vérificateur permet de dépasser les capacités des modèles de récompense traditionnels.

• Évolutivité : C2 offre une voie pour améliorer la fiabilité des modèles de récompense sans dépendre de ressources d'annotation externes massives.
• Fiabilité : En intégrant une capacité de "critique" (vérification de la source d'information), le système devient plus fiable face aux erreurs de génération, un problème crucial pour le déploiement à grande échelle.
• Généralisation : La méthode permet à un modèle de 8 milliards de paramètres d'atteindre des performances comparables à celles obtenues avec des rubriques provenant de modèles beaucoup plus grands, réduisant ainsi la barrière à l'entrée pour des systèmes d'alignement de haute qualité.

En résumé, C2 transforme la génération de rubriques d'un processus passif et risqué en un dialogue actif et filtré, rendant la vérification par LLM plus robuste et scalable.