Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

Résumé Technique : FiMi-RM (Bias Fitting to Mitigate Length Bias of Reward Model in RLHF)

Énoncé du Problème

L'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) est le cadre standard pour aligner les grands modèles de langage (LLM) avec les préférences humaines. Cependant, ce processus est susceptible de subir un « reward hacking » (piratage de récompense), où la politique exploite les failles du modèle de récompense entraîné pour maximiser les scores sans réellement adhérer à l'intention humaine. Une forme prévalente de ce piratage est le biais de longueur, où les modèles de récompense favorisent systématiquement les réponses plus longues, indépendamment de leur qualité réelle. Cela conduit à des générations excessivement verbeuses dans les modèles en aval.

Les stratégies de mitigation existantes souffrent de limitations significatives :

1. Manque de caractérisation : Certaines approches (par exemple, RRM) tentent d'équilibrer les distributions de données ou d'utiliser des cadres causaux sans modéliser explicitement la forme du biais.
2. Hypothèses linéaires : De nombreuses méthodes (par exemple, Length Penalty, ODIN, Huang et al.) supposent une relation linéaire entre la longueur de la réponse et la récompense. Elles soustraient soit un coefficient fixe basé sur la longueur, soit utilisent une régression linéaire pour découpler la longueur de la qualité.
3. Inadéquation : Ces hypothèses linéaires ne parviennent pas à capturer la nature complexe et non linéaire de l'interaction entre la longueur et les scores de récompense, particulièrement les motifs complexes observés dans différents régimes de longueur.

Méthodologie : FiMi-RM

Les auteurs proposent FiMi-RM (Bias Fitting to Mitigate Length Bias of Reward Model), un cadre conçu pour apprendre et corriger de manière autonome les schémas de biais non linéaires sous-jacents. L'approche opère en trois étapes distinctes :

1. Étape de Warm-Up (Préchauffage) :

   • Un modèle de récompense standard ($model_r$) est entraîné en utilisant la perte de Bradley-Terry sur des données de préférence.
   • Crucialement, cette étape préserve le biais de longueur inhérent du modèle de récompense plutôt que de tenter de le corriger immédiatement. Cela garantit que le modèle possède une tendance systématique et forte à attribuer des scores plus élevés aux réponses plus longues, fournissant ainsi une cible claire pour l'étape de fitting suivante.

2. Étape de Fitting du Biais de Longueur :

   • Un modèle de fitting léger ($model_f$) est introduit pour caractériser explicitement la relation entre la longueur de la réponse ($len(y)$) et la sortie de récompense biaisée ($r$).
   • Architecture : La longueur scalaire est projetée dans un espace de caractéristiques de dimension $d$ (en utilisant un encodage de longueur inspiré du Positional Encoding), traitée via une architecture ResNet, puis transmise à une tête de projection linéaire pour prédire la récompense ($\hat{r}$).
   • Objectif : Le modèle de fitting est entraîné pour minimiser la divergence entre sa prédiction ($\hat{r}$) et la sortie réelle du modèle de récompense ($r$). L'optimisation utilise une perte de corrélation de Pearson ($L_{pearson}$) pour maximiser la corrélation entre les récompenses prédites et réelles.
   • Insight Clé : L'utilisation de la perte de Pearson aligne les schémas de corrélation sans imposer de contrainte de linéarité au modèle de fitting lui-même. Le $model_f$ basé sur ResNet est libre d'apprendre des dépendances non linéaires complexes.

3. Étape de Débiaisage de la Longueur :

   • Le modèle de récompense original est affiné (fine-tuned) pour découpler ses sorties de la longueur de la réponse tout en préservant sa capacité à modéliser les préférences humaines.
   • Mécanisme d'entraînement : Le cadre emploie une stratégie d'entraînement alternée entre le modèle de récompense et le modèle de fitting.
   • Fonction de perte : Le modèle de récompense est optimisé à l'aide d'une perte composite :
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$ : Force la sortie du modèle de récompense à être décorrélée de la prédiction du modèle de fitting (éliminant ainsi le biais appris).
     • $L_{BT}$ : La perte standard de Bradley-Terry, garantissant que le modèle conserve sa capacité discriminante pour les préférences humaines.
   • La fonction indicatrice $I(step)$ alterne les étapes d'entraînement entre le fitting du biais et le débiaisage du modèle de récompense.

Contributions Clés

1. Modélisation de Biais Non Linéaire : Le papier introduit un cadre multi-étapes qui apprend de manière autonome la relation non linéaire entre la longueur de la réponse et la récompense « piratée », dépassant les hypothèses linéaires simplistes des travaux précédents.
2. Validation Empirique de la Non-Linéarité : À travers le processus de fitting, les auteurs identifient un schéma de biais multi-étapes :
   • Réponses courtes (<100 tokens) : Présentent une forte corrélation linéaire où la récompense augmente avec la longueur.
   • Réponses plus longues : La relation s'aplatit, et dans certains cas, montre une légère tendance à la baisse, indiquant que l'effet positif de la longueur sur la récompense diminue ou s'inverse pour les sorties étendues.
3. Évaluation Complète : La méthode est validée par une analyse de la distribution longueur-récompense, des taux de victoire contrôlés par la longueur, et des distributions de longueur de réponse à travers plusieurs algorithmes d'alignement (DPO et Best-of-N).

Résultats Expérimentaux

Les auteurs ont évalué FiMi-RM en utilisant les modèles Qwen2.5-7B et Gemma2-9B sur le jeu de données Anthropic HH, en comparaison avec les modèles de récompense classiques (Vanilla RM), la pénalité de longueur (Length Penalty) et ODIN.

• Précision des Préférences : FiMi-RM a obtenu une précision plus équilibrée entre les sous-ensembles où la réponse choisie était plus longue (C-longer) versus plus courte (R-longer). Bien que la précision globale sur le sous-ensemble C-longer ait légèrement diminué, les auteurs soutiennent que cela indique la suppression réussie du « raccourci de longueur » plutôt qu'une perte de compréhension sémantique.
• Distribution Longueur-Récompense : Les diagrammes de dispersion ont révélé que FiMi-RM produit une distribution de récompense plus symétrique et plus plate à travers les tranches de longueur par rapport aux bases de référence, confirmant un débiaisage efficace.
• Performance en Aval (BoN & DPO) :
  • Taux de Victoire : FiMi-RM a obtenu le Taux de Victoire Contrôlé par la Longueur (LC-WR) et le Taux de Victoire (WR) standard les plus élevés dans les configurations Best-of-N (BoN) et Direct Preference Optimization (DPO).
  • Verbosité : La méthode a considérablement réduit la longueur moyenne des tokens des réponses générées par rapport au Vanilla RM et à la Length Penalty, tout en maintenant ou en améliorant les performances sur des benchmarks tels que MT-Bench et IFEval.
  • Biais de Sélection : Dans la sélection BoN, FiMi-RM a démontré une préférence plus marquée pour les sorties concises par rapport à ODIN, qui tendait à déplacer les préférences vers des réponses de longueur moyenne plutôt que vers les courtes.

Signification et Revendications

Le papier affirme que FiMi-RM offre une approche plus précise et plus efficace pour atténuer le biais de longueur en modélisant explicitement la nature non linéaire du problème. En découplant la longueur de la récompense sans compromettre les capacités fondamentales de modélisation des préférences, la méthode permet aux pipelines de RLHF de générer des réponses qui sont à la fois de haute qualité et appropriées en termes de concision.

Les auteurs notent que bien que leur méthode réduise efficacement les corrélations spécieuses, la question de savoir si les préférences humaines sont entièrement indépendantes de la longueur reste ouverte. Ils reconnaissent que dans certains contextes (par exemple, des tâches nécessitant des explications détaillées), une corrélation positive entre la longueur et la qualité peut être authentique. Cependant, leur cadre distingue avec succès le biais exploitable de la préférence réelle, menant à un alignement de modèle plus sûr et plus efficace.