Résumé technique : Élimination des biais inductifs dans les modèles de récompense grâce à une guidance théorique de l'information

Énoncé du problème

Les modèles de récompense (RM) sont des composants critiques de l'apprentissage par renforcement à partir de retours humains (RLHF), servant à aligner les grands modèles de langage (LLM) sur les valeurs humaines. Cependant, les données d'entraînement pour les RM sont souvent de mauvaise qualité, contenant des biais inductifs significatifs qui entraînent un surajustement et des « piratages de récompense ». Les biais courants incluent :

• Longueur de la réponse : Les annotateurs préfèrent souvent des réponses plus détaillées, amenant les RM à corréler erronément un texte plus long avec une meilleure qualité.
• Flatterie : Les RM peuvent apprendre à favoriser les réponses qui flattent l'utilisateur plutôt que celles qui sont factuellement exactes.
• Format : Préférences pour des éléments stylistiques spécifiques (par exemple, listes, texte en gras, émojis) sans rapport avec la qualité du contenu.

Les approches existantes de débiaisage souffrent de limitations :

1. Corrélation linéaire : Les méthodes utilisant les coefficients de Pearson ne capturent que des relations linéaires simples, échouant à traiter des biais complexes et non linéaires.
2. Contraintes scalaires : Des approches comme l'ajout d'une tête spécifique pour la prédiction de la longueur sont limitées aux biais scalaires et manquent de fondement théorique.
3. Sur-contrainte : Les techniques imposant une invariance distributionnelle (par exemple, via la divergence maximale de la moyenne) risquent de déformer le paysage de récompense, provoquant un effondrement fonctionnel.
4. Absence de contraintes explicites : Les méthodes générales de compression comme le goulot d'étranglement de l'information (IB) ne contraignent pas explicitement les attributs biaisés, échouant à garantir un débiaisage.

Méthodologie : DIR (Débiaisage par optimisation de l'information pour les RM)

Les auteurs proposent DIR, un cadre théorique de l'information inspiré du principe du goulot d'étranglement de l'information (IB). L'objectif central est de maximiser l'information mutuelle (IM) entre la prédiction du RM et la véritable préférence humaine (qualité du contenu) tout en minimisant l'IM entre la prédiction du RM et des attributs de biais non pertinents.

Formulation théorique

L'objectif d'optimisation est défini comme suit :
$$\max_{\phi} I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}) - \lambda \cdot I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{b})$$
Où :

• $1_{\mathbf{y} \succ \bar{\mathbf{y}}}$ est l'étiquette de préférence.
• $\mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}$ représentent la paire de prompt et de réponse.
• $\mathbf{b}$ est l'attribut de biais (par exemple, différence de longueur, indicateur de flatterie).
• $\lambda$ est un hyperparamètre équilibrant l'apprentissage des préférences et le débiaisage.

Estimation via des bornes variationnelles

Puisque le calcul exact de l'IM est intraitable, DIR utilise des bornes variationnelles :

1. Terme de préférence (Maximisation) : Approximé en utilisant la borne inférieure de Barber-Agakov (BA). Les auteurs démontrent que maximiser cette borne inférieure équivaut à minimiser la perte de classement standard de Bradley-Terry, garantissant que le RM apprend des signaux de préférence authentiques.
2. Terme de débiaisage (Minimisation) : Approximé en utilisant la borne supérieure log-ratio contrastive (CLUB). La méthode minimise la borne supérieure de l'IM entre les représentations cachées du RM ($\mathbf{H}$) et l'attribut de biais ($\mathbf{b}$).

Détails de l'implémentation

• Attributs de biais relatifs : Au lieu de prédire des valeurs absolues (par exemple, le nombre exact de jetons), DIR utilise des attributs de biais relatifs (par exemple, si la réponse choisie est plus longue que la réponse rejetée). Cela transforme l'estimation du biais en une tâche de classification binaire.
• Architecture : Le socle du RM (Transformer) produit des états cachés $\mathbf{H}$. Un réseau variationnel léger $q_\psi(\mathbf{b}|\mathbf{H})$ estime le biais.
• Boucle d'entraînement : La méthode emploie un processus d'entraînement itératif (Algorithme 1) où l'estimateur de biais ($q_\psi$) et le RM ($r_\phi$) sont mis à jour alternativement au sein de chaque lot pour garantir que la borne supérieure de l'IM reste précise.
• Fonction de perte : La perte totale combine la perte de préférence et la perte de débiaisage :
  $$\mathcal{L}_{Total} = \mathcal{L}_{Preference} + \lambda \cdot \mathcal{L}_{Debiasing}$$

Contributions clés

1. Cadre novateur : Introduction de DIR, la première méthode appliquant des principes théoriques de l'information spécifiquement pour éliminer divers biais inductifs dans la modélisation de récompense avec des garanties théoriques.
2. Gestion de la non-linéarité : Contrairement aux méthodes basées sur Pearson, DIR utilise l'IM pour capturer et atténuer des corrélations complexes et non linéaires entre les attributs de biais et les sorties du RM.
3. Stratégie de biais relatif : L'introduction d'attributs de biais relatifs permet à la méthode de traiter uniformément divers types de biais (longueur, flatterie, format) sans déformer le paysage de récompense sous-jacent.
4. Extensibilité : Le cadre est compatible avec les pipelines PPO et d'optimisation directe des préférences (DPO).

Résultats expérimentaux

Les auteurs ont évalué DIR sur trois scénarios de biais : longueur de réponse, flatterie et format, en utilisant des benchmarks tels que RM-Bench, RewardBench, GSM8K, MMLU et ArenaHard.

1. Débiaisage de la longueur

• Réduction du biais : DIR a obtenu la plus faible corrélation de Pearson entre la longueur de la réponse et les scores de récompense ($r=0,468$) par rapport à des bases de référence comme Skywork ($0,533$) et PoE ($0,516$).
• Performance : Les politiques RLHF entraînées avec des RM basés sur DIR ont atteint la précision moyenne la plus élevée (66,20) sur plusieurs benchmarks, surpassant des bases de référence solides.
• Efficacité : Les politiques guidées par DIR ont produit des réponses plus courtes et plus concises (par exemple, 679 jetons contre 754 jetons pour les bases de référence) tout en maintenant ou en améliorant les taux de victoire face aux adversaires (taux de victoire de 54,3 % contre la base de référence).

2. Débiaisage de la flatterie

• Robustesse : Lors de tests adversariaux où des préfixes flatteurs ont été injectés, DIR a maintenu la précision la plus élevée (jusqu'à 93,6 % dans des configurations spécifiques) par rapport au BT standard et à InfoRM, démontrant une résilience supérieure aux signaux « flatteurs mais faux ».

3. Débiaisage du format

• Neutralisation : DIR a réussi à neutraliser le biais de format, réduisant les taux de victoire pour les formats en gras/listes à près du seuil idéal de 50 % (51,2 % et 52,0 %), surpassant la méthode de découplage de format (FD) sur des sous-ensembles exigeants de RewardBench.

4. Biais multiples simultanés

• DIR a été étendu pour gérer simultanément les biais de longueur et de flatterie. Le modèle conjoint a obtenu les meilleures performances globales sur RM-Bench tout en réduisant efficacement les deux biais, suggérant que le débiaisage multi-biais conduit à un modèle de récompense plus équilibré.

Efficacité

• Coût computationnel : DIR n'entraîne qu'une augmentation marginale de l'utilisation de la mémoire GPU (56,88 Go contre 55,08 Go pour la base de référence) et du temps d'entraînement (67,09 min contre 50,46 min), en faisant une solution pratique.

Importance et affirmations

L'article affirme que DIR offre une solution fondée sur des principes, évolutive et largement applicable pour construire des systèmes d'alignement plus fiables. En dissociant les signaux de préférence humaine authentiques des corrélations fallacieuses, DIR atténue non seulement un large spectre de biais, mais améliore également la généralisation et la qualité de l'alignement des modèles de récompense. Les auteurs postulent que cela conduit à des performances en aval plus robustes dans le RLHF, ouvrant la voie à des systèmes d'IA plus cohérents avec les valeurs humaines et moins sujets au piratage de récompense. La méthode est présentée comme une avancée significative par rapport aux techniques de débiaisage existantes basées sur des approches linéaires ou heuristiques.