Résumé Technique : Atténuation des Biais Cognitifs en RLHF par l'Altération de la Rationalité

Énoncé du Problème

L'apprentissage par renforcement à partir de retours humains (RLHF) repose sur le postulat que les annotateurs humains expriment des préférences reflétant fidèlement leurs intentions latentes. Cependant, ce postulat est erroné car le jugement humain est fréquemment sujet à des biais cognitifs (par exemple, la fallace de conjonction, le biais d'ancrage, la fallace des coûts irrécupérables). Dans les pipelines RLHF standards, ces déviations systématiques sont traitées comme un bruit stochastique uniforme. Le processus d'apprentissage modélise généralement les préférences humaines à l'aide d'une formulation rationnelle de Boltzmann où un paramètre de rationalité fixe, $\beta$, régit la cohérence entre les différences de récompense latentes et les préférences binaires observées.

Traiter $\beta$ comme une constante globale suppose implicitement une fiabilité uniforme des annotateurs dans tous les contextes. Par conséquent, lorsque les données d'entraînement contiennent des biais cognitifs systématiques, le modèle de récompense appris incorpore ces biais, amenant les grands modèles de langage (LLM) en aval à reproduire, voire amplifier, des comportements irrationnels. Le problème central abordé est de savoir comment rendre le RLHF robuste à des retours humains imparfaits où les déviations par rapport à la rationalité ne sont pas aléatoires mais dépendantes du contexte et systématiques.

Méthodologie

Les auteurs proposent un cadre qui traite la rationalité comme dépendante du contexte et de l'annotation plutôt que fixe. Au lieu d'un $\beta$ global, ils introduisent un paramètre de rationalité dynamique et dépendant de l'instance, $\beta_{new}$, qui module le poids de chaque paire de préférences lors de l'apprentissage de la récompense en fonction de la probabilité estimée de biais cognitif.

1. Paramètre de Rationalité Dynamique ($\beta_{new}$)

La méthode remplace le $\beta$ fixe par une fonction de la probabilité de biais estimée ($D_f$) pour une comparaison spécifique :
$$\beta_{new} = \text{logistic}(k \cdot (\theta - D_f))$$
Où :

• $D_f \in [0, 1]$ est la probabilité estimée que le retour observé soit influencé par un biais cognitif.
• $\theta$ est un paramètre de seuil déterminant quand le retour commence à être sous-pondéré.
• $k$ contrôle la raideur de la transition.

Lorsque $D_f$ est faible (faible probabilité de biais), $\beta_{new}$ s'approche de 1, accordant un poids élevé à la préférence. À mesure que $D_f$ augmente, $\beta_{new}$ diminue vers 0, sous-pondérant efficacement l'influence des jugements potentiellement biaisés sur le modèle de récompense.

2. Détection de Biais (Estimation de $D_f$)

Pour estimer $D_f$, les auteurs emploient une approche de type « LLM-comme-juge ». Un LLM prêt à l'emploi (par exemple, ChatGPT 5.2 Thinking ou Mistral-7B-Instruct) évalue chaque exemple d'entraînement (prompt, réponses candidates et préférence choisie) pour prédire la probabilité de biais.

• Évaluation par Paires : Le juge identifie laquelle des deux réponses candidates est plus biaisée.
• Calibration : Une étape de calibration légère corrige les erreurs de directionnalité systématiques à travers différents types de biais en utilisant un ensemble de validation minimal retenu.
• Granularité : Crucialement, $D_f$ est définie par rapport à la réponse choisie au sein d'un scénario spécifique, et non au scénario lui-même. Cela permet au système de conserver des signaux informatifs provenant de scénarios induisant des biais où l'annotateur parvient à éviter le biais (par exemple, un annotateur formé en statistiques rejetant correctement la fallace de conjonction).

3. Pipeline d'Entraînement

• Modèle de Récompense : Un modèle de récompense (initialisé à partir de Mistral-7B) est entraîné en utilisant une fonction de perte où le poids de chaque paire est conditionné par $\beta_{new}$.
• Optimisation de la Politique : La politique en aval est affinée en utilisant l'optimisation de politique relative par groupes (GRPO) avec le modèle de récompense figé et conscient des biais.
• Ensembles de Données : La méthode est validée sur deux ensembles de données conçus pour susciter des biais cognitifs : l'ensemble de données BRU (205 questions, 8 types de biais) et l'ensemble de données CogBias (30 000 cas, 30 types de biais). Pour simuler des modes d'échec réalistes du RLHF, les données d'entraînement sont construites de manière à ce que les réponses biaisées soient préférées aux réponses de vérité terrain dans une fraction réglable de cas (par exemple, un ratio de 3:1).

Contributions Clés

1. Rationalité Dépendante du Contexte : L'article remet en question l'hypothèse standard d'un paramètre de rationalité fixe en RLHF, proposant plutôt que $\beta$ devrait varier en fonction de la fiabilité d'instances spécifiques de retours.
2. Mécanisme de Sous-Pondération Dynamique : Les auteurs introduisent un mécanisme pour ajuster dynamiquement $\beta$ en utilisant un détecteur de biais basé sur un LLM, permettant au système de sous-pondérer les comparaisons biaisées tout en préservant les signaux informatifs des jugements non biaisés au sein du même contexte.
3. Robustesse face à une Détection Imparfaite : La méthode démontre son efficacité même lorsque le détecteur de biais (le LLM-comme-juge) est imparfait ou bruyant, à condition que la précision du détecteur reste au-dessus d'un certain seuil (environ 57-60 %).

Résultats Expérimentaux

Les auteurs ont évalué leur approche sur les ensembles de données BRU et CogBias, comparant la méthode $\beta$ dynamique à des bases de référence utilisant des valeurs $\beta$ fixes (0,1, 0,5, 0,9, 1,0) et des affectations $\beta$ aléatoires.

• Réduction de la Propagation des Biais : Sur l'ensemble de données CogBias, le modèle débiaisé a atteint une précision de vérité terrain de 67,6 %, une amélioration significative par rapport au modèle de base non affiné (42,4 %) et aux bases de référence entraînées sur les mêmes données biaisées (qui se sont effondrées à une précision d'environ 1,7 %). Sur l'ensemble de données BRU, le modèle débiaisé a amélioré la précision de 8,3 % par rapport au modèle de base, malgré un entraînement sur des données biaisées dans un ratio de 3:1.
• Robustesse aux Retours Biaisés : La méthode a empêché avec succès l'« effondrement vers les préférences biaisées » observé dans les bases de référence. Même lorsque les données d'entraînement contenaient un ratio de 5:1 de préférences biaisées par rapport aux préférences de vérité terrain, le modèle $\beta$ dynamique a maintenu une précision significativement supérieure à celle des bases de référence à $\beta$ fixe.
• Préservation des Performances Générales : L'évaluation sur l'ensemble de données TruthfulQA n'a montré aucune dégradation significative des performances générales (changement non significatif de -0,5 %), indiquant que l'intervention réduit sélectivement les biais sans sacrifier les capacités globales.
• Transférabilité et Architecture Croisée : L'approche a produit des améliorations statistiquement significatives à travers différentes architectures de modèles (Mistral-7B et Qwen3-8B). De plus, un modèle affiné sur le petit ensemble de données BRU a réussi à transférer sa capacité à atténuer le biais d'ancrage vers le plus grand ensemble de données CogBias, améliorant la précision de vérité terrain de 37,7 % à 44,3 %.

Signification et Revendications

L'article soutient que l'alignement efficace en RLHF dépend moins de l'obtention de retours humains idéalisés et parfaitement rationnels que de la modélisation des distorsions inhérentes à ces retours. En redéfinissant les données de préférence comme dépendantes du contexte et systématiquement biaisées, les auteurs démontrent que les modèles de récompense peuvent être entraînés pour exploiter des retours imparfaits sans s'effondrer dans leurs biais.

Les auteurs affirment que leur travail contribue à une direction croissante dans la recherche sur l'alignement : s'éloigner de l'hypothèse d'une rationalité uniforme pour se tourner vers des méthodes qui détectent, modélisent et s'adaptent aux biais cognitifs. Ils postulent que traiter $\beta$ comme un signal de fidélité du retour, plutôt que comme une constante fixe, permet aux LLM d'approcher un raisonnement délibératif plutôt que d'hériter d'heuristiques humaines. L'article conclut que, bien que le succès de la méthode dépende partiellement de la précision du détecteur de biais, l'intervention reste robuste même avec des juges imparfaits, suggérant que la robustesse face à l'incohérence humaine ne nécessite pas de modèles parfaits de la cognition.