A Descriptive and Normative Theory of Human Beliefs in RLHF

Résumé Technique : Une théorie descriptive et normative des croyances humaines dans le RLHF

Énoncé du problème
L'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) modélise traditionnellement les préférences humaines comme une fonction de la fonction de récompense de l'humain ou des valeurs d'état-action optimales ($A^*$) de l'agent. Les approches standards, incluant les modèles basés sur le retour ou sur le regret, supposent que les annotateurs évaluent les trajectoires en fonction de ce qui s'est réellement produit ou de ce qu'un agent optimal pourrait accomplir. Cependant, ce travail postule que les annotateurs humains détiennent également des croyances concernant les capacités réelles de l'agent en cours d'entraînement. Si un annotateur suppose qu'un agent est optimal alors qu'il ne l'est pas (ou vice versa), ses préférences peuvent conduire à des politiques post-RLHF catastrophiques ou sous-optimales. L'article examine deux questions fondamentales : (1) Les croyances des annotateurs humains sur les capacités de l'agent affectent-elles descriptivement les préférences qu'ils fournissent ? et (2) Normativement, quel est l'ensemble de croyances idéal que les annotateurs devraient détenir pour maximiser la performance de la politique résultante ?

Méthodologie
Les auteurs proposent un modèle de préférence basé sur les croyances et le valident par une analyse théorique, des expériences synthétiques et une étude sur des sujets humains.

1. Cadre théorique :

   • Les auteurs définissent la Croyance de Capacité de l'Agent comme une fonction $Q$ ($Q^{\pi_{belief}}$) représentant l'estimation par l'annotateur de la politique de l'agent post-RLHF.
   • Ils introduisent un nouveau modèle de préférence (Équation 3) où la probabilité de préférer une trajectoire $\sigma^+$ par rapport à une $\sigma^-$ est déterminée par la fonction d'avantage $A^{\pi_{belief}}$ plutôt que par l'avantage optimal $A^*$.
   • Idéal normatif : L'article définit une croyance idéale normative ($Q^{\pi^*_{belief}}$) non pas comme une optimalité absolue, mais comme la croyance qui génère le rendement attendu le plus élevé pour la meilleure politique réalisable compte tenu des contraintes de l'agent (ex: limites d'approximation de fonctions, actionneurs bruités).
   • Limites théoriques : Les auteurs dérivent une borne formelle (Théorème 4.3) sur la perte de performance de la politique post-RLHF en fonction du « désaccord agent-annotateur » ($\delta$), défini comme l'ampleur de la différence entre la croyance optimale et la croyance réelle de l'annotateur. La borne montre que le rendement attendu se dégrade linéairement avec l'ampleur de ce désaccord.

2. Expériences synthétiques :

   • Les auteurs ont mené des expériences dans un domaine GridWorld où les capacités de l'agent étaient limitées par un paramètre de bruit $\epsilon$-greedy ($\epsilon$).
   • Les croyances des annotateurs ont été manipulées en faisant varier le niveau de bruit supposé ($\epsilon'$) utilisé pour génire des préférences synthétiques.
   • L'étude a mesuré le rendement attendu de la politique entraînée à travers une matrice de bruit réel de l'agent ($\epsilon$) et de bruit supposé par l'annotateur ($\epsilon'$).

3. Étude sur des sujets humains :

   • Domaine : Une simulation de voiture autonome (CARLA).
   • Intervention : Les participants ont été assignés à trois conditions : (1) Contrôle (pas d'amorçage), (2) Amorçage de sécurité (regarder une vidéo d'une voiture conduisant de manière sûre et compétente), et (3) Amorçage d'insécurité (regarder une vidéo d'une voiture dérivant et percutant).
   • Tâche : Les participants ont fourni des préférences sur des paires de trajectoires de conduite, choisissant entre des chemins rapides/risqués et des chemins lents/sûrs.
   • Analyse : L'étude a utilisé l'analyse de sentiment (via GPT-4) sur les retours en texte libre concernant les capacités de la voiture, ainsi que des tests statistiques (Kruskal-Wallis et test de Dunn) sur les données de préférence sur échelle de Likert pour déterminer si l'amorçage a déplacé les croyances et les préférences subséquentes.

Contributions clés

1. Illustration du désaccord : L'article démontre qu'un mauvais accord entre les croyances d'un annotateur et les capacités réelles d'un agent peut conduire à des politiques sous-optimales, même lorsque l'annotateur agit de manière « rationnelle » basée sur ses (mauvaises) croyances.
2. Théorie normative : Il définit une croyance idéale normative relative au plafond de performance réalisable de l'agent, plutôt qu'à l'optimalité absolue, et fournit une borne théorique sur le regret causé par les écarts par rapport à cet idéal.
3. Validation empirique de l'influence des croyances : L'étude humaine confirme que les croyances humaines sur les capacités de l'agent affectent significativement la génération de préférences. Plus précisément, l'amorçage des participants avec des informations sur les capacités de l'agent (sécurité vs insécurité) a statistiquement modifié leurs préférences.
4. Sous-optimalité de l'hypothèse d'optimalité : Les expériences synthétiques montrent que supposer l'optimalité de l'agent (l'approche standard basée sur le regret) est souvent sous-optimal lorsque l'agent possède des limitations de performance inhérentes (ex: bruit élevé).

Résultats

• Théoriques : La borne dérivée (Équation 4) établit que le rendement attendu de la politique post-RLHF est inférieur à la borne inférieure du rendement optimal moins un terme proportionnel au désaccord agent-annotateur ($\delta / (1-\gamma)$).
• Synthétiques : Dans les expériences GridWorld, les rendements de politique les plus élevés ont été obtenus lorsque le bruit supposé par l'annotateur ($\epsilon'$) correspondait étroitement au bruit réel de l'agent ($\epsilon$). Supposer un agent optimal ($\epsilon'=0$) alors que l'agent est bruyant ($\epsilon=0.3$ ou $0.5$) a entraîné des rendements nettement inférieurs, car l'agent a appris des comportements risqués qu'il ne pouvait pas exécuter en toute sécurité.
• Étude humaine :
  • Croyances : L'analyse de sentiment des réponses en texte libre a montré que les participants du groupe « amorçage d'insécurité » avaient une confiance significativement plus faible dans les capacités de la voiture par rapport au groupe « amorçage de sécurité ».
  • Préférences : L'analyse statistique a révélé une différence significative ($p=0.015$) dans les préférences entre les groupes d'amorçage sûr et dangereux. Les participants amorcés avec un comportement dangereux étaient plus susceptibles de préférer des trajectoires sûres et lentes, tandis que ceux amorcés avec un comportement sûr étaient plus disposés à accepter des trajectoires risquées et rapides.
  • Conclusion : Les préférences humaines ne sont pas statiques ; elles sont influencées par les croyances de l'annotateur sur les capacités actuelles de l'agent.

Signification et affirmations
L'article affirme que réduire le décalage entre les croyances humaines et les capacités de l'agent est crucial pour améliorer les performances du RLHF. Il soutient que l'hypothèse standard de la rationalité de l'annotateur basée sur l'optimalité absolue est insuffisante lorsque les agents sont imparfaits. Les auteurs suggèrent que les praticiens devraient activement gérer les croyances des annotateurs pour les aligner avec les capacités réelles de l'agent.

L'article propose deux bonnes pratiques spécifiques :

1. Informer les annotateurs : Communiquer directement les limitations connues de l'agent (ex: contraintes de données, limites physiques) aux annotateurs avant la collecte de données.
2. Amorçage intermittent : Utiliser des boucles de collecte de préférences en ligne où les annotateurs sont exposés à la politique actuelle de l'agent (via des démonstrations) pour mettre à jour leurs croyances en continu.

Les auteurs soulignent que ce calibrage doit être « véridique » (représentatif du comportement réel sur la politique) pour éviter toute manipulation. Ils concluent que bien que leurs bornes théoriques soient dérivées dans des contextes tabulaires et que leur étude humaine soit une preuve de concept, les résultats pointent vers un changement nécessaire dans les meilleures pratiques du RLHF : traiter les croyances humaines comme une variable qui doit être alignée avec la réalité de l'agent pour garantir un alignement sûr et efficace.