Influencing Humans to Conform to Preference Models for RLHF

Ce papier propose une nouvelle direction de recherche en alignement des modèles démontrant, grâce à trois études humaines, qu'il est possible d'améliorer la qualité des données de préférence et l'alignement des récompenses apprises en concevant des interfaces et des interventions qui incitent les humains à adapter l'expression de leurs préférences aux hypothèses des modèles utilisés dans l'apprentissage par renforcement à partir de retours humains (RLHF), sans modifier leur fonction de récompense sous-jacente.

L'essentiel

🎯 Le Problème : L'Élève et le Professeur qui ne parlent pas la même langue

Imaginez que vous voulez enseigner à un robot (une intelligence artificielle) comment conduire une voiture de manière sûre et efficace. Vous ne pouvez pas lui donner un manuel de règles strictes, alors vous décidez de lui apprendre à partir de vos préférences humaines.

Le processus habituel (appelé RLHF) fonctionne ainsi :

1. Vous montrez au robot deux trajets différents (A et B).
2. Vous dites : « Lequel est le meilleur ? »
3. Le robot apprend de vos réponses pour deviner ce que vous aimez vraiment.

Le hic ? Le robot a une théorie sur comment les humains prennent leurs décisions. Il suppose que vous choisissez toujours le trajet qui rapporte le plus de points (le « retour partiel »). Mais en réalité, vous, les humains, nous ne pensons pas toujours comme ça ! Parfois, on choisit un trajet parce qu'il semble plus intelligent, même s'il rapporte moins de points immédiats.

C'est comme si le robot pensait que vous choisissez un restaurant uniquement selon le prix, alors que vous choisissez en réalité selon l'ambiance ou la qualité de la nourriture. Résultat : le robot apprend une mauvaise leçon.

💡 La Solution : Changer la façon dont on pose la question

L'idée brillante de ce papier est la suivante : Au lieu d'essayer de changer la théorie du robot (ce qui est difficile), changeons la façon dont les humains expriment leurs préférences pour qu'elles correspondent à la théorie du robot.

L'équipe de chercheurs a testé trois méthodes pour « influencer » les humains à répondre d'une manière spécifique, sans changer ce qu'ils pensent vraiment, mais en changeant la façon dont ils formulent leur choix.

Voici les trois interventions testées, expliquées avec des analogies :

1. L'Expérience « Privilegée » (Le Tricheur Bienveillant)

• L'analogie : Imaginez un jeu de cartes où le joueur doit deviner la meilleure main. Normalement, il doit deviner. Ici, l'expérimentateur donne au joueur une carte secrète qui lui dit exactement le score de chaque main.
• Ce qui s'est passé : Les humains ont vu les chiffres exacts (le score ou le « regret ») et ont choisi en conséquence.
• Leçon : Si on donne aux humains les bonnes informations, ils peuvent parfaitement suivre la logique du robot. C'est la preuve que c'est possible, même si dans la vraie vie, on ne peut pas toujours donner ces chiffres secrets aux gens.

2. L'Expérience « Entraînée » (Le Coach Sportif)

• L'analogie : Avant de jouer au match, on entraîne les joueurs. On leur apprend une règle spécifique : « Pour gagner, ne regardez pas le score actuel, regardez quelle équipe a fait le moins d'erreurs par rapport au jeu parfait ». On les fait répéter, on les corrige, jusqu'à ce que cela devienne un réflexe.
• Ce qui s'est passé :
  • Quand on a entraîné les gens à penser en termes de « score immédiat », ils ont choisi comme le robot le voulait.
  • Quand on les a entraînés à penser en termes de « regret » (l'erreur par rapport au meilleur choix), ils ont aussi suivi.
  • Le bémol : Si on entraîne les gens sur un terrain de foot (un jeu) et qu'on leur demande de jouer ensuite sur un terrain de basket (un autre jeu), ils sont fatigués. La méthode « regret » était trop compliquée à apprendre, et ils ont abandonné. La méthode « score simple » a mieux fonctionné.
• Leçon : On peut entraîner les humains à penser comme le robot, mais il faut que la leçon ne soit pas trop difficile, sinon ils se fatiguent et ne suivent plus.

3. L'Expérience « Question » (Le Magicien de la Langue)

• L'analogie : C'est la méthode la plus simple. Au lieu de demander « Quelle est la meilleure route ? », on change juste la question pour orienter le cerveau.
  • Pour viser le « score », on demande : « Quelle route donne les meilleurs résultats immédiats ? »
  • Pour viser le « regret », on demande : « Quelle route montre les meilleures décisions ? »
• Ce qui s'est passé : Changer juste un mot a suffi à faire basculer les choix des humains dans la bonne direction, même sans entraînement long.
• Leçon : La façon dont on pose la question (l'interface) est un outil puissant. Une petite phrase peut changer la façon dont nous interprétons le monde.

🏆 Le Résultat Final : Pourquoi c'est important ?

Ce papier nous dit quelque chose de très important pour l'avenir de l'IA :

L'IA ne dépend pas seulement de ce que nous pensons, mais aussi de comment on nous demande notre avis.

Si nous voulons que les robots apprennent des choses qui nous ressemblent vraiment, nous ne devons pas seulement attendre que les humains soient « parfaits ». Nous devons concevoir les interfaces et les questions pour guider les humains vers une façon de répondre qui soit facile à comprendre pour le robot.

C'est comme si, au lieu de forcer le robot à comprendre le langage humain complexe, nous apprenions aux humains à parler un dialecte que le robot comprend parfaitement.

En résumé :

• Le problème : Les humains et les robots ne parlent pas la même langue de décision.
• La solution : On peut « entraîner » les humains ou « changer la question » pour qu'ils parlent la langue du robot.
• L'avantage : Cela permet de créer des robots plus intelligents et plus alignés avec nos vrais désirs, en utilisant des outils simples comme l'entraînement ou la formulation des questions.

Résumé technique

1. Problématique

L'apprentissage par renforcement à partir de retours humains (RLHF) vise à aligner le comportement d'un agent sur les préférences humaines en apprenant une fonction de récompense à partir de données de préférences. Ce processus repose sur une hypothèse fondamentale : un modèle de préférence qui décrit comment les humains génèrent ces préférences à partir de leur fonction de récompense sous-jacente (inobservable).

Le problème central identifié par les auteurs est le décalage (mismatch) entre :

1. Le modèle de préférence supposé par l'algorithme d'apprentissage (par exemple, basé sur le retour partiel, le regret, ou le changement de retour attendu).
2. La manière réelle dont les humains expriment leurs préférences, qui peut être influencée par des facteurs cognitifs, des biais ou une incompréhension du modèle sous-jacent.

Si le modèle de préférence de l'algorithme ne correspond pas à la génération réelle des préférences humaines, la fonction de récompense apprise sera une mauvaise approximation, conduisant à un agent mal aligné. La plupart des travaux précédents tentent de trouver le "meilleur" modèle descriptif pour les humains. Cette paper adopte une approche prescriptive : au lieu de changer le modèle pour qu'il corresponde à l'humain, comment pouvons-nous influencer l'humain pour qu'il se conforme au modèle choisi par l'algorithme, sans altérer sa fonction de récompense latente ?

2. Méthodologie

Les auteurs proposent d'agir sur l'interface de collecte de préférences et sur la formation des annotateurs pour réduire ce décalage. Ils définissent trois modèles de préférence cibles :

• Retour partiel (Partial Return - $P_{\Sigma r}$) : Préférence basée sur la somme des récompenses accumulées dans un segment de trajectoire.
• Regret ($P_{regret}$) : Préférence basée sur l'écart par rapport à une politique optimale (déviation de l'optimalité).
• Changement de retour attendu ($P_{\Delta-expected}$) : Basé sur les résultats attendus du segment et les valeurs des états de début et de fin (équivalent au regret dans les MDP déterministes, mais différent dans les MDP stochastiques).

Pour tester leur hypothèse, ils mènent des études humaines dans un environnement de type "grid-world" (livraison de colis) avec trois types d'interventions expérimentales :

A. Expérience PRIVILEGED (Preuve de concept)

• Intervention : Présentation d'informations "privilegiées" aux sujets pendant l'élicitation des préférences. Les sujets voient les calculs exacts du modèle cible (ex: le regret ou le retour partiel) pour chaque segment.
• Objectif : Vérifier si, avec l'information parfaite, les humains peuvent suivre exactement le modèle théorique.
• Limite : Non applicable en pratique car la fonction de récompense vraie est inconnue dans le monde réel.

B. Expérience TRAINED (Formation)

• Intervention : Formation des sujets à comprendre et calculer le modèle de préférence cible (ex: apprendre à calculer le regret ou le retour partiel) avant la collecte de préférences.
• Sous-expérience (DIFF-DOMAIN) : Formation dans un domaine (livraison terrestre) et collecte dans un domaine différent (espace) pour tester la transférabilité.
• Objectif : Évaluer si l'apprentissage explicite d'un modèle permet d'influencer durablement les préférences.

C. Expérience QUESTION (Modification de l'interface)

• Intervention : Modification uniquement de la question posée lors de l'élicitation pour orienter l'attention des sujets vers un aspect spécifique du modèle.
  • Pour le retour partiel : "Quel chemin a les meilleurs résultats immédiats ?"
  • Pour le regret : "Quel chemin reflète une meilleure prise de décision ?"
• Objectif : Tester si un simple changement de formulation suffit à aligner les préférences sans formation lourde.

3. Contributions Clés

1. Nouvelle direction de recherche : Passage d'une approche descriptive (modéliser l'humain tel qu'il est) à une approche prescriptive (concevoir des interfaces et des formations pour que l'humain se conforme au modèle de l'algorithme).
2. Validation empirique de l'influence : Démonstration expérimentale que les préférences humaines ne sont pas fixes mais peuvent être systématiquement décalées vers un modèle spécifique par des interventions d'interface.
3. Outils pratiques pour le RLHF : Identification de méthodes (formation et questionnement) réalisables dans des pipelines réels pour améliorer la qualité des données de préférence.
4. Analyse des limites cognitives : Mise en évidence du fait que la charge cognitive (notamment pour le calcul du regret) peut limiter l'efficacité des interventions, surtout lors du transfert vers de nouveaux domaines.

4. Résultats

Les résultats sont synthétisés dans le Tableau 1 de l'article et se déclinent comme suit :

• Expérience PRIVILEGED :

  • Résultat : Effet très significatif ($p < 0.01$). La présentation des métriques exactes permet aux humains de suivre le modèle cible avec une grande précision.
  • Impact : L'apprentissage de la fonction de récompense à partir de ces données conduit à des politiques quasi-optimales beaucoup plus souvent.

• Expérience TRAINED :

  • Même domaine : La formation influence significativement les préférences vers le modèle cible ($p < 0.01$).
    • Pour le Regret : Améliore l'alignement de la récompense apprise.
    • Pour le Retour partiel : L'alignement est moins bon, probablement dû à des problèmes d'identifiabilité de ce modèle dans le domaine spécifique (manque de paires de segments terminant à des états différents).
  • Domaine différent (DIFF-DOMAIN) :
    • Retour partiel : La formation dans un domaine influence toujours positivement les préférences dans le nouveau domaine.
    • Regret : Échec de l'influence. Les sujets ne parviennent pas à appliquer le modèle de regret dans le nouveau domaine. Les auteurs attribuent cela à une charge cognitive excessive (fatigue) liée à l'apprentissage du calcul du regret combiné à l'apprentissage d'un nouveau domaine.

• Expérience QUESTION :

  • Résultat : Effets modestes mais significatifs dans certains cas.
  • Déterministe : La modification de la question influence significativement les préférences vers le retour partiel ($p < 0.05$), mais l'effet sur le regret est faible.
  • Stochastique : L'intervention visant le "changement de retour attendu" influence significativement les préférences vers le modèle de regret (effet non intentionnel), mais pas vers le modèle cible initial de manière statistiquement significative.
  • Impact global : Changer la question améliore l'alignement de la récompense apprise, prouvant que la formulation de la question est un levier puissant.

5. Signification et Implications

Ce travail remet en question l'hypothèse selon laquelle les préférences humaines sont des mesures stables et objectives. Il suggère que l'interface de collecte de données est un composant actif de l'algorithme d'alignement.

• Pour la pratique du RLHF : Les ingénieurs ne doivent pas seulement se concentrer sur l'architecture du modèle ou l'algorithme d'optimisation. Ils doivent également concevoir soigneusement les interfaces d'annotation (questions posées, feedbacks, formation des annotateurs) pour s'assurer que les données collectées correspondent aux hypothèses mathématiques de leur algorithme.
• Pour la recherche future :
  • Explorer des interventions dans des domaines plus complexes (robotique, agents incarnés).
  • Développer des méthodes de formation moins coûteuses cognitivement (s'appuyant sur le "Système 1" de Kahneman, c'est-à-dire l'intuition, plutôt que sur le calcul explicite "Système 2").
  • Utiliser intentionnellement plusieurs modèles de préférence pour extraire des informations complémentaires (ex: combiner le retour partiel et le regret pour une compréhension plus riche).

En conclusion, l'article établit que l'alignement humain-algorithme peut être amélioré de manière significative en adaptant la manière dont les humains expriment leurs préférences, plutôt qu'en tentant uniquement de modéliser leurs préférences telles qu'elles sont naturellement exprimées.