Three Models of RLHF Annotation: Extension, Evidence, and Authority
Cet article propose de distinguer trois modèles conceptuels d'annotateurs humains en RLHF — extension, preuve et autorité — afin de guider la conception de pipelines d'annotation plus efficaces en adaptant les stratégies de collecte et d'agrégation de données au rôle normatif spécifique requis pour chaque dimension de l'alignement des modèles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous construisez un robot très intelligent capable d'écrire des histoires, de répondre à des questions et de discuter avec des gens. Vous lui avez appris à parler en lui faisant ingérer des millions de livres, mais maintenant le robot est un peu sauvage. Il dit parfois des choses grossières, ment ou donne de mauvais conseils. Pour régler ce problème, vous engagez une équipe d'« éditeurs » humains pour dire au robot ce qui est bien et ce qui est mal. Ce processus s'appelle RLHF (Apprentissage par Renforcement avec Retour Humain).
L'article de Steve Coyne soutient que lorsque nous engageons ces éditeurs humains, nous sommes souvent confus quant à la raison pour laquelle nous les engageons. Sont-ils là pour copier nos idées ? Pour nous dire des faits que nous ignorons ? Ou pour établir la loi finale à notre place ?
Coyne suggère qu'il existe trois façons distinctes de concevoir ces éditeurs humains, et que les mélanger provoque la confusion du robot et un mauvais comportement.
Voici les trois modèles, expliqués avec des analogies simples :
1. Le Modèle d'Extension : « Le Clone Ombre »
L'Idée : Dans ce modèle, les éditeurs humains sont là pour copier les concepteurs du robot.
L'Analogie : Imaginez que vous êtes un chef qui veut apprendre à un sous-chef à cuisiner votre plat signature. Vous ne voulez pas que le sous-chef ajoute sa propre touche unique ou demande ce que les clients aiment. Vous voulez qu'il goûte la nourriture et dise : « Oui, cela a exactement le goût de la façon dont moi je l'aurais fait. » Si le sous-chef dit : « Je pense qu'il faut plus de sel », mais que vous pensez que c'est parfait, vous l'ignorez.
Comment cela fonctionne : Les éditeurs ne sont que des extensions du cerveau de l'équipe de conception. Ils sont là pour combler les lacunes lorsque les concepteurs sont trop occupés pour vérifier chaque réponse.
- Bien pour : Déterminer le ton, le style ou les règles spécifiques à l'entreprise du robot.
- Le Piège : Si vous les traitez ainsi, puis vous vous fâchez quand ils ne sont pas d'accord avec la « communauté », vous êtes confus.
2. Le Modèle de Preuve : « Le Témoin Expert »
L'Idée : Dans ce modèle, les éditeurs sont là pour fournir des faits ou des données que les concepteurs n'ont pas.
L'Analogie : Imaginez que vous êtes un juge dans une salle d'audience, mais que vous ne savez rien d'un type spécifique de poisson rare. Vous engagez un biologiste marin en tant que témoin expert. Vous demandez : « Ce poisson est-il toxique ? » Le biologiste répond : « Oui, selon mes connaissances, il l'est. » Vous devez les écouter, même si vous pensez personnellement qu'il a l'air sûr. Leur travail est de vous fournir des preuves concernant la vérité.
Comment cela fonctionne : Les éditeurs sont des experts ou des représentants du public qui disent aux concepteurs : « En fait, la plupart des gens trouvent cela offensant », ou « Ce fait est faux ». Les concepteurs ne devraient pas les outrepasser simplement parce qu'ils sont en désaccord ; les éditeurs fournissent des données.
- Bien pour : Vérifier si le robot est factuellement exact ou s'il viole des normes sociales générales (comme « est-ce offensant ? »).
- Le Piège : Si vous les traitez comme des experts, puis que vous les renvoyez parce qu'ils ne sont pas d'accord avec votre opinion personnelle, vous perdez la valeur de leur expertise.
3. Le Modèle d'Autorité : « La Mini-Législature »
L'Idée : Dans ce modèle, les éditeurs ont le pouvoir de faire les règles, indépendamment du fait qu'ils soient « justes » ou « faux » d'un point de vue factuel.
L'Analogie : Imaginez une réunion de ville où un groupe de citoyens sélectionnés au hasard vote sur une nouvelle loi. Ils n'ont pas besoin d'être des experts en trafic ; ils doivent simplement représenter le peuple. S'ils votent pour abaisser la limite de vitesse, la ville doit obéir, non pas parce que les citoyens sont « plus intelligents » que le maire, mais parce qu'ils ont l'autorité de décider pour la communauté.
Comment cela fonctionne : Les éditeurs agissent comme une « mini-législature ». Leur travail n'est pas de trouver la vérité ou de copier le concepteur ; c'est d'exercer le droit de décider ce que le robot doit faire. Leur pouvoir découle du fait d'être un échantillon équitable et représentatif de la population.
- Bien pour : Décider de questions politiques controversées ou de questions morales profondes où il n'y a pas de seule réponse « correcte », mais seulement ce que la communauté décide.
- Le Piège : Si vous les traitez comme une législature, puis que vous ignorez leur vote parce qu'il ne correspond pas à votre opinion personnelle, vous brisez le « contrat social » du système.
Pourquoi le Mélanger les Rompt le Robot ?
L'article soutient que la plupart des systèmes d'IA actuels sont un mélange désordonné des trois, ce qui conduit à des modes de défaillance :
- Auto-défense : Imaginez que vous engagez des éditeurs pour agir comme une « Mini-Législature » (Autorité) afin de représenter le public. Mais ensuite, vous renvoyez tout éditeur qui ne partage pas votre opinion personnelle (Extension). Vous avez détruit la chose même que vous avez demandée : une voix représentative. Vous ne pouvez pas avoir une démocratie où le dirigeant peut licencier les électeurs qui votent contre lui.
- Fragmentation : Imaginez que vous dites aux éditeurs : « Vous êtes ici pour nous fournir des faits » (Preuve), mais que vos instructions sont vagues, de sorte qu'ils pensent que vous voulez simplement qu'ils copient votre style (Extension). Le résultat est un tas de données confuses où certains éditeurs essaient d'être des experts et d'autres d'être des clones. Le robot reçoit un signal mixte et n'apprend rien d'utile.
- Mauvaise attribution (Le « Blanchiment de Responsabilité ») : C'est lorsqu'une entreprise dit : « Nous laissons le public décider ce que dit le robot ! » (Autorité), mais qu'en réalité, ils licencient secrètement quiconque ne partage pas leur opinion (Extension). Ils tentent de rejeter la faute du mauvais comportement du robot sur le « public » tout en gardant en réalité tout le contrôle.
La Grande Recommandation de l'Auteur
Steve Coyne suggère que nous arrêtions d'essayer de construire un seul pipeline pour tout faire. Au lieu de cela, nous devrions construire différents pipelines pour différents travaux :
- Pour le style : Utilisez le modèle d'Extension. Laissez les concepteurs décider si le robot doit sembler excité ou sérieux.
- Pour les faits : Utilisez le modèle de Preuve. Engagez des experts pour dire au robot ce qui est vrai.
- Pour les valeurs controversées : Utilisez le modèle d'Autorité. Laissez un groupe représentatif de personnes voter sur ce que le robot devrait faire dans des situations morales délicates.
La Conclusion :
Construire une IA utile n'est pas seulement un problème technique ; c'est un problème philosophique. Avant d'engager vos éditeurs humains, vous devez décider : Sont-ils vos clones, vos experts ou vos législateurs ? Si vous ne choisissez pas clairement l'un d'eux, votre robot finira confus, incohérent et potentiellement injuste.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.