Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback

Dans le monde de l'intelligence artificielle, on reconnaît de plus en plus que les machines ne parlent pas d'une seule voix humaine. Lorsque nous demandons à un ordinateur d'écrire une histoire, de résumer un article de presse ou de donner un conseil, différentes personnes peuvent vouloir des choses différentes. Une personne peut privilégier la brièveté et la franchise, tandis qu'une autre préfère la nuance et la profondeur émotionnelle. Une troisième peut accorder la priorité à la sécurité avant tout, tandis qu'une quatrième recherchera la créativité. Pendant des années, la méthode standard pour enseigner ces machines a consisté à rassembler toutes ces opinions différentes, à les mélanger dans un seul grand tas, et à entraîner le système à satisfaire la moyenne. Cette approche suppose que le désaccord humain n'est qu'un bruit, une confusion temporaire qui disparaîtra si nous collectons suffisamment de données. Mais en réalité, ces différences sont souvent profondes, persistantes et fondamentales. Elles représentent de véritables conflits de valeurs, et non de simples erreurs aléatoires. Le défi pour les scientifiques n'est plus seulement de fabriquer une machine qui plaît à la majorité, mais de construire une machine capable d'apprendre d'une foule de points de vue distincts, parfois opposés, et de parvenir tout de même à une décision unique et équitable qui respecte la structure de ce désaccord.

C'est le problème central abordé par une équipe de chercheurs issus d'institutions comprenant le MIT, l'Université de Caroline du Nord et l'Université Carnegie Mellon. Ils se sont donné pour mission de résoudre un casse-tête spécifique dans le domaine de l'apprentissage automatique connu sous le nom d'« alignement pluraliste ». Imaginez une pièce remplie de personnes essayant de décider d'une seule ligne de conduite, mais qui ne parviennent pas à s'entendre sur ce à quoi ressemblerait le meilleur résultat. Par le passé, les informaticiens demandaient simplement à tout le monde de voter sur chaque option possible, comptaient les voix et choisissaient le vainqueur. La nouvelle approche décrite dans ce travail soutient que cette méthode gaspille trop d'informations. Si vous mélangez les votes d'un groupe qui adore la nourriture épicée avec ceux d'un groupe qui la déteste, vous pourriez finir avec un compromis fade et insatisfaisant qui ne plaît à personne. Au lieu de cela, les chercheurs proposent une méthode qui maintient les groupes séparés pendant leur apprentissage, comprenant exactement ce que chaque groupe veut, puis applique une règle spécifique et transparente pour combiner ces désirs en une décision finale.

Les chercheurs se sont concentrés sur un contexte où l'ordinateur apprend à partir de données « hors ligne ». Cela signifie que la machine ne discute pas avec des personnes en temps réel ; elle examine une vaste collection préexistante de registres. Dans ces registres, les gens ont comparé deux options différentes et ont indiqué celle qu'ils préféraient. Crucialement, les chercheurs se sont assurés que les données gardaient une trace de l'auteur de chaque comparaison. Ils n'ont pas seulement enregistré que « l'Option A était meilleure que l'Option B » ; ils ont enregistré que « le Groupe A préférait l'Option A, tandis que le Groupe B préférait l'Option B ». En préservant ces identités, l'ordinateur pouvait apprendre les préférences spécifiques de chaque groupe distinct plutôt que de les brouiller en une moyenne unique et confuse.

Pour gérer cette complexité, l'équipe a développé un cadre mathématique qui fonctionne en deux étapes principales. Premièrement, le système apprend les règles cachées qui régissent les préférences de chaque groupe. Ils ont découvert que, bien que différents groupes veuillent des choses différentes, leurs préférences partagent souvent une structure sous-jacente commune, un peu comme comment différentes langues partagent une grammaire commune. En reconnaissant cette structure partagée, l'ordinateur peut apprendre les désirs spécifiques de nombreux groupes en utilisant beaucoup moins de données que s'il essayait d'apprendre chacun d'eux de manière isolée. Cette étape est vitale car elle permet au système d'être précis même lorsque les données pour un groupe donné sont rares ou incomplètes.

Une fois que le système comprend ce que chaque groupe veut, il passe à la deuxième étape : la prise de décision finale. Ici, les chercheurs ont testé trois façons différentes de combiner ces préférences, représentant différentes idées de l'équité. Une méthode, appelée « Utilitariste », consiste simplement à additionner le bonheur total de tous les groupes et à choisir l'option qui crée le plus de bien global. Une autre, appelée « Égalitariste », se concentre entièrement sur le groupe le moins satisfait, afin de rendre le groupe le plus mal loti aussi heureux que possible. La troisième méthode, connue sous le nom de « Nash », cherche un équilibre où le produit de la satisfaction de chacun est maximisé, empêchant ainsi tout groupe de se sentir complètement ignoré tout en récompensant le progrès global. Les chercheurs ont prouvé mathématiquement que leur méthode pouvait trouver une politique unique qui performe sous toutes ces définitions de l'équité, à condition que les données soient suffisantes.

Une conclusion clé de l'étude est que le simple fait de regrouper toutes les données et d'ignorer qui a dit quoi mène à un résultat médiocre. Lorsque les chercheurs ont simulé un scénario avec trois groupes distincts de personnes, la méthode traditionnelle de « regroupement » (pooled method) a échoué à identifier un compromis équitable. Elle choisissait souvent une option aimée par un groupe mais détestée par les autres, laissant la moitié de la population totalement insatisfaite. En revanche, leur nouvelle méthode, qui maintenait les groupes distincts durant la phase d'apprentissage, a réussi à identifier une option de juste milieu qui offrait un niveau de satisfaction modéré à tout le monde. Cela a démontré que la difficulté de l'alignement de l'intelligence artificielle ne réside pas seulement dans l'obtention de suffisamment de données, mais dans la préservation de la structure du désaccord humain jusqu'à ce qu'un choix clair et intentionnel soit fait sur la manière de le résoudre.

Les chercheurs ont également exploré un scénario plus difficile où les préférences humaines ne peuvent pas être facilement réduites à un simple score ou un classement. Parfois, les choix des gens sont incohérents ; ils peuvent préférer A à B, B à C, puis C à A. Dans ces cas, la méthode standard consistant à attribuer un chiffre unique à chaque option s'effondre. Pour gérer cela, l'équipe a développé une nouvelle stratégie basée sur le concept de « gagnant de von Neumann ». Il s'agit d'une approche probabiliste où le système ne cherche pas l'option unique la meilleure, mais plutôt une stratégie qui est peu susceptible de perdre lors d'une comparaison directe contre toute autre stratégie. Ils ont prouvé que même dans ces situations désordonnées et incohérentes, leur méthode pouvait trouver une solution stable et équitable qui respecte les préférences de toutes les parties, à condition que les données soient collectées avec suffisamment de soin.

À travers des simulations informatiques, l'équipe a montré que son approche surpasse systématiquement les méthodes existantes. Lorsqu'ils ont testé leur algorithme sur des données synthétiques avec des nombres variables de personnes et différents niveaux d'accord, la nouvelle méthode a produit des décisions plus proches du résultat idéal pour chaque groupe. Les simulations ont confirmé qu'en maintenant l'identité des groupes intacte et en utilisant une structure d'apprentissage partagée, le système pouvait apprendre plus efficacement et prendre des décisions plus justes. Les résultats se sont vérifiés, que l'objectif soit de maximiser le bonheur moyen, de protéger le groupe le plus vulnérable ou de trouver un compromis équilibré.

Ce travail représente une étape importante dans notre façon de concevoir l'entraînement de l'intelligence artificielle pour qu'elle travaille avec des sociétés humaines diverses. Il s'éloigne de l'idée qu'il existe une seule façon « correcte » de se comporter que la machine doit découvrir. Au lieu de cela, il traite la diversité d'opinion humaine comme une caractéristique à gérer, et non comme un défaut à corriger. En rendant le processus de combinaison des différents points de vue explicite et mathématiquement rigoureux, les chercheurs ont fourni un plan pour construire des systèmes capables de naviguer dans les conflits sans effacer les voix distinctes qui les créent. L'étude ne prétend pas avoir résolu tous les problèmes de l'interaction humain-IA, mais elle offre un moyen éprouvé et fiable d'apprendre d'une foule de personnes en désaccord et de produire une décision collective unique qui est statistiquement solide et éthiquement transparente.