🤖 AI

AI Alignment From Social Choice Perspectives

Cet article passe en revue les recherches récentes appliquant la théorie du choix social à l'alignement de l'IA à partir des retours humains, démontrant comment cette perspective identifie les modes de défaillance dans l'agrégation de jugements humains conflictuels et révèle un espace de conception plus large et fondé sur des principes pour gérer de tels désaccords.

Auteurs originaux : Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent, mais quelque peu vierge de toute expérience, comment écrire des histoires, donner des conseils ou répondre à des questions. Vous ne pouvez pas écrire un manuel de règles parfait pour chaque situation possible, car les valeurs humaines sont trop complexes et subtiles. Au lieu de cela, vous demandez à un groupe de juges humains de regarder les réponses du robot et de dire : « J'aime mieux celle-ci que celle-là. »

Cet article soutient que la manière dont nous combinons actuellement toutes ces opinions humaines en un seul ensemble d'instructions pour le robot est défaillante. Il suggère que nous devrions examiner ce processus sous l'angle de la Théorie du Choix Social — la même mathématique utilisée pour déterminer comment organiser des élections équitables.

Voici la décomposition des idées principales de l'article en utilisant des analogies simples :

1. Le problème : Le vote « taille unique »

Actuellement, lorsque les humains sont en désaccord (par exemple, une personne pense qu'une blague est drôle, une autre pense qu'elle est offensante), la méthode standard (appelée RLHF) traite ces désaccords comme du « bruit ». Elle tente de les moyenner pour trouver une réponse « correcte » unique.

L'analogie : Imaginez une ville essayant de décider d'un nouveau parc. Certains veulent une aire de jeux, d'autres un jardin, et d'autres un skate park. La méthode actuelle de l'IA agit comme un vote qui force tout le monde à choisir un seul vainqueur. Si l'« aire de jeux » gagne d'une faible marge, la ville construit uniquement une aire de jeux, ignorant totalement les amoureux du jardin. L'article dit que c'est une mauvaise façon de gérer une population diversifiée. Cela transforme un débat complexe en un score unique et rigide.

2. La règle de vote cachée : Le « Compte de Borda »

Les auteurs ont découvert que les mathématiques actuellement utilisées pour entraîner ces robots (appelées modèle de Bradley-Terry) ne sont pas seulement un truc statistique ; elles sont secrètement un type spécifique de règle de vote connu sous le nom de Compte de Borda.

L'analogie : Dans un Compte de Borda, vous ne choisissez pas seulement votre préféré ; vous classez tout. Si vous avez 5 options, votre préférée reçoit 5 points, votre deuxième choix en reçoit 4, et ainsi de suite. Le vainqueur est celui qui a le plus grand nombre total de points.
La faille : Cette règle favorise les options « sûres » et « fades ». Une réponse qui est « correcte » pour tout le monde mais aimée de personne peut l'emporter sur une réponse qui est « incroyable » pour la moitié des gens et « détestée » par l'autre moitié. L'IA apprend à être ennuyeuse et non offensante plutôt que véritablement excellente ou distincte.

3. Le problème du « Clone » : Les imitateurs changent le vainqueur

L'article souligne une vulnérabilité étrange de ce système de vote : la sensibilité aux clones.

L'analogie : Imaginez une élection entre une « Voiture Rouge » et une « Voiture Bleue ». Si la Voiture Rouge gagne, c'est très bien. Mais et si le fabricant de la Voiture Rouge sortait soudainement 100 versions légèrement différentes de la Voiture Rouge (Voiture Rouge 1.0, Voiture Rouge 1.1, Voiture Rouge 1.2...) ? Dans un vote de type Borda, ces « clones » divisent le vote d'une manière qui peut accidentellement faire perdre la Voiture Bleue, même si les préférences réelles des électeurs n'ont pas changé.
En IA : Les grands modèles de langage génèrent souvent de nombreuses versions légèrement différentes de la même réponse (paraphrases). Si les données d'entraînement contiennent 10 versions d'une réponse « sûre » et une seule version d'une réponse « audacieuse », l'IA pourrait penser que la réponse « sûre » est objectivement meilleure simplement parce qu'elle apparaît plus souvent dans la liste d'entraînement, et non parce que les humains la préfèrent réellement.

4. Le piège « Linéaire » : Quand les mathématiques se brisent

L'article montre également que lorsque nous forçons l'IA à apprendre en utilisant une structure mathématique simplifiée (pour la rendre plus rapide ou plus facile), elle peut enfreindre les règles de l'équité.

L'analogie : Imaginez un juge censé écouter chaque argument. Mais si le juge est forcé d'utiliser une liste de contrôle très courte et rigide (un modèle « linéaire »), il pourrait manquer la nuance. Même si chaque personne dans la pièce est d'accord pour dire que l'Option A est meilleure que l'Option B, ce modèle mathématique rigide pourrait accidentellement conclure que l'Option B est meilleure. C'est un échec de l'outil, pas des gens.

5. La solution : Arrêter de moyenner, commencer à jouer

Les auteurs proposent une meilleure façon de gérer le désaccord, inspirée de la théorie des jeux. Au lieu d'essayer de compresser toutes les opinions humaines en un seul « score », nous devrions laisser l'IA jouer un jeu contre elle-même.

L'analogie : Au lieu de demander « Quelle est la meilleure réponse ? », nous demandons : « Si je fais s'affronter deux stratégies différentes, laquelle gagne le plus souvent ? »
La « Loterie Maximale » : L'article suggère que l'IA devrait apprendre un mélange de stratégies. Si la moitié des gens veulent un jardin et l'autre moitié un skate park, l'IA ne devrait pas choisir l'un ou l'autre. Elle devrait apprendre à être à 50 % jardin et 50 % skate park. Cela préserve le désaccord et garantit qu'aucun groupe n'est complètement réduit au silence.
Le bénéfice : Cette méthode (appelée Apprentissage de Nash) est mathématiquement prouvée comme étant la façon la plus « juste » de gérer l'information limitée dont nous disposons. Elle garantit que l'IA ne commettra pas d'erreur terrible simplement parce que les données étaient rares ou que les votants étaient divisés.

Résumé

L'article soutient que nous sommes actuellement en train d'enseigner à l'IA à être une « machine à compromis » qui moyenne les valeurs humaines, ce qui conduit souvent à des résultats ennuyeux ou biaisés. En utilisant la mathématique des élections équitables, nous pouvons construire des systèmes d'IA qui :

Reconnaissent que « sûr » n'est pas toujours « meilleur ».
Ignorent les réponses copies qui faussent le vote.
Préservent la diversité des points de vue en offrant un mélange d'options plutôt qu'en imposant une réponse unique et rigide.

Il s'agit de passer de la question « Que veut la majorité ? » à « Comment représenter équitablement les valeurs de chacun ? »

Résumé technique : L'alignement de l'IA sous l'angle de la théorie du choix social

Énoncé du problème

L'alignement de l'IA via le feedback humain (par exemple, l'apprentissage par renforcement à partir de rétroactions humaines, RLHF) repose sur l'agrégation de jugements humains hétérogènes pour orienter le comportement des modèles de langage. Les méthodes actuelles compressent généralement ces jugements en un signal de récompense scalaire unique et universellement applicable. Cette approche suppose implicitement une intuition humaine sous-jacente partagée, traitant les désaccords comme du bruit autour d'une vérité de terrain commune plutôt que comme une preuve de pluralisme des valeurs.

Lorsque les annotateurs sont intrinsèquement en désaccord, le processus d'agrégation devient une forme d'agrégation de préférences qui réduit les jugements individuels conflictuels en une préférence collective unique. Cet article soutient que le pipeline RLHF standard contient des règles d'agrégation implicites avec des compromis normatifs spécifiques et des modes de défaillance qui ne sont pas adéquatement traités par la seule estimation statistique. Le problème central est d'analyser l'alignement à travers le prisme de la théorie du choix social afin d'identifier ces règles intégrées, d'exposer les échecs structurels (tels que la sensibilité à la représentation des candidats et les violations de l'unanimité) et d'explorer des mécanismes d'agrégation alternatifs qui gèrent mieux le désaccord.

Méthodologie et cadre

L'article passe en revue la recherche sur l'alignement en modélisant le pipeline d'alignement comme un processus d'agrégation formel : des jugements extraits aux objectifs appris, puis aux politiques optimisées. L'analyse s'appuie sur la notation standard pour les prompts ( $X$ ), les réponses ( $Y$ ), les annotateurs ( $A$ ) et les politiques ( $\pi$ ).

Les composantes méthodologiques clés incluent :

L'apprentissage de la récompense comme agrégation : L'article analyse le modèle de Bradley-Terry (BT), la fonction de perte standard pour l'apprentissage de modèles de récompense à partir de comparaisons par paires. Il démontre que, dans des conditions idéalisées (classe de récompense non contrainte, données infinies), la minimisation de la perte BT est mathématiquement équivalente à la règle de vote de Borda.
Axiomes du choix social : Les auteurs appliquent les axiomes standards du choix social (par exemple, la robustesse aux clones, l'unanimité/efficacité de Pareto, les bornes de distorsion) pour évaluer les propriétés des modèles de récompense appris et des politiques qui en résultent.
Règles d'agrégation alternatives : L'article étudie des alternatives à la compression de la récompense scalaire, spécifiquement les Loteries Maximales et l'Apprentissage de Nash à partir du feedback humain (NLHF), qui opèrent directement sur les relations de préférence par paires sans imposer un classement scalaire transitif.

Contributions clés et résultats

1. L'apprentissage de la récompense BT comme agrégation de Borda

L'article établit que l'apprentissage de la récompense BT non contraint implémente implicitement la règle de Borda.

Mécanisme : La récompense apprise $r^*(y)$ classe les réponses exactement selon leurs scores de Borda, définis comme l'espérance de la probabilité qu'une réponse soit préférée à un candidat tiré au hasard.
Implication : Cette règle favorise les réponses de « consensus » ou de « compromis » qui sont largement acceptables, au détriment des réponses polarisantes ayant un soutien fort mais étroit. Elle déclasse intrinsèquement les réponses qui suscitent une forte opposition, même si elles bénéficient d'un soutien massif d'une minorité.
Impact du prétraitement : Si les préférences souples sont aplaties en votes majoritaires binaires avant l'ajustement BT, la règle d'agrégation bascule vers la règle de Copeland (classement par le nombre de victoires par majorité de paires).

2. Échec de la robustesse aux clones

L'article identifie un mode de défaillance critique dans les contextes de modèles de langage : la sensibilité aux clones approximatifs.

Problème : Dans les contextes génératifs, une réponse substantielle peut être représentée par de nombreuses chaînes quasi identiques (paraphrases, réordonnancement). L'agrégation BT/Borda standard est sensible au nombre de ces variantes ; l'ajout de quasi-doublons modifie la récompense agrégée, rendant la politique sensible aux artefacts d'échantillonnage arbitraires plutôt qu'à la préférence humaine.
Solution : Les auteurs citent des travaux proposant un objectif BT pondéré. En attribuant des poids basés sur l'« unicité » d'une réponse (le volume de l'espace de réponse qu'elle représente), la récompense apprise devient robuste à l'ajout de clones approximatifs, traitant les quasi-doublons comme des représentations redondantes d'une même région.

3. Violation de l'unanimité dans les modèles paramétriques

Bien que le modèle BT non contraint satisfasse l'unanimité (si tout le monde préfère $y_+$ à $y_-$ , la récompense reflète cela), l'article montre que cette garantie se brise sous les contraintes paramétriques.

Mécanisme : En pratique, les modèles de récompense sont restreints à une classe d'hypothèses (par exemple, des fonctions linéaires de caractéristiques). La nécessité d'ajuster un ensemble unique de paramètres à toutes les comparaisons crée des arbitrages.
Résultat : Il est possible de construire des scénarios où un modèle de récompense paramétrique apprend un ordre qui viole l'unanimité ( $r(y_-) > r(y_+)$ même si tous les annotateurs préfèrent $y_+$ ), car la fonction de perte donne la priorité à l'ajustement des directions de comparaison dominantes sur la paire unanime.

4. Perte de bien-être et distorsion

L'article analyse la perte d'information subie lors de l'optimisation de politiques basées uniquement sur des comparaisons par paires (données ordinales) plutôt que sur des utilités cardinales.

Distorsion : Le concept de distorsion mesure le ratio de pire cas entre le bien-être optimal et le bien-être atteint par une politique apprise à partir de données par paires.
Limites de BT : Sous le modèle BT, la distorsion d'une politique apprise via l'apprentissage de récompense standard est bornée par $O(\eta^2)$ , où $\eta$ est le paramètre d'inverse température.
Optimalité de l'apprentissage de Nash : L'article met en avant l'Apprentissage de Nash à partir du feedback humain (NLHF), qui optimise directement les préférences par paires en utilisant une approche de théorie des jeux (Maximal Lotteries). Le NLHF atteint une borne de distorsion de $(1/2 + o(1))\eta$ , ce qui correspond à la borne inférieure minimax théorique pour le feedback anonyme par paires. Cela indique que le NLHF est optimal pour minimiser la perte de bien-être compte tenu des contraintes d'information.

5. Alignement direct via les Loteries Maximales

Au lieu de compresser les préférences en un scalaire, l'article préconise les Loteries Maximales (ou les équilibres de Nash dans le jeu de préférence).

Mécanisme : Cette approche sélectionne une distribution sur les réponses qui maximise la marge attendue minimale contre toute autre distribution.
Propriétés : Cette méthode gère naturellement les cycles de Condorcet (préférences intransitives) en répartissant la masse de probabilité à travers le cycle plutôt qu'en le rompant arbitrairement. Elle est invariante aux clones exacts et atteint des garanties de distorsion optimales.

Signification et affirmations

L'article positionne la théorie du choix social non pas comme une simple curiosité théorique, mais comme un cadre nécessaire pour diagnostiquer et améliorer l'alignement de l'IA. Ses principales affirmations sont :

Transparence des hypothèses normatives : Voir l'alignement à travers le choix social rend explicites les hypothèses normatives intégrées dans les méthodes standard (comme le RLHF). Cela révèle que les pipelines standards ne sont pas des estimateurs statistiques neutres, mais des règles de vote spécifiques (Borda/Copeland) avec des biais connus (ex: favoriser la banalité, sensibilité à la représentation).
Identification des modes de défaillance : La perspective du choix social identifie des modes de défaillance structurels — tels que la sensibilité aux clones et les violations de l'unanimité paramétrique — qui sont intrinsèques à la logique d'agrégation, et non de simples artefacts de mauvaises données ou d'entraînement.
Expansion de l'espace de conception : L'article soutient que l'« espace de conception » de l'alignement est plus large que les pratiques actuelles. En adoptant des méthodes d'agrégation issues du choix social (ex: BT pondéré, apprentissage de Nash, loteries maximales), les chercheurs peuvent encoder plus explicitement différents objectifs normatifs (ex: robustesse à la représentation, optimalité de la perte de bien-être).
Évaluation au niveau de la politique : L'article souligne que la qualité d'un modèle de récompense doit être évaluée par la politique qu'il induit. Un modèle de récompense satisfaisant les axiomes d'agrégation ne garantit pas une politique qui fait de même, ceantant l'utilisation de méthodes d'optimisation directe au niveau de la politique comme le NLHF.

Les auteurs concluent que l'alignement de l'IA est fondamentalement un problème d'établissement de principes équitables pour incorporer des valeurs humaines diverses, et que la théorie du choix social fournit les outils mathématiques pour analyser et améliorer les mécanismes utilisés pour agréger ces valeurs.