💬 NLP

The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

Cet article démontre que le prétendu « biais oui-non » dans les jugements moraux des grands modèles de langage n'est pas un changement de raisonnement éthique, mais un artefact superficiel dicté par l'ordre des réponses et la formulation lexicale, qui disparaît lorsque les modèles sont évalués à l'aide d'une batterie psychométrique qui sépare les verdicts logiques du formatage de surface.

Auteurs originaux : Haonan Huang

Publié 2026-07-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haonan Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre la boussole morale d'un robot très intelligent. Vous lui posez une question difficile : « Est-il acceptable de sacrifier une personne pour en sauver cinq ? »

Si vous demandez au robot : « Répondez par Oui ou par Non », il peut sembler avoir une opinion tranchée. Mais cet article révèle un truc surprenant : la réponse du robot dépend souvent moins de ce qu'il pense que de la manière dont vous posez la question.

Voici le détail de ce que les chercheurs ont découvert, en utilisant des analogies simples.

1. Le robot possède une « échelle morale » secrète

Tout d'abord, les chercheurs voulaient savoir : le robot possède-t-il réellement un ensemble cohérent de valeurs, ou ne fait-il que deviner ?

Pour le découvrir, ils n'ont pas simplement demandé « Oui ou Non » au robot. Au lieu de cela, ils ont posé les mêmes 20 dilemmes moraux de 48 manières différentes. Ils ont modifié l'échelle (de 0 à 10 vs de 0 à 100), inversé la formulation et changé l'option que l'on demandait au robot d'évaluer en premier.

La découverte : Quand on regarde au-delà de la surface, la « voix intérieure » du robot est en fait très cohérente. Il possède une échelle morale stable. S'il pense qu'une action est « plutôt mauvaise » dans un format, il pensera probablement qu'elle est « plutôt mauvaise » dans un autre format aussi. Les modèles les plus intelligents (les modèles « frontières ») sont étonnamment cohérents dans leur logique interne.

2. Le piège du « Oui/Non » : La magie du dernier mot

Si le robot possède une voix intérieure cohérente, pourquoi ses réponses par « Oui/Non » varient-elles si radicalement lorsque l'on reformule la question ?

Les chercheurs ont découvert que le format « Oui/Non » agit comme une lentille déformante. Lorsqu'on le force à choisir entre « Oui » ou « Non », le robot est perturbé par deux astuces spécifiques :

Le biais du « dernier mot » (biais d'ordre) : Les humains prêtent généralement attention à la première chose qu'ils lisent. Ces robots, cependant, semblent prêter une attention particulière à la dernière chose qu'ils lisent. Si vous écrivez « Réponse : Non, Oui », le robot est plus susceptible de choisir « Oui » simplement parce que c'est à la fin. Si vous écrivez « Réponse : Oui, Non », il penche vers le « Non ».
L'aimant du « Non » (biais lexical) : Le robot semble avoir une étrange attraction pour le mot spécifique « Non ». Il ne rejette pas nécessairement l'idée de manière logique ; il est simplement attiré par ce mot précis sur la page.

L'analogie : Imaginez une personne passant un examen où les réponses sont imprimées sur une carte.

L'humain : Lit la question, réfléchit à la réponse, puis choisit la bonne.
Le robot : Lit la question, réfléchit à la réponse, mais se laisse ensuite distraire par le fait que le mot « Non » est imprimé en gras au bas de la carte, ou que « Oui » est le tout dernier mot qu'il voit. Il choisit la réponse en fonction de l'emplacement du mot, et non de son sens.

3. Le biais du « Non » n'est pas une question de rejet

Une hypothèse courante était que ces robots sont simplement « négatifs » ou « pessimistes » par nature — ils veulent simplement dire « Non » à tout.

La découverte : C'est faux. Les chercheurs l'ont prouvé en inversant les mots. Au lieu de demander « Oui ou Non », ils ont demandé au robot de choisir entre l'« Option A » et l'« Option B ».

En faisant cela, le biais du « Non » a disparu. Le robot n'a pas soudainement commencé à dire « Oui » plus souvent ; il a simplement cessé d'être attiré par le mot « Non ».

Conclusion : Le robot n'est pas biaisé contre le fait de rejeter des choses. Il est biaisé contre l'apparence de surface de la question. Il suit l'étiquette imprimée, et non le verdict logique.

4. Réfléchir intensément aide (mais ne règle pas tout)

Les chercheurs ont testé ce qui se passe lorsqu'ils disent au robot de « réfléchir étape par étape » avant de répondre (un processus appelé délibération).

La découverte : Lorsque le robot prend le temps de réfléchir, le biais « Oui/Non » diminue. Le robot est moins distrait par l'ordre des mots et par le mot spécifique « Non ». Cependant, le biais ne disparaît pas complètement pour tous les modèles. Certains modèles (comme la famille « Claude ») présentent toujours une forte attraction pour la dernière option ou pour le mot « Non », même en réfléchissant intensément.

5. Les « petits » robots sont différents

L'étude a également examiné les modèles plus petits, en open-source. Ces modèles sont beaucoup plus désordonnés. Ils n'ont pas du tout d'échelle morale interne cohérente. Leurs réponses varient énormément selon le format de la question, et ils ne s'améliorent pas même en « réfléchissant » plus longtemps. Ils sont essentiellement en train de deviner en se basant sur la surface de la question.

La conclusion majeure

Si vous voulez savoir ce qu'une IA valorise réellement, vous ne pouvez pas simplement lui poser une question « Oui ou Non » une seule fois.

Le problème : Une question unique de type « Oui/Non » mélange l'opinion réelle du robot avec un « artefact de format » (un bug causé par la façon dont la question est rédigée).
La solution : Pour mesurer la véritable position morale d'une IA, vous devez poser la même question de plusieurs manières différentes (en croisant les cadres) et faire la moyenne des résultats. Cela permet d'annuler les distractions liées au « dernier mot » ou au « mot Non », révélant ainsi la véritable échelle interne et cohérente du robot.

En bref : Le robot n'est pas forcément une personne qui dit « Non ». C'est juste une personne qui se laisse facilement distraire par la police de caractères, l'ordre et le dernier mot sur la page. Si vous nettoyez la page, sa véritable opinion transparaît.

Résumé Technique : Le Biais Oui–Non des Grands Modèles de Langage

Énoncé du Problème
Les grands modèles de langage (LLM) sont de plus en plus déployés pour émettre des jugements moraux binaires (par exemple, des barrières de sécurité, des choix forcés dans des sondages). Un corpus croissant de littérature rapporte que ces jugements varient de manière significative sous l'effet de changements logiquement non pertinents de la formulation, de l'ordre des options ou du format de réponse. Plus précisément, les modèles présentent un « biais oui–non » amplifié sur les dilemmes moraux — une tendance à faire basculer les verdicts vers le « non » qui est absente dans les comparaisons humaines. Cependant, les méthodes d'évaluation standard ne parviennent pas à diagnostiquer la source de ce décalage. Dans une question binaire « oui/non », le mot « non », le verdict logique de la négation et la dernière option imprimée coïncident sur un seul jeton (token). Par conséquent, la répétition d'un cadrage unique ne permet pas de distinguer si le modèle est biaisé par le verdict logique de négation, par le jeton lexical « non », ou par la récence de l'option imprimée. Cette confusion rend les évaluations à cadrage unique ambiguës : un verdict déplacé peut refléter un changement de jugement moral, une préférence pour un mot spécifique ou un biais de position de surface.

Méthodologie
Pour résoudre ces confusions, les auteurs introduisent une batterie psychométrique basée sur la symétrisation croisée. Cet instrument applique chaque perturbation logiquement non pertinente dans des paires de basculements équilibrées et les croise pour séparer leurs contributions. La batterie soumet 20 dilemmes moraux (19 issus de Cheung et al., 1 adapté) à travers trois instruments distincts :

Évaluation Graduée (I-1) : Provoque une acceptabilité morale sur des échelles continues (0–10 et 0–100) sous 48 conditions croisées, faisant varier le type d'échelle, l'ancrage de direction, la formulation et le pôle de l'action évaluée.
Choix Libre à Deux Alternatives (I-2) : Provoque une décision engagée sans aucune échelle de notation ni étiquettes binaires.
Binaire Forcé (I-3) : Provoque un verdict de type oui/non en croisant le verbe de la question (approuver/s'opposer) avec l'ordre d'impression des options et les étiquettes de réponse elles-mêmes (étiquettes standards « oui/non », étiquettes arbitraires comme « A/B », symboles et mots non anglais).

La stratégie analytique centrale traite la partie symétrique d'une paire de basculement comme l'estimation de la posture interne du modèle ( $\theta$ ) et la partie antisymétrique comme l'artéfact. En croisant les facteurs, les auteurs attribuent les artéfacts à des sources spécifiques (ordre, lexical, logique). L'étude évalue sept configurations de pointe (Claude Sonnet, Claude Haiku, GPT-5.5, Gemini-3-Flash, Gemini-3.1-Flash-Lite, Claude Opus) et deux petits modèles à poids ouverts (Qwen3.6-35B-A3B, Nemotron-3-Nano-30B-A3B).

Contributions Clés

Existence d'une Échelle Morale Interne Cohérente : L'étude démontre que les modèles de pointe possèdent une posture morale latente et invariante au format. Sous des reformulations logiquement équivalentes, les évaluations graduées convergent avec une faible incohérence de forme croisée ( $\sigma_{repro} = 0,12–0,21$ sur un axe de $\pm1$ ). Cela valide la cohérence interne des modèles, une propriété que les conceptions à cadrage unique ne peuvent certifier.
Décomposition du Biais Oui–Non : Le prétendu « biais oui–non » s'avère être un artéfact décomposable, et non un biais logique. Il se divise exactement en :
- Biais d'Ordre : Une attraction vers la dernière option imprimée (récence), opposée à l'effet de primauté souvent observé dans les enquêtes humaines.
- Biais Lexical : Une attraction vers le mot spécifique « non ».
- Biais Logique : Le biais attaché au verdict lui-même est trouvé être $\approx 0$ pour les modèles de pointe lorsque le mot « non » est remplacé par des étiquettes arbitraires.
Modèle Paramétrique des Artéfacts : Les auteurs proposent un modèle minimal, $P = \sigma((\theta \pm m)/s)$ $P = σ ((θ \pm m) / s)$ , pour résumer l'artéfact.
- $m$ (Susceptibilité au Cadrage) : Mesure l'ampleur du biais.
- $s$ (Décisionnalité Morale) : Mesure la précision avec laquelle le verdict binaire suit la posture graduée sous-jacente (distinct de la température d'échantillonnage).
Distinction Lexicale vs Logique : En remplaçant « oui/non » par des étiquettes arbitraires (ex: « A/B »), l'étude prouve que le biais suit la surface imprimée (le mot ou l'étiquette) plutôt que le verdict logique. Les modèles de pointe montrent un biais de verdict négligeable avec des étiquettes arbitraires, tandis que les petits modèles à poids ouverts conservent un biais attaché au verdict.

Résultats

Variance des Modèles : Les modèles de pointe (Claude, GPT, Gemini) présentent une échelle interne cohérente avec une faible incohérence. En revanche, les petits modèles à poids ouverts échouent de manières distinctes : Qwen montre une haute incohérence en mode direct (résolue par la délibération), tandis que Nemotron présente une échelle dégénérée (indifférence) qui différencie à peine les items.
Ampleur du Biais : Le « biais oui–non » est substantiel uniquement dans les modèles Claude (Sonnet : $-0,32$ ; Haiku : $-0,86$), se décomposant en composantes d'ordre et lexicales. Les modèles GPT-5.5 et Gemini montrent un biais négligeable ( $\approx 0$ ).
Effet de la Délibération : Le raisonnement étendu (« mode think ») réduit à la fois l'incohérence de forme croisée ( $\sigma_{repro}$ ) et la susceptibilité au cadrage ( $|m|$ ) pour les modèles possédant des échelles fonctionnelles. Pour Claude Haiku, la délibération réduit le biais total de $-0,86 $à$ -0,27$.
Dépendance aux Étiquettes : L'attraction lexicale est graduée ; elle augmente à mesure que les étiquettes acquièrent le sens sémantique de « oui/non » à travers les langues. Cependant, le biais attaché au verdict disparaît lorsque les mots « oui/non » sont retirés, confirmant que le biais est lexical et non logique.
Comparaison Humaine : Les humains montrent une légère sensibilité au cadrage mais ne présentent pas le biais spécifique du « non » ni l'extrême sensibilité de surface observée chez les LLM.

Signification
L'article soutient que mesurer ce qu'une IA valorise nécessite de croiser les cadres de la question, et non de poser la question une seule fois. La lecture standard « oui–non » superpose un artéfact de format important qui peut occulter le signal moral sous-jacent. L'étude établit que :

Les LLM de pointe possèdent une échelle morale stable et cohérente, robuste aux reformulations logiquement équivalentes.
Le prétendu « biais oui–non » est un artéfact du format de lecture binaire (spécifiquement l'interaction entre l'ordre d'impression et le mot « non »), et non une disposition à rejeter des propositions morales.
Les protocoles d'évaluation doivent séparer les valeurs des modèles des artéfacts de la manière dont la question est posée. La batterie proposée offre une méthode pour mesurer la susceptibilité au cadrage ( $m$ ) et la décisionnalité morale ( $s$ ) comme des paramètres distincts et interprétables, offrant ainsi une base plus rigoureuse pour les évaluations de la sécurité et de l'alignement de l'IA.