💬 NLP

Conditional Cognitive Biases in LLMs: How Biased User Turns Modulate In-Context Reasoning

Cet article évalue comment les entrées utilisateur biaisées dans les conversations multi-tours modulent l'expression des biais cognitifs dans les modèles de langage de pointe, révélant que si l'exposition conversationnelle amplifie généralement le biais, des indices de biais explicites peuvent déclencher des mécanismes d'alignement qui suppriment le biais manifeste, sur la base d'un benchmark complet de plus de 24 000 invites validées à travers huit modèles.

Auteurs originaux : Sachini Weerasekara, Sagar Kamarthi, Jacqueline Isaacs

Publié 2026-08-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sachini Weerasekara, Sagar Kamarthi, Jacqueline Isaacs

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes assis dans une pièce avec un robot super intelligent qui a lu presque tous les livres jamais écrits. Vous lui posez une question, et il vous donne une réponse. Mais voici le rebondissement : ce robot est conçu pour être utile, honnête et inoffensif. Maintenant, imaginez que vous ne faites pas seulement poser une question ; vous avez une conversation. Dans une vraie conversation, les gens glissent souvent leurs propres opinions, inquiétudes ou raccourcis de pensée sans même s'en rendre compte. Ces raccourcis mentaux sont appelés biais cognitifs. Par exemple, si vous dites au robot : « Tout le monde sait que cette action va s'effondrer ! » (un biais appelé l'effet de groupe), ou « Je suis sûr que ce projet ne prendra que deux jours ! » (un biais appelé l'erreur de planification), vous donnez essentiellement au robot une paire de lunettes teintées spécifique. La grande question que les scientifiques se posent est la suivante : le robot ignore-t-il simplement poliment ces lunettes, ou commence-t-il réellement à les porter et à voir le monde de la même manière que vous ? Cela importe car nous commençons à utiliser ces robots pour des tâches sérieuses comme donner des conseils médicaux ou aider à des décisions juridiques. Si un humain biaisé peut accidentellement « infecter » le robot avec sa propre mauvaise pensée, les conséquences pourraient être énormes.

Une équipe de chercheurs de l'Université Northeastern a décidé de jouer les détectives avec huit des robots d'IA les plus avancés d'aujourd'hui. Ils ont mis en place une expérience massive impliquant plus de 24 000 scénarios de conversation différents. Voyez cela comme un immense jeu de « Jacques a dit » pour l'IA, mais au lieu de frapper dans ses mains ou de sauter, les robots devaient prendre des décisions concernant des choses comme l'argent, le temps et l'équité. Les chercheurs ont créé trois façons différentes de parler aux robots :

Le Test Solo : Le robot reçoit une question sans historique de conversation (la méthode standard que nous utilisons habituellement pour les tester).
Le Chat Neutre : Le robot reçoit une question, mais d'abord, un humain dit quelque chose d'ennuyeux et de neutre, comme « Bonjour, discutons de cela ».
Le Chat Biaisé : Le robot reçoit une question, mais d'abord, un humain dit quelque chose chargé d'un biais spécifique, comme « Je suis sûr que ce sera facile et rapide ! »

Les chercheurs voulaient voir si la réponse du robot changeait simplement parce que quelqu'un lui parlait (l'effet de « présence ») ou si elle changeait à cause de ce que la personne disait (l'effet de « contenu »).

Voici ce qu'ils ont découvert, et c'est un peu plus complexe qu'un simple « oui » ou « non ». Premièrement, ils ont découvert que le simple fait d'avoir une conversation change le robot. Même si l'humain dit quelque chose de totalement neutre, le robot a tendance à montrer un peu plus de biais que lorsqu'il répond seul. C'est comme si le robot devenait un peu plus « social » et commençait à refléter la présence de l'humain, même si l'humain n'essaie pas de le piéger.

Cependant, la véritable surprise est survenue lorsqu'ils ont observé ce qui se passe quand l'humain est explicitement biaisé. Dans six des huit robots testés, les chercheurs ont découvert un fascinant bras de fer. D'un côté, le robot semble posséder un « interrupteur de sécurité » qui s'active lorsqu'il entend un humain être manifestement biaisé. C'est presque comme si le robot pensait : « Oh, cette personne est injuste ou trop optimiste ; je devrais probablement être plus prudent et la corriger. » Cela a provoqué une réduction du biais du robot en réponse au biais de l'humain. C'est comme si le robot essayait d'être le « bon flic » face au « mauvais flic » humain.

Mais il y a une exception majeure à cette règle. Les chercheurs ont découvert qu'un type de biais spécifique, l'Erreur de Planification (la tendance à penser que les tâches prendront moins de temps et coûteront moins cher qu'elles ne le font réellement), est comme un super-virus contre lequel les robots ne peuvent pas lutter. Peu importe le robot testé, et peu importe le biais utilisé par l'humain pour essayer de le piéger, les robots sont devenus systématiquement plus optimistes sur le temps et les coûts lorsque l'humain était optimiste. Il semble que lorsqu'il s'agit de planification, les robots sont incroyablement susceptibles d'attraper la « vibration » d'optimisme de l'humain.

L'étude a également écarté quelques idées. Ils ont prouvé qu'il ne s'agit pas seulement du fait que l'humain et le robot partagent le même biais (comme un humain ayant un biais d'« aversion à la perte » piégeant un robot ayant un biais d'« aversion à la perte »). La réaction du robot dépendait davantage de quel biais le robot était testé, plutôt que de savoir si le biais de l'humain correspondait à celui du robot. De plus, ils ont constaté que les robots plus gros et plus intelligents ne faisaient pas nécessairement mieux le travail d'ignorer le biais ; en fait, certains des modèles les plus avancés étaient tout aussi faciles à influencer que les plus petits.

En résumé, l'article suggère que bien que les robots d'IA possèdent certaines défenses intégrées contre le biais humain évident, ils ne sont pas immunisés. Ils peuvent être subtilement influencés par le simple fait que nous leur parlons, et ils ont une faiblesse spécifique concernant la planification trop optimiste. Les chercheurs avertissent que si nous voulons savoir comment ces robots se comportent réellement dans le monde réel, nous ne pouvons pas simplement les tester avec des questions isolées ; nous devons les tester dans des conversations désordonnées et multi-tours où les humains pourraient accidentellement (ou intentionnellement) leur tendre ces lunettes teintées.

Résumé Technique : Biais Cognitifs Conditionnels dans les LLM

Énoncé du Problème

Les modèles de langage de grande taille (LLM) ajustés par instructions sont de plus en plus déployés comme outils d'aide à la décision dans des domaines à enjeux élevés tels que le raisonnement juridique, le triage médical et le conseil financier. Bien que les recherches antérieures aient largement caractérisé les biais cognitifs dans les LLM sous évaluation zero-shot (ex. : cadrage, ancrage, biais de confirmation), ces benchmarks traitent le biais comme une propriété indépendante du contexte. Dans les déploiements réels, les réponses des modèles sont conditionnées par les tours de conversation précédents. Un tour utilisateur biaisé introduit une voie causale de confusion : il modifie le format d'entrée de zero-shot à dialogue (activant le conditionnement de l'ajustement par instruction) et introduit simultanément un contenu sémantique spécifique qui interagit avec l'entraînement à l'alignement du modèle. La littérature existante ne parvient pas à distinguer si les changements dans l'expression du biais des LLM sont pilotés par la simple présence d'un tour utilisateur ou par le contenu du biais cognitif spécifique au sein de ce tour.

Méthodologie

Pour isoler ces voies causales, les auteurs introduisent un nouveau cadre expératif à trois conditions, évalué sur huit LLM de pointe ajustés par instructions (incluant GPT-4o, Claude-3.5-Haiku, des variantes de Llama-3.1 et DeepSeek-V3).

Conception Expérimentale

Pour chaque scénario et chaque biais cible, le LLM est évalué sous trois conditions distinctes :

Zero-shot ( $m_\emptyset$ ) : Le prompt de décision est présenté sans aucun contexte préalable.
Tour Utilisateur Neutre ( $m_n$ ) : Un tour utilisateur exempt de biais précède le prompt de décision, isolant l'effet du changement de format (dialogue vs zero-shot) tout en maintenant le contenu constant.
Tour Utilisateur Biaisé ( $m_b$ ) : Un tour utilisateur exprimant explicitement un biais cognitif spécifique précède le prompt de décision.

Décomposition des Effets

L'étude définit trois estimands pour séparer les mécanismes de modulation du biais :

Effet de Présence ( $\Delta_n = |m_n| - |m_\emptyset|$ ) : Isole l'impact du passage de zero-shot à un format de dialogue multi-tours avec un contenu neutre.
Effet de Contenu ( $\delta = |m_b| - |m_n|$ ) : Isole l'impact du contenu du biais spécifique au sein du tour utilisateur, en maintenant le format de dialogue constant.
Effet Total ( $\Delta_b = |m_b| - |m_\emptyset| = \Delta_n + \delta$ ) : Le changement net de l'expression du biais par rapport à la référence zero-shot.

Jeu de Données et Validation

Les auteurs ont construit une banque de stimuli de 24 300 prompts utilisateurs validés par un jury couvrant les 81 cellules d'une matrice $9 \times 9$ (9 biais de LLM cibles $\times$ 9 biais de tours humains).

Sélection des Biais : Neuf biais ont été sélectionnés sur la base de benchmarks établis (Malberg et al., 2025) : Ancrage, Heuristique de Disponibilité, Effet de Groupe (Bandwagon), Biais de Confirmation, Effet de Cadrage, Biais d'Endogroupe, Aversion à la Perte, Erreur de Planification (Planning Fallacy) et Biais de Statu Quo.
Contrôle Qualité : Un jury de trois modèles de type "LLM-as-judge" (GPT-4o-Mini, Claude-3.5-Haiku, Gemini) a validé tous les tours utilisateurs selon quatre critères : notation cible, pureté (distinction par rapport aux autres biais), naturel et précision de l'identification à l'aveugle.
Identification Causale : L'étude emploie la méthode de Différences-en-Différences (DiD), l'Appariement par Score de Propension (PSM) et la Méthode de Contrôle Synthétique (SCM) pour fournir des preuves causales au-delà des corrélations agrégées.

Résultats Clés

1. Les Tours Biaisés Augmentent Systématiquement le Biais (Effet Total)

Dans 6 des 8 modèles, l'introduction d'un tour utilisateur biaisé augmente l'ampleur de l'expression du biais du LLM par rapport aux références zero-shot ( $\bar{\Delta}_b > 0$ , plage de +0,022 à +0,051).

GPT-4o est une exception où les deux mécanismes sous-jacents s'annulent ( $\bar{\Delta}_b \approx 0$ ).
Claude-3.5-Haiku présente un effet total négatif ( $\bar{\Delta}_b = -0,064$ ), piloté par un fort effet de présence négatif.

2. L'Effet de Présence Gonfle le Biais

La simple présence d'un tour utilisateur (même neutre) augmente significativement le biais mesuré dans 7 des 8 modèles ( $\Delta_n$ varie de +0,019 à +0,086). Cela suggère que les benchmarks zero-shot sous-estiment systématiquement le biais conversationnel.

Exception : Claude-3.5-Haiku présente un effet de présence négatif ( $\Delta_n = -0,101$ ), cohérent avec son alignement par IA Constitutionnelle qui supprime le biais en mode dialogue.
Corrélation : Les modèles aux capacités plus élevées (mesurées par MMLU) présentent une inflation de présence plus faible.

3. L'Effet de Contenu Supprime Souvent le Biais

Contrairement à l'hypothèse selon laquelle un contexte biaisé amplifierait le biais, remplacer un tour neutre par un tour biaisé réduit l'ampleur du biais dans 6 des 8 modèles ( $\delta < 0$ ).

Cette "suppression par contraste" suggère que les indices de biais explicites déclenchent une résistance liée à l'alignement, menant à des complétions plus normatives.
Exceptions : DeepSeek-V3 et Claude-3.5-Haiku montrent des effets de contenu positifs. Les auteurs attribuent cela à leurs stratégies d'alignement délibératives (CoT RLFT et IA Constitutionnelle), qui semblent amplifier les signaux contextuels plutôt que de les supprimer.

4. Couplage de la Structure et de l'Inductibilité

L'analyse de la matrice de couplage des biais $9 \times 9$ révèle :

Dominance de la Structure de Ligne : La susceptibilité d'un biais cible à la modulation est gouvernée par le biais cible lui-même, et non par le type de biais humain spécifique.
Absence d'Avantage Diagonal : Il n'y a aucune preuve de "contagion de même biais" (c'est-à-dire qu'un humain exprimant le Biais X ne provoque pas sélectivement l'induction du Biais X dans le modèle plus que d'autres biais).
Erreur de Planification (Planning Fallacy) : C'est le seul biais cible causalement confirmé comme universellement inductible à travers les 8 modèles. Il montre systématiquement un effet total positif, probablement parce que son expression (optimisme/sous-estimation) est implicite et moins susceptible de déclencher des indices de suppression d'alignement.
Biais Supprimables : L'Effet de Groupe (Bandwagon Effect) et l'Heuristique de Disponibilité sont systématiquement supprimables par des tours contextuels biaisés.

Signification et Revendications

L'article affirme que les benchmarks de biais zero-shot sous-estiment systématiquement le biais conversationnel car ils ne tiennent pas compte de l'« effet de présence » du dialogue. L'étude démontre que :

Le Contexte Compte : Le simple fait de s'engager dans un dialogue multi-tours modifie le profil d'expression des biais du modèle par rapport à des prompts isolés.
L'Alignement Dépend de la Recette : La direction de l'effet de contenu (suppression vs amplification) est déterminée par la recette d'alignement spécifique (ex. : RLHF standard vs IA Constitutionnelle vs CoT RLFT).
Inductibilité Universelle : Bien que la plupart des biais soient supprimés par des indices explicites, l'Erreur de Planification reste robustement inductible à travers diverses architectures de modèles et pipelines d'entraînement.

Les auteurs concluent que les évaluations de sécurité et les protocoles d'audit de biais doivent être stratifiés par recette d'alignement et inclure des tours de conversation précédents pour refléter fidèlement les conditions de déploiement. Ils publient leur cadre, leur code et le jeu de données de 24 300 éléments pour soutenir les recherches futures sur les biais cognitifs conditionnés par le contexte.