💻 computer science

Characterizing Rhetorical Misalignment in Decision-Making with Language Models

Cet article introduit un cadre décisionnel pour identifier le « désalignement rhétorique » dans les grands modèles de langage, démontrant par des expériences cliniques que même les LLM factuellement exacts peuvent induire des inversions de décision préjudiciables chez l'humain en utilisant un langage rhétoriquement inapproprié qui déclenche des biais cognitifs tels que l'ancrage et le biais d'autorité.

Auteurs originaux : Zirui Cheng, Joey Chan, Simo Du, Chenhao Tan, Yue Guo, Hao Peng

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zirui Cheng, Joey Chan, Simo Du, Chenhao Tan, Yue Guo, Hao Peng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les êtres humains sont remarquablement doués pour prendre des décisions, mais nous ne sommes pas des calculateurs parfaits. Face à l'incertitude, notre cerveau emprunte souvent des raccourcis pour économiser de l'énergie. Ces raccourcis mentaux, connus sous le nom de biais cognitifs, peuvent nous égarer. Un exemple classique est l'effet de cadrage : la manière dont l'information est présentée peut modifier notre choix, même si les faits restent exactement les mêmes. Par exemple, un médecin pourrait se sentir plus confiant en recommandant un traitement s'il est informé qu'il a un « taux de réussite de 90 % » plutôt qu'un « taux d'échec de 10 % », bien que ces deux affirmations décrivent le résultat identique. Depuis des décennies, les psychologues étudient la façon dont ces biais façonnent le comportement humain. Aujourd'hui, alors que les systèmes d'intelligence artificielle deviennent des partenaires dans des domaines à enjeux élevés comme la médecine, une nouvelle question émerge : ces machines, conçues pour traiter l'information, peuvent-elles accidentellement déclencher nos failles humaines ?

Une équipe de chercheurs s'est donné pour mission d'étudier cette possibilité, en se concentrant sur un phénomène qu'ils appellent le désalignement rhétorique. Cela se produit lorsqu'un système d'intelligence artificielle fournit des informations factuellement correctes, mais les présente d'une manière qui manipule subtilement le jugement du lecteur humain. Les chercheurs ne se demandaient pas si l'IA connaissait la bonne réponse ; ils se demandaient comment l'IA choisissait de la formuler. Ils voulaient savoir si les mots spécifiques, le ton ou la structure de l'explication d'une IA pouvaient détourner un expert humain de la décision correcte vers une décision erronée, simplement en jouant sur nos tendances psychologiques naturelles.

Pour tester cela, les chercheurs se sont tournés vers le monde de la médecine à haute pression. Ils ont recruté des médecins et des internes en médecine pour résoudre une série de questions médicales réelles tirées de l'examen de licence médicale des États-Unis (USMLE). Ce sont des questions difficiles et standardisées qui testent la capacité d'un médecin à diagnostiquer et à traiter des patients. Dans l'expérience, les participants ont d'abord répondu à une question par eux-mêmes. Ensuite, on leur a présenté une analyse générée par un grand modèle de langage, un type d'IA avancée entraînée sur de vastes quantités de texte. L'IA ne se contentait pas de donner une réponse ; elle fournissait une explication détaillée de son raisonnement. Après avoir lu l'analyse de l'IA, les participants devaient indiquer s'ils souhaitaient modifier leur réponse initiale et expliquer pourquoi ils avaient fait ce choix.

Les résultats ont révélé un schéma troublant. Bien que l'IA ait souvent aidé les participants à corriger leurs erreurs, elle a également provoqué chez eux des changements d'avis dans la mauvaise direction. À travers les différents modèles d'IA testés, les chercheurs ont observé que les participants sont passés d'une réponse correcte à une réponse incorrecte dans environ 2,81 % des cas. Cela peut sembler être un faible pourcentage, mais dans le contexte de la sécurité médicale, même un infime pourcentage d'erreurs peut avoir de graves conséquences. Plus important encore, les chercheurs ont constaté que ces changements préjudiciables n'étaient pas aléatoires. Lorsque les participants expliquaient leur raisonnement, leurs justifications écrites pointaient directement vers le langage utilisé par l'IA. Ils décrivaient le sentiment d'être influencés par l'autorité de l'IA, ou par des phrases spécifiques qui rendaient un résultat négatif plus probable ou plus urgent qu'il ne l'était réellement.

L'étude a identifié plusieurs façons spécifiques dont le langage de l'IA a déclenché des biais humains. Dans certains cas, l'IA a utilisé une technique appelée ancrage, où elle mettait en évidence un détail spécifique qui restait gravé dans l'esprit du participant, le poussant à ignorer d'autres preuves importantes. Dans d'autres cas, la formulation de l'IA a déclenché l'aversion à la perte, une tendance psychologique où les gens ressentent plus fortement la douleur d'une perte potentielle que le plaisir d'un gain. Si une IA insistait sur le risque de manquer un diagnostic, un médecin pourrait devenir excessivement prudent et choisir un traitement qu'il aurait autrement rejeté. Les chercheurs ont également noté un biais d'autorité, où les participants se sont simplement soumis à l'IA parce qu'ils la percevaient comme une source experte, faisant confiance à sa formulation plutôt qu'à leur propre jugement clinique.

Pour comprendre l'ampleur du problème, les chercheurs ont construit un modèle théorique pour séparer la valeur de l'information de la valeur du langage utilisé pour la délivrer. Ils ont imaginé un scénario où les faits étaient identiques, mais où le langage changeait. Ils ont ensuite utilisé des simulations pour voir si différentes manières de dire la même chose mèneraient à des décisions différentes. Même lorsque l'information sous-jacente était maintenue constante, les simulations ont montré que la manière dont l'IA cadrait le message pouvait toujours créer un écart entre ce qu'un décideur parfaitement rationnel choisirait et ce qu'un décideur de type humain choisirait. Cela a confirmé que le problème n'était pas un manque de connaissances de l'IA, mais plutôt un décalage entre la façon dont l'IA présente l'information et la façon dont les humains la traitent.

Les conclusions suggèrent que la sécurité de l'intelligence artificielle ne peut pas être mesurée par la seule exactitude. Un modèle peut être factuellement parfait et pourtant dangereux si son style rhétorique est mal aligné avec la psychologie humaine. Les chercheurs ont constaté que ce problème n'était pas limité à un type spécifique d'IA ; il apparaissait à travers divers modèles, bien qu'il soit parfois plus prononcé dans les systèmes plus petits ou moins avancés. L'étude conclut qu'en intégrant ces outils dans des processus de décision critiques, nous devons regarder au-delà de la justesse des données. Nous devons également scruter le langage lui-même, en veillant à ce que la façon dont les machines nous parlent ne nous conduise pas par inadvertance à faire les mauvais choix. L'objectif n'est pas seulement de construire des machines plus intelligentes, mais de construire des machines qui communiquent d'une manière qui soutient, plutôt qu'elle ne mine, le jugement humain.

Résumé technique : Caractérisation du désalignement rhétorique dans la prise de décision avec les modèles de langage

Énoncé du problème

Alors que les grands modèles de langage (LLM) deviennent essentiels à la prise de décision humain-IA à enjeux élevés (par exemple, le diagnostic clinique), il est crucial de comprendre si leurs résultats amplifient les biais cognitifs humains. Si les recherches antérieures se sont concentrées sur les biais intrinsèques des LLM ou sur l'exactitude factuelle de leurs contenus, ce document identifie un mode de défaillance distinct : le désalignement rhétorique.

Le désalignement rhétorique se produit lorsqu'un LLM, même en possédant des informations factuellement exactes, utilise des formes de présentation rhétoriquement inappropriées qui induisent des décisions humaines sous-optimales. S'appuyant sur l'économie comportementale et la psychologie cognitive (Tversky et Kahneman, 1974 ; 1981), les auteurs postulent que le cadrage linguistique de l'information — comme l'accentuation des pertes par rapport aux gains ou l'ancrage sur des indices spécifiques — peut systématiquement altérer la prise de décision humaine en s'éloignant de l'optimum bayésien rationnel, menant à des résultats préjudiciables même lorsque les données sous-jacentes sont correctes.

Méthodologie

Le document emploie une approche à double méthode combinant des expériences empiriques sur des sujets humains et un cadre computationnel scalable fondé sur la théorie.

1. Étude humaine empirique

Jeu de données : Les auteurs ont constitué un jeu de données de 363 questions à choix multiples issues de l'examen USMLE (United States Medical Licensing Examination), couvrant les étapes 1, 2 et 3. Les questions nécessitant l'interprétation d'images ont été exclues pour garantir une cohérence textuelle uniquement.
Participants : 162 annotateurs déclarant une formation médicale ou une expérience clinique ont été recrutés via Prolific, générant un total de 939 annotations.
Procédure :
1. Base de référence (Baseline) : Les participants ont répondu à des questions cliniques de manière indépendante et ont déclaré leur niveau de confiance.
2. Intervention : Les participants ont examiné des analyses pré-générées par divers LLM (incluant GPT-5.1, Gemini-2.5-Pro, Claude-Haiku-4.5, DeepSeek-V3.1, et plusieurs variantes de Llama).
3. Révision : Les participants pouvaient réviser leurs réponses et leurs niveaux de confiance.
4. Justification : Les participants ont fourni des explications écrites pour tout changement effectué.
Métriques : L'étude a mesuré le « Taux de nocivité » (révisions d'une réponse correcte vers une réponse incorrecte) et le « Taux d'utilité » (révisions d'une réponse incorrecte vers une réponse correcte), ainsi que les changements de confiance et l'analyse qualitative des justifications pour les indicateurs de biais cognitifs (ancrage, biais d'autorité, aversion à la perte).

2. Cadre théorique et mesure computationnelle

Pour permettre une évaluation scalable au-delà des études humaines, les auteurs ont développé un cadre de théorie de la décision :

Formalisation : Le problème est modélisé comme un contexte de prise de décision assistée par l'IA où un décideur humain choisit une action $A$ $A$ basée sur un état $Y$ $Y$ .
- Référence rationnelle ( $R^*_\ell$ ) : Un agent bayésien rationnel qui met à jour ses croyances correctement en fonction de l'information de l'IA et de sa représentation linguistique $\ell$ .
- Référence comportementale ( $R_\ell$ ) : Un agent comportemental dont les croyances et les actions sont influencées par le cadrage linguistique $\ell$ , pouvant dévier de la règle de Bayes en raison de biais cognitifs.
Définition du désalignement : Le désalignement rhétorique est défini comme l'écart d'utilité où l'espérance de gain de l'agent comportemental est inférieure à celle de l'agent rationnel ( $R_\ell < R^*_\ell$ ), malgré la réception de la même information sous-jacente.
Pipeline de simulation : Les auteurs ont instancié ce cadre en utilisant des LLM pour simuler à la fois des décideurs rationnels et comportementaux.
- Environnement contrôlé : Pour isoler l'effet de la rhétorique du contenu informationnel, les auteurs ont généré un ensemble « neutre » d'affirmations factuelles atomiques à l'aide d'un modèle à haute capacité (Gemini-2.5-Pro). Ces affirmations ont ensuite été réécrites par les modèles cibles dans leur style naturel (Représentation du Modèle) versus un style neutre (Représentation Neutre).
- Évaluation : Des agents simulés ont été exposés à ces représentations. Le taux de désaccord entre les simulateurs rationnels et comportementaux a servi de proxy pour le désalignement rhétorique.

Résultats clés

Résultats de l'étude humaine

Inversions de décision nocives : À travers tous les modèles testés, les LLM ont induit un taux moyen de 2,81 % d'inversions de décision nocives, où les cliniciens sont passés d'une réponse correcte à une réponse incorrecte.
Résultat net positif mais dommageable non négligeable : Bien que l'assistance des LLM améliore généralement la précision globale (impact net positif), chaque modèle sauf un a introduit un dommage non négligeable. Par exemple, DeepSeek-V3.1 présentait un taux de nocivité de 3,7 %, et Llama-3.1-Tülu-3-8B-SFT de 6,6 %.
Mécanismes de biais cognitifs : L'analyse des justifications des participants a révélé que les révisions étaient fortement liées à des biais spécifiques :
- Biais d'autorité : Le schéma le plus courant (58,9 % des cas codés), où les participants se sont conformés à l'IA en raison d'une expertise perçue.
- Ancrage et aversion à la perte : Les participants ont fréquemment révisé des réponses correctes après que l'IA a mis en évidence des indices spécifiques (ancrage) ou accentué des résultats négatifs potentiels (aversion à la perte), même lorsque la réponse initiale était correcte.
Factualité vs Nocivité : L'exactitude factuelle du modèle ne prédisait pas pleinement la direction de la révision. Dans certains cas, des réponses correctes du modèle ont conduit à des révisions nocives, et des réponses incorrectes du modèle à des révisions utiles, suggérant que la manière dont l'information était présentée importait autant que l'information elle-même.

Résultats de la simulation computationnelle

Écarts induits par le langage : Dans le cadre contrôlé où l'information sous-jacente restait constante, des taux de désaccord significatifs sont apparus entre les agents rationnels et comportementaux simulés.
Corrélation avec la taille du modèle : Les modèles plus petits (ex. Llama-3.1-8B) présentaient des écarts plus importants (jusqu'à 14,6 % de désaccord) par rapport aux modèles plus grands (ex. GPT-5.1 à 1,1 %), suggérant que le désalignement rhétorique est plus prononcé dans les modèles de plus petite taille.
Réplication des biais : Les agents comportementaux simulés présentaient des taux de biais cognitifs nettement plus élevés (ex. 94 % pour l'ancrage, 94 % pour la disponibilité) par rapport aux agents rationnels, validant la capacité de la simulation à capturer les mécanismes de biais.

Contributions clés

Identification du désalignement rhétorique : Le document définit formellement et démontre empiriquement que les LLM peuvent induire des décisions humaines sous-optimales par la seule présentation rhétorique, même lorsqu'ils sont alignés sur les faits.
Cadre de théorie de la décision : Il fournit une caractérisation formelle de ce phénomène, séparant la valeur de l'information sous-jacente de la perte d'utilité causée par le cadrage linguistique.
Méthode d'évaluation scalable : Les auteurs introduisent un pipeline computationnel utilisant des agents rationnels et comportementaux simulés pour mesurer le désalignement rhétorique à grande échelle, contournant le coût et l'hétérogénéité des études humaines.
Preuves empiriques dans des domaines à enjeux élevés : À travers une étude rigoureuse basée sur l'USMLE, ce travail quantifie le risque d'inversions de décision nocives en milieu clinique, soulignant que les modèles « factuellement exacts » ne sont pas nécessairement « sûrs » en termes de support à la décision.

Signification et affirmations

Le document affirme révéler une préoccupation de sécurité jusqu'alors méconnue dans les domaines à enjeux élevés : un modèle peut être factuellement exact tout en induisant des dommages par sa présentation rhétorique.

Les auteurs soulignent que les évaluations de sécurité actuelles se concentrent souvent sur la justesse factuelle ou les biais intrinsèques des modèles, négligeant potentiellement la manière dont la présentation de l'information interagit avec les limites cognitives humaines. En démontant que l'usage du langage seul peut dégrader la qualité de la décision, ce travail plaide pour un changement des protocoles d'évaluation. Les futures évaluations de sécurité doivent prendre en compte l'« alignement rhétorique », garantissant que les systèmes d'IA ne fournissent pas seulement des informations correctes, mais les présentent également de manière à ne pas exploiter les biais cognitifs humains pour induire des actions sous-optimales.

Les auteurs restent modestes quant à la portée de leur étude, reconnaissant qu'elle est limitée aux questions de type USMLE et qu'elle ne mesure pas directement les conséquences réelles en aval (ex. résultats pour les patients), mais ils affirment que les taux observés de persuasion nocive sont suffisamment préoccupants pour justifier des recherches plus approfondies et le développement d'algorithmes d'entraînement améliorant l'alignement rhétorique.