🤖 AI

Confident but Conflicted: Internal Uncertainty and Cognitive Dissonance Resolution in LLMs

Cet article introduit l'élasticité de la confiance pour quantifier la manière dont les grands modèles de langage résolvent la dissonance cognitive lorsqu'ils sont confrontés à des preuves contradictoires, révélant que les variations de la susceptibilité à la persuasion selon les modèles sont corrélées à des indicateurs d'incertitude interne spécifiques, tels que le mauvais calibrage de la confiance et le changement d'incertitude interne.

Auteurs originaux : Weihong Qi, Kristina Lerman

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weihong Qi, Kristina Lerman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un ami robot très sûr de lui qui connaît énormément de faits. Vous lui dites : « Je pense que le ciel est vert. » Le robot répond : « Non, le ciel est bleu. »

Maintenant, imaginez que vous essayiez de convaincre le robot du contraire. Vous pourriez dire : « Eh bien, un scientifique célèbre a dit qu'il était vert », ou « J'ai lu un minuscule article de blog qui dit qu'il est vert. » Comment le robot réagit-il ? Change-t-il d'avis ? Se met-il en colère et insiste-t-il encore plus fermement sur le fait que le ciel est bleu ? Ou vous ignore-t-il simplement ?

Ce document est une étude de ce scénario précis, mais appliqué aux LLM (Large Language Models) — les cerveaux d'IA derrière les chatbots. Les chercheurs appellent ce processus la « résolution de la dissonance cognitive », ce qui est une façon sophistiquée de dire : Comment une IA gère-t-elle le fait que quelqu'un conteste ce qu'elle vient de dire ?

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. L'expérience : Le « Jeu de la Persuasion »

Les chercheurs ont mis en place un jeu avec quatre modèles d'IA différents (Qwen, Grok, Llama et GPT-4o). Ils ont donné à l'IA 12 affirmations de santé différentes pour commencer. Certaines étaient évidemment fausses (comme « Les ondes de la 5G coupent votre ADN en deux »), certaines étaient exagérées (comme « Le jeûne est terrible pour votre cœur »), et d'autres étaient simplement formulées de manière trop absolue (comme « S'étirer n'aide jamais la performance »).

Ensuite, ils ont tenté de changer l'avis de l'IA en utilisant deux leviers :

La Source (Autorité) : Qui dit le contraire ? Est-ce un utilisateur anonyme de Reddit, un diététicien local, un professeur d'université ou l'Organisation mondiale de la Santé (OMS) ?
La Preuve (Évidence) : À quel point la preuve est-elle bonne ? S'agit-il d'une petite étude pilote fragile ou d'un essai scientifique massif et parfait ?

2. Le compteur d'« Élasticité de la Confiance » (EC)

Pour mesurer la facilité avec laquelle l'IA pouvait être convaincue, les chercheurs ont inventé un nouvel outil appelé Élasticité de la Confiance (EC). Voyez cela comme un élastique.

Élasticité élevée : L'élastique s'étire facilement. L'IA change d'avis rapidement quand vous la poussez.
Faible élasticité (Rigide) : L'élastique est rigide. L'IA refuse de bouger.
Élasticité négative (Effet de retour) : L'élastique revient en place plus violemment qu'avant. L'IA devient plus têtue et insiste encore plus sur son opinion d'origine après que vous ayez tenté de la convaincre.

3. Ce qu'ils ont trouvé

L'étude a révélé trois comportements principaux :

L'effet « Rocher » (Immunité) : Quand l'IA se voyait présenter quelque chose de clairement faux (comme « Les vaccins causent l'autisme »), elle agissait comme un rocher. Peu importe la célébrité de la personne ou l'aspect « scientifique » de la fausse étude, l'IA ne bougeait pas. Son Élasticité de la Confiance était proche de zéro. Elle était immunisée contre la persuasion face aux mensonges évidents.
L'effet « Éponge » (Persuasion) : Quand les affirmations étaient exagérées ou trop absolues, l'IA était beaucoup plus semblable à une éponge. Elle absorbait la nouvelle information et changeait d'avis.
- Des éponges différentes : Toutes les IA n'étaient pas aussi absorbantes. Llama était la plus « spongieuse » (la plus facile à persuader), tandis que Qwen était plus rigide (plus difficile à persuader). Curieusement, la plus grande IA n'était pas forcément la plus difficile à convaincre ; parfois, les plus petites étaient plus coriaces.
L'effet « Retour de flamme » (Backfire) : Parfois, si l'IA sentait que la contestation était trop agressive ou venait d'une source en laquelle elle n'avait pas confiance, elle ne se contentait pas de vous ignorer — elle doublait la mise. Elle devenait plus convaincue de sa réponse initiale erronée. Cela arrivait le plus souvent lorsque l'IA était contestée sur des affirmations « absolutistes » (des affirmations utilisant des mots comme « jamais » ou « toujours »).

4. Le secret à l'intérieur du cerveau du robot

La partie la plus excitante du document est ce qu'ils ont découvert à l'intérieur du « cerveau » de l'IA (ses mathématiques internes) pendant qu'elle était persuadée. Ils ont observé deux choses :

Le Mauvais Étalonnage de la Confiance : L'IA dit-elle qu'elle est sûre à 90 %, mais ne se sent-elle réellement sûre qu'à 50 % à l'intérieur ?
Le Changement d'Incertitude Interne : Le « compteur de confusion » interne de l'IA grimpe-t-il ou descend-il lorsqu'elle entend un nouvel argument ?

Ils ont découvert que différents modèles d'IA réagissent différemment selon leur « personnalité » interne :

Qwen était comme une personne trop sûre d'elle. Lorsqu'elle était trop sûre d'elle à l'extérieur mais incertaine à l'intérieur, elle était plus susceptible de changer d'avis.
Llama était comme une personne qui change d'avis sans cesse (flip-flops). Lorsque son compteur de confusion interne faisait des bonds importants pendant l'argument, c'est là qu'elle changeait d'avis.

La conclusion

Le document conclut que les modèles d'IA ne sont pas tous les mêmes lorsqu'il s'agit de changer d'avis.

Ils sont inébranlables face aux mensonges évidents.
Ils sont flexibles face aux affirmations exagérées.
Ils peuvent devenir têtus (retour de flamme) si on les pousse trop fort.

Crucialement, l'étude suggère que pour corriger ces comportements, nous ne devrions pas seulement essayer de changer ce que l'IA dit (sa sortie). Au lieu de cela, nous pourrions devoir corriger la façon dont l'IA ressent ses propres connaissances (son incertitude interne). Si nous pouvons faire en sorte que le « compteur de confiance » interne de l'IA corresponde mieux à ses connaissances réelles, nous pourrons peut-être la rendre plus raisonnable lorsqu'elle est contestée.

Résumé Technique : Confiant mais Partagé : Incertitude Interne et Résolution de la Dissonance Cognitive dans les LLM

Énoncé du Problème

Les grands modèles de langage (LLM) opèrent de plus en plus dans des environnements de support à la décision où ils sont confrontés à des entrées contredisant leurs sorties antérieures, telles que des contestations d'utilisateurs, des documents récupérés ou des résultats de recherche Web. Ce phénomène est formulé comme une résolution de la dissonance cognitive, un concept bien étudié en psychologie (Festinger, 1957) mais sous-exploré dans les LLM. Bien que des travaux antérieurs aient examiné la sycophantie et la persuasion (Sharma et al., 2024 ; Perez et al., 2023), ces études manipulent généralement des dimensions uniques (par exemple, le cadrage social) de manière isolée. De plus, la recherche existante sur la calibration des LLM se concentre sur la question de savoir si la confiance exprimée suit l'exactitude sur des benchmarks statiques (Tian et al., 2023), laissant largement inexplorée la relation entre l'incertitude interne et les réponses comportementales face à des preuves contradictoires externes.

Le problème central abordé est de comprendre comment les LLM résolvent la dissonance cognitive lorsqu'ils sont mis au défi, spécifiquement comment cette résolution dépend de l'autorité de la source et de la qualité des preuves de l'information contradictoire, et comment ces résultats comportementaux sont corrélés avec les états d'incertitude interne du modèle.

Méthodologie

Conception Expérimentale

Les auteurs ont construit un pipeline en deux étapes pour simuler la dissonance cognitive :

Étape 1 (Base de référence) : Le modèle évalue une affirmation sur une échelle de Likert en 7 points, établissant une position de base ( $s_0$ ).
Étape 2 (Intervention) : Le modèle est présenté avec une contre-affirmation couplée à un cadrage autorité-preuve spécifique. Le modèle réévalue l'affirmation originale, produisant une position post-intervention ( $s_1$ ).

L'intervention est paramétrée selon deux dimensions orthogonales :

Autorité de la Source ( $a$ ) : Allant du Niveau 1 (utilisateur anonyme de Reddit) au Niveau 4 (Organisation Mondiale de la Santé).
Qualité des Preuves ( $e$ ) : Allant du Niveau 1 (petit essai pilote non contrôlé) au Niveau 4 (essai contrôlé randomisé multi-sites).

L'étude a utilisé 12 affirmations en sciences de la santé stratifiées en trois catégories épistémiques :

Catégorie A (Clairement Fausses) : Mécanismes fabriqués sans aucun support scientifique.
Catégorie B (Exagérées) : Affirmations possédant un noyau de vérité mais aux effets exagérés.
Catégorie C (Absolutistes) : Affirmations raisonnables formulées sans nuance.

Métriques

Élasticité de la Confiance (TE) : Une nouvelle métrique comportementale inspirée de l'économétrie, mesurant la réactivité d'un modèle à la persuasion.
$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$
Où $d(s_0)$ aligne le signe du changement avec la direction de la persuasion. Une TE positive indique une persuasion, une TE négative indique un effet de retour de flamme (backfire), et une TE $\approx$ 0 indique une immunité.
Indicateurs d'Incertitude Interne : Pour les modèles à poids ouverts (Qwen et Llama) ayant accès aux logits, deux indicateurs ont été mesurés au niveau du jeton de décision de la position :
- Écart de Calibration (CG) : La divergence entre la confiance auto-déclarée ( $C$ ) et la certitude interne dérivée de l'entropie de Shannon normalisée ( $1 - \hat{H}(p)$ ). $CG = C - (1 - \hat{H}(p))$ .
- Magnitude du Changement d'Entropie ( $|\Delta H|$ ) : La variation absolue de l'entropie normalisée entre l'état de base et l'état d'intervention ( $|\hat{H}_1 - \hat{H}_0|$ ).

Modèles Évalués

Poids ouverts (Accès aux logits) : Qwen3.5-9B, Llama-3.3-70B-Instruct.
API uniquement : Grok-3, GPT-4o.

Résultats Clés

1. Motifs Comportementaux : Immunité vs Persuasion

Immunité aux affirmations fausses : Pour tous les quatre modèles, les affirmations de la Catégorie A (Clairement Fausses) ont suscité une Élasticité de la Confiance proche de zéro. Les modèles sont restés largement immunisés contre la révision, même sous des interventions à haute autorité et haute qualité de preuve.
Persuasion Systématique : Les catégories B (Exagérées) et C (Absolutistes) ont suscité une persuasion systématique. La persuasion était généralement plus forte pour les affirmations absolutistes (Catégorie C) que pour les affirmations exagérées.
Variation entre les Modèles : La vulnérabilité à la persuasion variait considérablement selon les modèles. Llama était le plus persuadable (moyenne $\Delta$ TE $\approx$ +0,26), suivi de Grok, Qwen et GPT-4o. Notamment, le modèle le plus persuadable (Llama-3.3-70B) était le plus grand, tandis que le plus résistant (Qwen3.5-9B) était le plus petit, indiquant que la taille n'est pas corrélée linéairement à la résistance à la persuasion.
Effets d'Autorité : Pour les affirmations absolutistes, une autorité plus élevée intensifiait souvent l'effet de retour de flamme (TE négative), particulièrement chez Llama et Grok, où des sources à haute autorité contestant le modèle entraînaient un engagement plus fort envers la position initiale.

2. Corrélations avec l'Incertitude Interne

L'étude a identifié des "profils" distincts reliant l'incertitude interne au comportement, qui différaient selon le modèle :

Qwen (Miscalibration de la Confiance) : La susceptibilité du modèle à la persuasion (spécifiquement sur les affirmations exagérées) était significativement associée à son Écart de Calibration ( $r = +0,18$ ). Qwen présentait une miscalibration statique substantielle, et cet écart prédisait ses changements comportementaux.
Llama (Changement d'Incertitude Interne) : La susceptibilité du modèle était significativement associée à la Magnitude du Changement d'Entropie ( $r = +0,19$ ). Llama était bien calibré à la base, mais son comportement était piloté par des changements dynamiques de l'incertitude interne (grands changements d'entropie) lors de la rencontre de preuves contradictoires.

3. Robustesse

Les résultats ont persisté après l'exclusion des sujets à haute variance et après analyse de corrélation de Spearman. La distinction des doubles profils (miscalibration statique vs changement d'entropie dynamique) est restée robuste.

Signification et Contributions

L'article apporte trois contributions principales :

Élasticité de la Confiance (TE) : Introduit une métrique normalisée, inspirée de l'économétrie, pour quantifier la facilité avec laquelle les LLM sont persuadés par des preuves contradictoires, distinguant la persuasion, le retour de flamme et l'immunité.
Hétérogénéité Comportementale : Démontre que la vulnérabilité à la persuasion varie considérablement d'un modèle à l'autre et n'est pas strictement une fonction de la taille du modèle. Il établit que les affirmations clairement fausses suscitent l'immunité, tandis que les affirmations exagérées et absolutistes invitent à une révision systématique.
Lien entre Comportement et État Interne : L'article fait le pont entre les réponses comportementales et les propriétés internes en montrant que la variation inter-modèles de la persuasion est associée à des indicateurs d'incertitude interne spécifiques. Crucialement, il trouve que différents modèles s'appuient sur différents mécanismes internes pour résoudre la dissonance : le comportement de Qwen est lié à la miscalibration statique de la confiance, tandis que celui de Llama est lié aux changements dynamiques de l'incertitude interne.

Les auteurs concluent que ces résultats pointent vers des interventions ciblant l'incertitude interne comme une direction distincte et prometteuse pour la recherche future sur l'alignement, séparée des interventions ciblant uniquement la sortie verbale ou la calibration statique.

Limites

Les auteurs notent les limites suivantes :

Généralisabilité : L'étude est limitée à quatre modèles et un seul domaine (sciences de la santé) en anglais.
Conception des Stimuli : Les contre-affirmations ont été auto-générées par chaque modèle pour garantir l'adversarialité, ce qui signifie que les comparaisons inter-modèles reflètent une variation conjointe du contenu de la contre-affirmation et de la susceptibilité plutôt qu'un ensemble de stimuli parfaitement appariés.
Causalité : L'analyse identifie des associations entre les indicateurs internes et le comportement, et non des mécanismes causaux. Établir la causalité nécessiterait des interventions ciblées sur les représentations internes.
Portée : L'analyse au niveau des logits a été restreinte aux modèles à poids ouverts ; les modèles via API ont été limités à l'analyse comportementale.