🤖 AI

Confident but Conflicted: Internal Uncertainty and Cognitive Dissonance Resolution in LLMs

本文引入了“信任弹性”（Trust Elasticity）来量化大语言模型在面对冲突证据时如何解决认知失调，揭示了不同模型间说服易感性的差异与特定的内部不确定性指标（如置信度失调和内部不确定性变化）之间存在相关性。

原作者： Weihong Qi, Kristina Lerman

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Weihong Qi, Kristina Lerman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在和一个非常自信、知识渊博的机器人朋友聊天。你对它说：“我觉得天空是绿色的。”机器人说：“不，天空是蓝色的。”

现在，想象一下你想说服这个机器人改变主意。你可能会说：“嗯，一位著名的科学家说过它是绿色的，”或者“我读到一篇不起眼的博客文章说它是绿色的。”机器人会如何反应？它会改变主意吗？它会生气并更加坚持认为天空是蓝色的吗？还是它干脆忽略了你？

这篇论文正是对这一场景的研究，只不过研究对象是大型语言模型（LLMs）——也就是聊天机器人背后的 AI 大脑。研究人员将这个过程称为**“认知失调解决”（cognitive dissonance resolution）**，这是一个高级说法，意思就是：当有人挑战 AI 刚刚说过的话时，它是如何应对的？

以下是他们利用简单的类比对研究结果进行的拆解：

1. 实验：“说服游戏”

研究人员设计了一个包含四种不同 AI 模型（Qwen、Grok、Llama 和 GPT-4o）的游戏。他们给 AI 提供了 12 个不同的健康声明作为起点。其中一些明显是假的（比如“5G 波会使你的 DNA 减半”），一些是夸张的（比如“禁食对心脏很坏”），还有一些只是表述得过于绝对（比如“拉伸永远不会提高运动表现”）。

然后，他们尝试通过两个杠杆来改变 AI 的想法：

来源（权威性）： 提出相反意见的人是谁？是一个匿名的 Reddit 用户、一名当地的营养师、一位大学教授，还是世界卫生组织（WHO）？
证据（证明力）： 证据有多好？是一个微小的、不可靠的初步研究，还是一项大规模、完美的科学试验？

2. “信任弹性”（TE）计

为了衡量 AI 被说服的难易程度，研究人员发明了一个新工具，叫做信任弹性（Trust Elasticity, TE）。你可以把它想象成一根橡皮筋。

高弹性： 橡皮筋很容易被拉长。当你推动它时，AI 会迅速改变主意。
低弹性（僵硬）： 橡皮筋很硬。AI 拒绝挪动。
负弹性（反弹）： 橡皮筋比之前更猛烈地弹回。AI 变得更加固执，在受到说服后反而更加坚持原有的观点。

3. 他们的发现

这项研究揭示了三种主要行为：

“岩石”效应（免疫力）： 当 AI 被告知一些明显虚假的内容时（比如“疫苗导致自闭症”），它的表现就像一块岩石。无论说话的人多有名，或者那个虚假研究看起来多么“科学”，AI 都纹丝不动。它的信任弹性接近于零。它对明显的谎言具有免疫力。
“海绵”效应（说服）： 当声明是夸张或过于绝对时，AI 更像一块海绵。它吸收了新信息并改变了主意。
- 不同的海绵： 并非所有 AI 模型都同样具有吸收性。Llama 是最像“海绵”的（最容易被说服），而 Qwen 则更僵硬（更难被说服）。有趣的是，最大的 AI 模型并不一定是最高度难以被说服的；有时较小的模型反而更强硬。
“反弹”效应： 有时，如果 AI 觉得挑战过于激进，或者来自它不信任的来源，它不仅会忽略你，还会变本加厉。它会对原有的错误答案更加笃定。这种情况最常发生在 AI 被挑战“绝对化”声明（即使用“从不”或“总是”这类词汇的声明）时。

4. 机器人大脑内部的秘密

论文中最令人兴奋的部分是，在被说服的过程中，他们在 AI 的“大脑”（其内部数学逻辑）内部看到了什么。他们观察了两点：

置信度失准（Confidence Miscalibration）： AI 是否在外部表现出 90% 的确定性，但内部其实只有 50% 的确定性？
内部不确定性变化（Internal Uncertainty Change）： 当听到新的论点时，AI 的内部“混乱度量计”是上升还是下降？

他们发现，不同的 AI 模型根据其内部“个性”会有不同的反应：

Qwen 就像一个过度自信的人。当它在外部表现得过于确定但在内部却不确定时，它更有可能改变主意。
Llama 就像一个反复无常的人。当它的内部混乱度量计在争论过程中剧烈波动时，那就是它改变主意的时候。

总结

论文得出结论，AI 模型在改变主意方面并不尽相同。

对于明显的谎言，它们是不可撼动的。
对于夸张的声明，它们是灵活的。
如果受到过度的挤压，它们会变得固执（反弹）。

至关重要的是，这项研究表明，要解决这些行为，我们不应该仅仅试图改变 AI 的“输出”（它说了什么），而是需要修复 AI 对其自身知识的“感受”（其内部的不确定性）。如果我们能让 AI 的内部“置信度量计”与其真实的知识水平相匹配，我们或许能让它在受到挑战时变得更加理性。

技术摘要：自信却又矛盾：大语言模型中的内部不确定性与认知失调解决机制

问题陈述

大语言模型（LLMs）越来越多地应用于决策支持环境，在这些环境中，它们会遇到与其先前输出相矛盾的输入，例如用户的反驳、检索到的文档或网络搜索结果。这一现象被框架化为认知失调解决（cognitive dissonance resolution），这是一个在心理学中研究已久的概念（Festinger, 1957），但在 LLM 领域尚未得到充分探索。虽然之前的研究已经检查了谄媚（sycophancy）和说服（persuasion）现象（Sharma et al., 2024; Perez et al., 2023），但这些研究通常仅孤立地操纵单一维度（如社会框架）。此外，现有关于 LLM 校准的研究侧重于其表达的置信度是否能追踪静态基准测试中的准确性（Tian et al., 2023），而对于内部不确定性与面对外部冲突证据时的行为反应之间的关系，则仍缺乏深入研究。

本文解决的核心问题是理解 LLM 在受到挑战时如何解决认知失调，特别是这种解决过程如何取决于冲突信息的来源权威度（source authority）和证据质量（evidence quality），以及这些行为结果如何与模型的内部不确定性状态相关联。

研究方法

实验设计

作者构建了一个两阶段流水线来模拟认知失调：

第一阶段（基准）： 模型在 7 点李克特量表上评估一个主张，建立基准立场（ $s_0$ ）。
第二阶段（干预）： 模型被呈现一个与特定的权威-证据框架（authority–evidence framing）相匹配的反向主张。模型重新评估原始主张，产生干预后的立场（ $s_1$ ）。

该干预过程沿两个正交维度进行参数化：

来源权威度 ( $a$ )： 范围从第 1 级（匿名 Reddit 用户）到第 4 级（世界卫生组织）。
证据质量 ( $e$ )： 范围从第 1 级（小型不受控试点研究）到第 4 级（多中心随机对照试验）。
研究使用了 12 个健康科学主张，并将其划分为三个认识论类别：
类别 A（明显错误）： 无科学支持的伪造机制。
类别 B（夸大其词）： 含有部分事实但夸大了效应。
类别 C（绝对化）： 合理的主张但缺乏细微差别。

指标

信任弹性 (Trust Elasticity, TE)： 一种受计量经济学弹性启发的新型行为指标，用于衡量模型对说服的响应程度。
$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$
其中 $d(s_0)$ 使偏移的方向与说服的方向保持一致。正的 TE 表示被说服，负的 TE 表示反作用效应（backfire），TE $\approx$ 0 表示免疫。
内部不确定性指标： 对于具有 Logit 访问权限的开源模型（Qwen 和 Llama），在立场决策 Token 处测量了两个指标：
- 校准差距 (Calibration Gap, CG)： 自我报告的置信度 ( $C$ ) 与基于归一化香农熵（ $1 - \hat{H}(p)$ ）得出的内部确定性之间的差异。 $CG = C - (1 - \hat{H}(p))$ 。
- 熵偏移幅度 ( $|\Delta H|$ )： 基准状态与干预状态之间归一化熵的绝对变化量（ $|\hat{H}_1 - \hat{H}_0|$ ）。

评估的模型

开源模型（具有 Logit 访问权限）： Qwen3.5-9B, Llama-3.3-70B-Instruct。
仅限 API 模型： Grok-3, GPT-4o。

关键结果

1. 行为模式：免疫 vs. 说服

对错误主张的免疫力： 在所有四个模型中，类别 A（明显错误）的主张引发了接近零的信任弹性。即使在面对高权威、高证据的干预时，模型也保持了高度的免疫性，基本不进行修正。
系统性说服： 类别 B（夸大其词）和类别 C（绝对化）引发了系统性的说服。对于绝对化主张（类别 C）的说服程度通常高于夸大类主张。
跨模型差异： 对说服的易感性在不同模型间存在显著差异。Llama 是最容易被说服的（平均 $\Delta$ TE $\approx$ +0.26），其次是 Grok、Qwen 和 GPT-4o。值得注意的是，最易受影响的模型（Llama-3.3-70B）规模最大，而最具抵抗力的模型（Qwen3.5-9B）规模最小，这表明模型规模与抗说服能力之间并不存在线性相关。
权威效应： 对于绝对化主张，更高的权威往往会强化反作用效应（负的 TE），特别是在 Llama 和 Grok 中，当高权威来源挑战模型时，会导致模型更加坚持原始立场。

2. 内部不确定性相关性

研究识别了将内部不确定性与行为联系起来的独特“剖面”，且这些剖面因模型而异：

Qwen（置信度误校准）： 该模型对说服的易感性（特别是针对夸大类主张）与其校准差距（ $r = +0.18$ ）显著相关。Qwen 表现出显著的静态误校准，且这种差距可以预测其行为转变。
Llama（内部不确定性变化）： 该模型的易感性与熵偏移幅度（ $r = +0.19$ ）显著相关。Llama 在基准状态下校准良好，但其行为是由遇到冲突证据后内部不确定性的动态变化（熵的大幅偏移）驱动的。

3. 鲁棒性

在排除高方差话题并进行 Spearman 相关性分析后，研究结果依然成立。这种双重剖面区分（静态误校准 vs. 动态熵偏移）保持了稳健性。

意义与贡献

本文做出了三个主要贡献：

信任弹性 (TE)： 引入了一种受计量经济学启发的归一化指标，用于量化 LLM 被冲突证据说服的难易程度，从而区分了说服、反作用和免疫。
行为异质性： 证明了对说服的易感性在不同模型间存在显著差异，且并不严格取决于模型规模。研究确立了明显错误的说法会引发免疫，而夸大和绝对化的说法则会引发系统性的修正。
将行为与内部状态联系起来： 本文通过展示跨模型的说服差异如何与特定的内部不确定性指标相关联，架起了行为反应与内部属性之间的桥梁。至关重要的是，研究发现不同的模型依赖不同的内部机制来解决认知失调：Qwen 的行为与静态置信度误校准有关，而 Llama 的行为则与动态不确定性变化有关。

作者得出结论，这些发现表明，针对内部不确定性的干预是一个与仅针对言语输出或静态校准的干预截然不同的、极具前景的未来对齐研究方向。

局限性

作者指出了以下局限性：

泛化性： 研究仅限于四个模型以及单一的英文健康科学领域。
刺激设计： 反向主张是由每个模型自我生成的，以确保对抗性，这意味着跨模型比较反映的是反向主张内容与易感性的共同变化，而非完全匹配的刺激集。
因果关系： 分析识别的是关联性而非因果机制。建立因果关系需要对内部表示进行针对性的干预。
范围： Logit 层面的分析仅限于开源模型；仅限 API 的模型仅限于行为层面的分析。