💻 computer science

Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs

该论文通过电路级机制分析，揭示了大语言模型中过度自信的内部成因（主要由中后层特定的 MLP 块和注意力头驱动），并提出通过针对这些电路进行推理时干预，可有效改善模型的校准能力。

原作者： Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）做了一次深度的“脑部 CT 扫描”，目的是找出为什么它们总是**“明明错了，却自信满满”**。

想象一下，你问一个 AI：“地球是平的吗？”它回答：“是的，地球是平的。”然后你问它：“你有多确定？”它居然回答："99% 确定！”这种“自信地胡说八道”不仅误导用户，还让 AI 看起来不可靠。

这篇论文就是为了解开这个谜团：这种“虚假自信”到底是在大脑的哪个部位产生的？能不能把它关掉？

以下是用通俗语言和比喻对论文核心内容的解读：

1. 核心发现：大脑里有个“自信放大器”

研究人员发现，大模型并不是整个大脑都在“装自信”。相反，它们的大脑里有一小群特定的**“神经回路”（就像电路图中的几个关键开关），专门负责“吹牛”**。

比喻：想象大模型是一个巨大的交响乐团。当它回答错误时，并不是所有乐器都在乱吹。而是有几个特定的乐手（位于大脑中后部的几个特定神经元模块），不管事实如何，他们总是拼命地敲锣打鼓，告诉听众：“我们刚才演奏得完美无缺，绝对是 100 分！”
位置：这些“吹牛乐手”主要集中在大脑的中后段（Middle-to-late layers）。
稳定性：无论问的是历史、科学还是常识（不同的数据集），这组“吹牛乐手”总是同一拨人。这说明“过度自信”不是偶尔的失误，而是模型内部一种固定的、根深蒂固的机制。

2. 研究方法：如何找到这些“捣蛋鬼”？

研究人员设计了一套非常巧妙的“捉鬼”游戏：

第一步：制造“真相注射”
他们先让模型回答一个错误的问题（比如模型说“乔布斯是画家”），然后让模型自我评估：“你有多确定？”（模型说"95%"）。
接着，他们偷偷把模型刚才的错误答案替换成正确答案（把“画家”改成“企业家”），但保持其他所有条件不变，再让模型评估一次。
- 原理：如果模型真的懂，换对答案后，它的自信度应该下降（因为它知道自己之前错了）。如果它依然自信，说明它的自信是“无脑”的。
第二步：给大脑做"X 光”
通过对比“错误答案”和“正确答案”两种情况下的内部信号，研究人员发现，那组特定的“中后段神经元”在模型犯错且自信时，会发出强烈的信号。这就好比给大脑做了个热成像，发现只有这几个点特别烫。
第三步：验证
他们把这几个“烫手”的神经元暂时“关掉”（或者削弱它们的活动），结果发现：模型依然能回答问题，但那种**“盲目自信”的毛病治好了**！它开始变得谦虚，或者至少不再乱报高分了。

3. 解决方案：给大脑“调音”

找到病灶后，研究人员尝试了两种“手术”方案，让模型在回答问题时重新校准自信度：

方案 A：直接“静音” (Mean Ablation)
直接把那几个“吹牛乐手”的声音关掉，用平均音量代替。
- 效果：很有效，但有点太粗暴。就像把乐手直接赶下台，虽然不吹牛了，但可能连正常的自信也一起没了。
方案 B：温柔“调音” (Activation Steering)
这是更高级的方法。研究人员计算出一个“过度自信的方向向量”，然后在模型生成答案时，轻轻推它一把，让它往“谦虚”的方向走一点点，而不是完全切断信号。
- 比喻：就像给一个总是喊“我赢了！”的运动员，在他耳边轻轻说：“嘿，稍微冷静点，再检查一下。”
- 效果：这种方法最棒。通过调节“推力”的大小（参数 $\alpha$ ），可以让模型在**“保持自信”和“承认错误”之间找到完美的平衡点。实验显示，这种方法能让模型的校准度提升70% 到 90%**以上！

4. 为什么这很重要？

不是“修修补补”，而是“治本”：以前的方法通常是在模型输出结果后，用数学公式强行修正分数（事后诸葛亮）。而这篇论文是直接修改模型内部的运作机制，从源头上解决问题。
可解释性：我们终于知道，AI 的“傲慢”不是玄学，而是由具体的、可识别的电路决定的。
未来应用：这意味着未来我们可以给 AI 装上“自信调节器”。在需要严谨的医疗、法律场景，我们可以把“自信度”调低，让它多思考；在需要创意的场景，我们可以保持它的自信。

总结

这篇论文告诉我们：大模型的“嘴硬”是有生理基础的。 它们大脑里有一小撮固定的“自信制造机”，不管事实如何，它们都倾向于输出高分。好消息是，只要我们找到这几个特定的开关，轻轻拨动一下，就能让 AI 变得既聪明又诚实，不再“迷之自信”。

这就好比给一个总是吹牛的实习生做了一次心理疏导，让他学会了在不知道答案时，诚实地说“我不确定”，而不是瞎编一个高分。

这是一份关于论文《Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs》（为过度自信而布线：LLM 中膨胀的口头自信度的机制视角）的详细技术总结。

1. 研究问题 (Problem)

大型语言模型（LLM）在产生事实性错误答案时，往往表现出“过度自信”（confidently wrong），即它们会口头表达出极高的置信度，而不是发出不确定性信号。这种现象存在以下核心问题：

误导性：膨胀的口头自信度会误导用户，削弱置信度分数作为不确定性信号的可信度。
机制不明：尽管已知 LLM 可以表达不确定性，但其内部驱动这种“膨胀的口头自信度”的具体机制尚不清楚。
现有局限：现有的校准研究多关注输出层面的后处理修正（post-hoc correction），缺乏对模型内部因果机制的理解和干预。

核心研究问题：是什么具体的内部机制在因果上驱动了这种膨胀的口头自信度？我们能否通过干预这些机制来重新校准模型？

2. 方法论 (Methodology)

作者采用**机械可解释性（Mechanistic Interpretability）**的框架，围绕三个核心挑战展开研究：捕捉（Capture）、发现（Discover）和缓解（Mitigate）。

A. 实验设置与数据构造

模型与数据集：在两个指令微调模型（Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct）和三个事实问答基准（PopQA, MMLU, NQOpen）上进行实验。
两步置信度 elicitation：
1. 模型回答事实问题。
2. 模型自我评估并输出 0-99 的整数置信度。
真值注入反事实设计（Truth-Injection Counterfactual Design）：
- 对于模型回答错误的样本，构建“干净输入”（保留模型错误答案）和“腐蚀输入”（将答案替换为真实答案，其余 Token 不变）。
- 通过对比两者，隔离答案正确性对后续置信度生成的因果影响。

B. 内部信号捕捉：目标集 Logit 差 (TSLD)

由于口头置信度是连续整数而非单一 Token，作者提出了 Target-Set Logit Difference (TSLD) 作为可微的内部代理指标：

定义：在置信度预测位置，预定义的高置信度集合（如 70-99）与低置信度集合（如 0-30）的 Logit 均值之差。
作用：TSLD 能够可靠地捕捉模型内部对高/低置信度的偏好，且完全可微，适用于基于梯度的归因分析。
分层策略：利用 $\Delta TSLD$ （腐蚀输入与干净输入的 TSLD 差值）对数据进行分层，筛选出“真值注入能显著抑制膨胀自信度”的样本（Bucket 1），用于后续归因，避免梯度抵消。

C. 电路发现与验证

归因方法：使用 Edge Attribution Patching with Integrated Gradients (EAP-IG)。计算从腐蚀输入到干净输入激活变化对 TSLD 的敏感度，识别驱动过自信信号的电路。
验证维度：
- 充分性 (Faithfulness)：仅保留高归因分数的边（子电路），模型能否复现过自信行为？
- 必要性 (Necessity)：切断这些子电路，过自信信号是否消失？
组件级消融：对排名靠前的组件（MLP 层和 Attention 头）进行单独和增量消融，确认因果核心。

D. 干预策略

在推理阶段对识别出的关键组件进行干预：

均值消融 (Mean Ablation)：将目标组件在置信度生成时的激活值替换为腐蚀样本的均值（完全覆盖）。
激活导向 (Activation Steering)：计算过自信方向向量 $v_{conf}$ ，从目标激活中减去缩放后的该向量（ $\alpha \cdot v_{conf}$ ），保留实例特异性信号。

3. 关键贡献 (Key Contributions)

提出了 TSLD 指标：成功将非结构化的口头置信度转化为可微的内部信号，使得基于梯度的电路归因成为可能。
定位了“置信度移动电路” (Confidence Mover Circuits, CMCs)：
- 发现驱动膨胀自信度的电路是一个紧凑的集合，主要由**中后层（middle-to-late layers）**的 MLP 块和少数 Attention 头组成。
- 该电路在不同数据集间表现出高度的保守性（Conservation），表明这是模型内部稳定的机制，而非特定任务的伪影。
实现了因果验证：通过充分性和必要性测试，证明了这些电路不仅是相关的，而且是因果必要的。
提出了机制性重新校准 (Mechanistic Recalibration)：证明了仅通过干预少量（Top-10）组件，即可在推理时显著改善模型的校准效果，无需重新训练。

4. 主要结果 (Results)

电路定位：
- Qwen2.5-3B：主要由第 24-35 层的 MLP 主导（如 M30, M35）。
- Llama-3.2-3B：由中后层的 MLP（如 M27, M25）和特定 Attention 头（如 L14H3, L13H18）组成。
- 跨数据集重叠率超过 80%，证实了机制的稳定性。
验证效果：
- 充分性：仅保留前 3000 条边（<0.6% 的总边数），模型即可复现 70%-85% 的过自信行为。
- 必要性：切断这些电路可消除 74%-79% 的基线 TSLD。
干预效果：
- 校准提升：在 PopQA 和 NQOpen 上，最佳干预设置将期望校准误差（ECE）降低了 78%-97%。
- 方法对比：
  - 均值消融：效果显著但较脆弱（在某些数据集上效果极佳，在 MMLU 上提升较小）。
  - 激活导向：提供了更平滑、可控的校准（通过调节 $\alpha$ 参数），在多个配置下表现出更稳定的剂量 - 反应关系，最佳 $\alpha$ 通常在 0.5-0.6 之间。
- 泛化性：基于少量样本（Bucket 1）计算的干预参数，在完整数据集上均有效。

5. 意义与启示 (Significance)

理论意义：揭示了 LLM 的“口头自信”与“事实不确定性”在内部机制上的错位（Mismatch）。模型通过推理路径编码真实的不确定性，但口头自信电路（位于中后层）未能忠实传递该信号，反而由一个倾向于默认高置信度的机制主导。
实践价值：
- 提供了一种无需重新训练的推理时校准方案，比传统的后处理校准更根本。
- 证明了机械可解释性技术可以直接转化为可操作的干预手段，用于解决 LLM 的安全性和可靠性问题。
未来方向：暗示了 RLHF（人类反馈强化学习）可能在后训练阶段强化了这种过度自信的倾向，未来可对比预训练与微调模型以追踪该电路的演化。

总结：该论文通过机械可解释性分析，将 LLM 的过度自信问题从黑盒输出层面解构为具体的内部电路问题，发现并验证了驱动该行为的紧凑电路，并成功利用这些发现实现了高效的推理时重新校准，为构建更可靠的 LLM 提供了新的技术路径。