💬 NLP

The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models

本文揭示了语言模型中真实性的内部表示形成了一种由类质心定义的简单、低维几何结构，从而能够通过线性探测和激活转向实现对幻觉的高效检测与因果操控。

原作者： Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一个非常聪明、反应极快，且读过几乎所有书籍的机器人交谈。你向它提问，它以完美的语法和绝对的自信进行回答。但有时，机器人也会出错。它可能会告诉你澳大利亚的首都是悉尼（实际上是堪培拉），或者说某位著名的历史人物出生在错误的世纪。可怕的是，当它撒谎时，听起来也和说真话时一样笃定。它不会结巴，不会犹豫，它的“置信度指标”（它内部计算的数值）看起来也完全正常。

长期以来，科学家们一直在思考：即使机器人没有表达出来，它是否也知道自己错了？它的脑海深处是否隐藏着某种秘密信号，在说：“嘿，这个事实是错误的！”？为了理解这一点，我们需要了解这些机器人是如何工作的。它们并不像人类那样思考；它们处理信息的方式是被称为“激活值”的巨大数字云。随着机器人的阅读和思考，这些数字流经一个数字网络的各个层级。科学家们发现，这些数字云并非随机生成的；它们具有形状和结构。有时，真事实与假事实之间的区别并不是复杂、混乱的模式，而是在这个数字空间中一条简单的直线。大问题在于：我们能否找到这条线，并在机器人说完句子之前就抓住它撒谎？

这正是论文《置信流形》（The Confidence Manifold）所要探索的内容。由 Seonglae Cho 及其同事领导的研究团队决定观察 11 个不同语言模型的“大脑”，这些模型的规模从拥有 1.24 亿参数的小型模型到拥有 140 亿参数的庞然大物不等。他们想要绘制出“正确性的几何学”——即机器人大脑中真理所存在的特定形状和位置。

把机器人的大脑想象成一个巨大的、多维的房间。每当机器人思考一个句子时，它都会在这个房间里放置一个点。如果句子是真的，这个点会落在某个区域；如果是假的，它会落在另一个区域。研究人员发现，这些点并不是随机散落在房间各处的。相反，它们被整齐地组织成两个不同的组，就像两堆弹珠。这两个“真理”堆和“谎言”堆被一条非常简单的、低维度的走廊分隔开。

这里是最令人惊讶的部分：你不需要一台超级复杂的计算机来区分这两堆东西。研究人员发现，真话和假话之间的区别仅仅是这些点平均位置的一个简单偏移。这就像如果你有一袋红弹珠和一袋蓝弹珠，你不需要测量每一颗弹珠的大小、重量或纹理就能将它们区分开来；你只需要知道红色的弹珠平均而言稍微偏左，而蓝色的稍微偏右。在机器人的大脑中，这个“平均位置”（或质心）就是全部的关键。研究人员发现，仅需 25 个标记样本来寻找这两个中心，就能以 90% 的准确率检测出谎言。更棒的是，他们发现这个“真理信号”仅存在于一个仅有 2 到 8 维的微小走廊中，尽管机器人的大脑拥有数千个维度可以发挥。

团队不仅是在观察，他们还通过“戳刺”和“按压”机器人来观察这种信号是否真实存在。他们使用了一种叫做“激活转向”（activation steering）的技术，这就像是在特定方向上轻轻推动机器人的内部数值。当他们将机器人推向“真理”方向时，它开始犯更少的错误。当他们将其推向“谎言”方向时，它开始产生更多的幻觉。他们还尝试通过移除那个特定的走廊来彻底抹除该信号，结果发现，一旦移除了那个走廊，机器人突然变得完全无法区分真伪，表现得和随机猜测没什么两样。这证明了该信号并非巧合；它是机器人处理事实的一个必要组成部分。

然而，这篇论文也提醒我们，这并不是适用于所有情况的万灵药。研究人员发现，当机器人表现得有些“诡计多端”时（例如，它自信满满地陈述一个常见的误解），这种内部“真理检测器”的效果极其出色。但在处理标准的、枯燥的问题时（即机器人并没有试图欺骗任何人时），机器人自身的输出（它大声说出来的话）在判断真伪方面同样有效。只有当机器人表现出欺骗性时，这个内部信号才会闪耀出最亮的光芒。

另一个有趣的发现是关于这些信号如何在不同类型的提问之间传递。如果你教机器人识别特定数据集（比如关于历史的测验）中的谎言，它可能无法识别另一个数据集（比如关于科学的测验）中的谎言，除非你同时对两者进行训练。这就像学习在赛车场上开车并不能自动让你成为雪地里的驾驶高手；你需要两者的练习。研究人员展示了通过对多个数据集进行共同训练，他们可以创造出一个通用的“真理指南针”，使其在不同主题下都能奏效。

最后，这篇论文为我们描绘了语言模型如何处理真理的清晰图景。它表明，在这些复杂的机器深处，对与错的区别出人意料地简单：仅仅在于数据落在直线的哪一侧。虽然这并不意味着我们可以立即修复机器人在所有情况下的所有谎言，但它证明了机器人确实知道自己错了，即便它并不总是承认。这个信号就在那里，它是几何性的，并且正等待着被发现。

技术摘要：置信流形 (The Confidence Manifold)

问题陈述

大语言模型（LLMs）经常以与事实相同的流畅度和自信度断言错误观点，这使得基于输出的不确定性指标（如 Token 熵或语义熵）在检测幻觉方面显得力不从心。尽管先前的研究已经确定，真理性信号在线性层面存在于 LLM 的残差流中，但这些信号的几何结构尚未得到表征。具体而言，目前尚不清楚：

需要多少个维度才能区分正确与错误的陈述。
在信号丢失之前，决策规则可以有多简单。
这种方向性的信号是因果性地决定了模型的输出，还是仅仅与其相关。
在一个数据集上训练的检测器是否可以迁移到其他数据集。

本文通过对 11 个参数量从 124M 到 14B 不等的模型进行表征，旨在解决这些问题，并定义了“置信流形”（Confidence Manifold）——即正确性表示的几何结构。

方法论

作者采用了一种结合数据构建、几何分析和因果验证的多阶段方法：

数据构建： 利用 TruthfulQA，作者构建了对比对，将相同的提问句干与正确答案和错误答案配对。这隔离了正确性信号与内容变化之间的干扰。隐藏状态是从所有层的最后一个 token 位置提取的。
方向学习与几何分析：
- 探测器训练： 训练逻辑回归探测器，从隐藏状态中预测二元正确性标签。
- 维度扫描： 作者使用偏最小二乘（PLS）回归将激活值投影到不同维度的子空间（ $k$ ）上，以确定最优维度。
- 内在维度： 使用 Levina–Bickel MLE 估计量来测量独立于分类的表示流形的内在维度。
- 质心分析： 作者测试了决策边界是否会塌缩为简单的距离质心度量（均值偏移），而非需要复杂的超平面。
因果验证： 使用三种互补的方法来验证子空间：
- 激活转向（Activation Steering）： 在残差流中进行干预（ $h' = h + \alpha \hat{w}$ ），观察沿着学习到的方向移动是否会因果性地改变幻觉率。
- 概念擦除（RLACE）： 将激活值投影到正确性方向的零空间，以测试该信号对于检测是否是必要的。
- 分布式对齐搜索（DAS）： 一种交换干预方法，通过显式扫描秩 $k$ 来界定子空间的因果维度。

核心结果

1. 低秩判别子空间

在 11 个模型中，正确性信号集中在 2–8 维的子空间内。

性能在这一范围内达到顶峰，并随着维度的增加而显著下降（例如，GPT-2 从 3D 变为 32D 时，AUC 下降了 18%），这表明额外的维度引入的是噪声而非信号。
嵌入流形的内在维度（8–12D）高于判别维度（2–8D），这表明信号是高维空间中的一个低秩特征。

2. 质心充分性（均值偏移）

正确性的决策规则非常简单：两个类别的质心便已足够。

正确类与错误类之间的分离主要由**均值偏移（mean shift）**驱动，而非协方差差异。
几何分类器（质心距离、马氏距离）的性能与训练好的线性探测器相比，误差在 $\pm 0.02$ AUC 以内。
多原型变体（例如，每个类别有多个质心的 K-Means）会导致性能下降，这证实了每类分布是单峰的。
基于质心的检测具有高度的标签效率，仅需 25 个带标签的样本即可恢复 90% 的全数据性能。

3. 因果结构

有效性： 在 Qwen2-7B 上沿着学习到的方向进行转向，会将幻觉率改变 9.1 个百分点（根据方向不同，错误率从 0.56 变为 0.52 或 0.61）。
必要性： 通过 RLACE 擦除该子空间会使检测性能塌缩至随机水平（ $\approx 0.50$ AUC）。
因果秩： 虽然转向和擦除无法界定秩，但 DAS 独立地将测试模型的因果秩限制在 至多 5 个维度。

4. 特定场景下的优势

内部探测器在对抗性误解数据（如 TruthfulQA）上优于基于输出的不确定性方法（P(True)、语义熵），因为在这些场景下模型表现得非常自信但却是错误的。

在 TruthfulQA 上，内部探测器达到 0.80–0.94 AUC，而输出方法则降至 0.44–0.64。
在标准问答数据集（SciQ, FEVER, CommonsenseQA）上，差距缩小，输出方法的表现与内部探测器相当。
这种优势并非普遍的优越性，而是专门针对模型置信度与正确性脱节的特定场景。

5. 迁移需要联合训练

在单一数据集（如 TruthfulQA）上训练的探测器在其他数据集上的迁移效果接近随机（0.39–0.66 AUC）。

这种失败归因于数据集之间的方向失配（正交性），而非缺乏信号。
联合多数据集训练恢复了可迁移性，在指令微调模型上实现了 0.73–0.91 AUC。
这表明，一个“通用的真理性超平面”需要通过多个数据集来约束子空间，从而实现方向的对齐。

意义与主张

本文的目标不是提出一种新的检测器，而是对正确性的几何结构进行表征。

质心充分性： 主要主张是 LLM 中真理与谬误的分离是一个低维子空间中的简单均值偏移，而不是复杂的、高秩的决策边界。这解释了为什么简单的几何规则（到质心的距离）能匹配复杂的训练探测器。
受限的因果秩： 作者提供了证据，证明正确性的因果机制占据了极少量的维度（用于检测为 2–8 维，对于因果性为 $\le 5$ 维），从而将“线性表示假设”细化为“低秩线性分隔符”假设。
依赖于方案的迁移： 本文明确指出，迁移并非自动发生的；它需要通过联合训练来解决数据集之间的方向失配问题。
局限性： 作者明确指出，其结果是在**强制教师引导（teacher-forced）**设置下得出的（即给定模型正确的答案 token）。他们并不声称这些结果可以直接转化为自由文本生成，因为自由生成中的判别选择会引入显著噪声。此外，因果秩的界限仅针对所测试的模型和层。

总之，本文确立了 LLM 中的正确性被编码为残差流中一个低秩、均值偏移的信号，这种信号在因果上对于模型的输出是必要的，但需要特定的训练方案才能跨领域泛化。