💬 NLP

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

本文探讨了大型语言模型是否拥有关于答案正确性的特权内部知识，揭示出尽管由于模型间高度一致，自我表征在标准基准测试中并未带来优势，但在事实性任务的不一致子集评估中，它们相较于同类模型确实展现出领域特异性优势，而数学推理任务则并非如此。

原作者： Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在猜测学生在考试中的答案是否正确。你有两种方法可以做到这一点：1. 局外人视角：你查看学生写下的答案和题目本身。2. 局内人视角：你在学生思考时窥探他们的大脑（他们的隐藏思维）。长期以来，研究人员一直在疑惑：学生的大脑中是否有一种秘密的“直觉”，能告诉他们自己是否正确，而局外人无法看到？ 这种秘密感觉被称为“特权知识”。本文探讨了大型语言模型（LLM）——即聊天机器人背后的 AI 大脑——是否拥有这种关于自身答案的秘密内部知识。### 问题：“共识掩盖”研究人员在之前的研究中发现了一个棘手的问题。想象一个教室，其中 90% 的学生对每道题的答案都达成一致。如果你是一个试图猜测学生 A是否正确的局外人，你只需看看学生 B写了什么。由于他们通常意见一致，你可以通过观察学生 B 的大脑来猜测学生 A 的结果。由于模型如此频繁地达成一致，“局外人”视角看起来与“局内人”视角一样有效。这就像秘密的内部信号被共识所掩盖。研究人员意识到，如果每个人都同意，你就无法判断秘密信号是否真的存在。### 解决方案：“分歧”测试为了解决这个问题，研究人员创建了一个特殊测试，仅使用模型意见分歧的问题。* 场景：模型 A 认为答案是“是”。模型 B 认为答案是“否”。* 测试：在这些棘手的情况下，模型 B 的大脑无法帮助你猜测模型 A 的结果。如果你通过查看模型 A 内部的大脑来预测模型 A 的正确性，比通过查看模型 B 的大脑能更准确地预测，那么模型 A 确实拥有一个秘密的内部信号。### 重大发现：取决于学科当他们运行这个“分歧测试”时，发现两种任务类型之间存在令人惊讶的分歧：#### 1. 事实知识（“记忆”测试）* 示例：“谁是第一任总统？”或“法国的首都是什么？”* 结果：是的，秘密信号存在。 * 类比：这就像一位图书管理员。当图书管理员从书架上取出一本特定的书时，他们有一种独特的内部感觉：“我知道这个事实。”即使另一位图书管理员不同意，第一位图书管理员的内部状态也持有一个特殊的信号，表明“我正在检索这个特定的记忆”。研究人员发现，AI 的内部脑波在预测这些事实的正确性方面显示出明显优势，这是局外人无法看到的。#### 2. 数学推理（“逻辑”测试）* 示例：解决复杂的代数问题或关于储蓄账户的应用题。* 结果：不，秘密信号缺失。 * 类比：这就像一位机械师在修理汽车。如果两位机械师查看同一台损坏的发动机，难点在于发动机的结构，而不在于某种秘密记忆。AI 对数学并没有一种特殊的“我知道我是对的”感觉。告诉你数学是否正确的所有线索都可见于表面（问题和逻辑步骤）。一个观察问题的局外人预测 AI 成功的能力，与 AI 预测自身成功的能力一样强。### 秘密信号藏在哪里？研究人员还观察了这种秘密信号出现在 AI“大脑”（其处理层）的何处。* 对于事实：信号在早期层（AI 读取文字的地方）很小，但随着信息深入大脑而变得更强。这就像一种记忆检索过程，随着 AI 的思考而逐渐建立。* 对于数学：信号从未真正出现。数学问题的“难度”在每一层都可见，从开始到结束。### 总结该论文得出结论，AI 模型确实拥有特权知识，但仅限于他们已记忆的事实。他们知道何时正在回忆记忆。然而，他们没有这种关于数学或逻辑的秘密知识；在这些情况下，他们的信心对外界而言与对他们自己而言一样可见。之前的研究之所以错过这一点，是因为模型过于频繁地达成一致，掩盖了“记忆事实”与“解决问题”之间的区别。通过仅观察他们意见分歧的时刻，研究人员最终揭示了真相。

1. 问题与背景

本文的核心问题是：大语言模型（LLM）是否拥有关于其自身回答正确性的特权知识（privileged knowledge）？换言之，模型的内部状态是否包含特定的信号，指示其回答是否正确，而这些信号对外部观察者（另一个模型）是不可访问的？

理论背景：受哲学概念“认识论特权”（epistemic privilege）的启发，即一个主体对其自身内部状态拥有特殊访问权。
相互矛盾的研究现状：
- 一些研究表明，LLM 可以通过对其隐藏状态进行线性探测（probes）来预测自身的正确性。
- 其他近期工作（Chi 等人、Seo 等人、Xiao 等人）对此提出质疑，认为探测到的仅仅是检索模式或问题的公开特征，外部模型预测正确性的能力与模型本身相当。
本文假设：先前否定特权知识存在的结论可能为时过早，原因在于一个关键混淆因素：模型间共识（inter-model consensus）。如果模型经常就回答的正确性达成一致，外部模型可以利用其自身的正确性模式作为代理来预测目标模型的正确性，从而掩盖了独特内部信号的存在或缺失。

2. 方法论

作者提出了一套严格的实验框架，以隔离模型独特的内部信号。

A. 特权知识的定义

模型的隐藏状态 $h$ 被分解为两个潜在分量：

$z_{public}$ ：问题固有的特征（领域、实体类型），对所有模型均可访问。
$z_{private}$ ：模型特定的内部状态（检索记忆的成功与否、推理中的置信度）。正是这一分量构成了“特权知识”。

B. 探测（Probes）配置

为了测试 $z_{private}$ 的存在，作者训练分类器（探测）来预测回答的正确性（ $y \in \{0, 1\}$ ）：

自探测（Self-Probe）：在目标模型（ $M_{target}$ ）的内部表示上训练，以预测其自身的正确性。
外部探测（External-Probe）：在不同模型（ $M_{source}$ $M_{so u r ce}$ ）的表示上训练，以预测目标模型的正确性。
- 跨模型（Cross-Model）：使用规模相当的 LLM。
- 嵌入模型（Embedding-Model）：使用编码（embedding）模型。

C. 指标：“溢价差距”（Premium Gap）

溢价差距定义为自探测相对于最佳外部探测的性能优势（以 AUC 衡量）。

如果差距为零，表明正确性完全可通过公开特征（ $z_{public}$ ）预测。
如果差距为正且显著，则表明存在特权知识（ $z_{private}$ ）。

D. 关键创新：分歧子集（Disagreement Subsets）

为了消除共识偏差，作者并未在随机数据集上进行测试，而是专注于分歧子集。

定义：目标模型和源模型产生相反正确性标签（一个正确，一个错误）的问题集合。
原因：在这些情况下，外部模型无法利用其自身的正确性模式作为目标模型的代理。如果在此子集上自探测仍优于外部探测，则是特权知识存在的直接证据。

E. 实验配置

模型：三个规模相似的 LLM（Qwen-2.5-7B、Llama-3.1-8B、Gemma-2-9B）和一个更大规模的模型（Qwen-3-32B）用于可扩展性测试。
数据：涵盖两个领域的五个数据集：
- 事实知识：Mintaka、TriviaQA、HotPotQA。
- 数学推理：GSM1K、MATH。
方法：在隐藏状态（每第 5 层 + 最后一层）上应用线性（逻辑回归）和非线性（MLP）探测。

3. 主要结果

A. 标准数据集上缺乏溢价差距

在完整（随机）测试集上，作者确认溢价差距为零或可忽略不计。

外部探测（特别是基于 Gemma 的）等于或优于内部探测。
这可以通过极高的模型间一致率来解释（事实类约 80%，数学类约 75%），使得外部探测能够利用共享的正确性模式。

B. 特定领域特权知识的涌现

在分歧子集上的评估显示，结果根据领域不同而截然不同：

事实知识（TriviaQA、Mintaka、HotPotQA）：
- 出现了统计显著的溢价差距（约 5%）。
- 自探测系统地优于外部探测。
- 结论：模型对其事实回答的正确性拥有外部观察者无法获取的特权知识。
数学推理（MATH、GSM1K）：
- 即使在分歧子集上，也未观察到溢价差距。
- 外部探测等于或优于内部探测。
- 结论：数学推理的正确性不依赖于特权内部信号，而是依赖于所有模型均可访问的问题结构特征。

C. 时间定位（分层分析）

作者分析了这些信号在网络深度何处出现：

事实类：前几层的溢价差距接近零，并从中间层（约第 10-15 层）开始逐渐增长直至深层。这表明特权知识与在前向传播过程中累积的记忆检索有关。
数学类：未观察到一致趋势；差距在所有深度保持为零或负值。

D. 信号来源分析（“仅词汇”实验）

通过去除句法结构，仅保留命名实体和名称：

事实任务和 MATH 的正确性预测依然强劲，表明对概念的熟悉度是关键因素。
对于 GSM1K，性能降至随机水平，表明数学正确性依赖于问题的计算结构，而非表面标记（tokens）。

4. 关键贡献

识别主要混淆因素：证明模型间共识掩盖了标准评估中潜在的特权知识存在。
分歧方法论：引入在分歧子集上进行评估作为隔离模型独特内部信号的标准方法。
领域不对称性：确立特权知识并非 LLM 的普遍属性，而是特定于领域的：它存在于事实检索中，但在复杂数学推理中缺失。
架构定位：描绘了这些信号在事实任务中于模型中间层和深层逐渐涌现的过程。

5. 意义与启示

调和先前研究：本文解决了关于 LLM 是否“知道”自己正确与否的相互矛盾的研究。真相是细微的：它们对事实正确性拥有特权访问权，但对推理则不然。
幻觉检测：结果表明，特定于模型的激活可能包含外部“黑盒”工具无法看到的错误（幻觉）检测信号，特别是在知识类任务中。
内省的局限性：模型自我评估的能力取决于任务的性质。对于推理任务，通过内部信号进行的自我评估相比外部分析并无优势。
未来方向：开启干预实验（激活引导）以操纵这些正确性信号，从而提高模型的可靠性。

总之，本文证明 LLM 确实拥有一种关于自身正确性的“意识”形式，但这种能力在标准评估中被共识所掩盖，并且局限于事实记忆任务，并未扩展到复杂的逻辑推理。