💬 NLP

Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions

本文通过对隐藏表示进行几何分析，并引入一种轻量级的推理时干预方法 KAPPA，旨在识别并解决大型语言模型在多项选择题中内部知识与输出行为之间的不一致问题，该方法通过对齐知识与预测子空间来提高准确率。

原作者： Yoonah Park, Haesung Pyun, Yohan Jo

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yoonah Park, Haesung Pyun, Yohan Jo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《弥合大语言模型在多选题上的知识-预测差距》（Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions）的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题：那个“胸有成竹”却“语塞”的学霸

想象一下，你有一位非常聪明的学生，他读遍了图书馆里的每一本书。如果你在闲聊时问他一个问题，他能完美地解释出答案。但如果让他参加一场多选题考试，尽管他知道正确答案，却突然开始胡乱猜测。

这正是大语言模型（LLMs）所面临的情况。论文称之为**“知识-预测差距”（Knowledge-Prediction Gap）**。

知识（The Knowledge）： 在模型的“大脑”（其隐藏层）内部，正确的答案清晰可见。这就像学生把答案写在了兜里的纸条上。
预测（The Prediction）： 当模型真正开口说话（生成文本）时，它却忽略了那张答案纸条，反而选了一个错误的选项。

研究人员发现，模型并不是因为缺乏知识而产生“幻觉”；它失败的原因在于无法将它所知道的内容转化为它所表达的内容。

调查过程：探究内部机制

为了弄清楚为什么会发生这种情况，研究人员并没有仅仅观察最终答案，而是观察了模型在回答问题时内部的“思维过程”（称为残差流/residual stream）。

他们使用了一种叫做**“探针”（Probe）**的工具（可以把它想象成一个翻译官或翻译官的耳朵）来倾听模型的内部信号。他们构建了两个不同的翻译官：

知识翻译官（The Knowledge Translator）： 它倾听模型的内部信号并询问：“这里的实际正确答案是什么？”
预测翻译官（The Prediction Translator）： 它倾听同样的信号并询问：“模型即将说出哪个答案？”

发现：
在许多情况下，知识翻译官说：“答案绝对是‘夏天’！”而预测翻译官却说：“模型即将说出‘冬天’！”

研究人员意识到，模型的脑中拥有两个不同的“房间”或子空间（subspaces）：

知识室（The Knowledge Room）： 真理居住的地方。
预测室（The Prediction Room）： 做出最终决策的地方。

问题在于，这两个房间是错位的（misaligned）。这就像是一个房间里有一张地图，另一个房间里有一个指南针，但指南针指向的方向与地图完全不同。模型拥有地图（知识），但指南针（预测）却在疯狂乱转，从而误导了它。

解决方案：KAPPA（对齐工具）

为了解决这个问题，作者创建了一种名为 KAPPA 的方法。

想象你在开车。你清楚地知道要去哪里（知识），但你的方向盘稍微有点偏，导致你不断向错误的车道漂移（预测）。

KAPPA 就像是一个智能的自动转向修正系统。

它不会重写地图，也不会强迫车子倒着开。
相反，就在模型即将做出选择的那一瞬间，KKAPPA 会轻轻地拨动一下方向盘。
它将“预测室”与“知识室”进行对齐。

这个过程是在模型思考的过程中（即“推理时”）瞬间完成的。它不需要重新训练模型，也不需要教它新知识，它只是修正了模型使用已有事实时的几何结构。

尝试效果如何？

研究人员在多种不同类型的问题上测试了它，包括：

推理谜题（如数学题）。
真实性测试（询问一个陈述是谎言还是事实）。
偏见测试（检查是否存在刻板印象）。

结果：

使用 KAPPA 之前： 模型内部往往知道正确答案，但输出的却是错误的选项。
使用 KAPPA 之后： 模型开始更频繁地选择正确选项。

在某些情况下，模型的表现大幅提升，甚至达到了与“知识翻译官”一致的准确度。这证明了模型并不“笨”；它只是需要重新校准它的内部指南针。

核心要点

模型知道的比它说的更多： 即使 LLMs 输出错误的答案，它们的内部“大脑”往往也持有正确的答案。
这是一个几何问题： 问题不在于缺乏数据，而在于知识存在的“空间”与预测发生的“空间”之间存在错位。
简单的修复方案行之有效： 通过在模型回答前的瞬间对其内部状态施加一个微小的、基于数学的“推动”（KAPPA），我们可以弥合差距，在无需重新训练的情况下提高模型的可靠性。

简而言之，这篇论文表明，帮助 AI 模型变得更诚实、更准确，并不在于教它们新知识，而在于帮助它们更好地利用已有的知识。

技术摘要：弥合大语言模型在多项选择题中的知识-预测差距

1. 问题定义

大语言模型（LLMs）经常表现出一种“知识-预测差距”（knowledge-prediction gap）现象，即模型在其内部隐藏表示中拥有正确答案，却无法将其作为最终输出生成。这种差异在多项选择题（MCQ）场景中尤为明显，即模型尽管在残差流（residual streams）中线性编码了正确答案，却仍可能选择错误的选项。先前的研究将此类失败归因于表层线索、选项偏差或风格化伪影，但将这些失败与模型的内部几何结构联系起来的统一解释仍有待探索。具体而言，目前尚不清楚这种差距是否广泛存在于不同领域，其背后的几何结构是什么，以及这种差距是否可以在不进行重新训练的情况下在推理阶段得到缓解。

2. 方法论

作者提出了一个三步分析与干预框架：

A. 通过线性探测量化差距

作者将知识-预测差距定义为内部表示中所编码的知识与生成的预测之间的差异。为了衡量这一差异，他们在 LLM 的残差流激活值上训练了两个不同的线性探测器：

知识探测器（Knowledge Probe）： 一个 $k$ 类线性分类器，用于根据隐藏状态预测地面真值答案 ( $y$ )。
预测探测器（Prediction Probe）： 一个 $k$ 类线性分类器，用于预测模型自身的生成选项 ( $\tilde{y}$ )。

他们在多种模型（如 Llama 3.1 8B, Qwen 2.5 7B）和基准测试（推理、知识、真实性、偏差）上评估了这些探测器。为了量化差距，他们引入了两个指标：

预测一致性（AGR）： 知识探测器与模型输出选择相同选项的频率。
分布散度（KLD）： 知识探测器的概率分布与模型输出概率分布之间的 Kullback-Leibler 散度。

B. 几何解释

作者将训练好的探测器权重向量解释为定义了残差流中的低维子空间：

知识子空间（Knowledge Subspace）： 由知识探测器的权重所张成的空间。
预测子空间（Prediction Subspace）： 由预测探测器的权重所张成的空间。

他们假设，较大的知识-预测差距对应于这两个子空间之间的系统性失配。当差距较大时，隐藏状态在预测子空间上的投影坐标与其在知识子空间上的坐标会发生显著偏离。

C. KAPPA：推理时干预

为了缓解这一差距，作者引入了 KAPPA（通过基于投影调整的知识对齐预测）。KAPPA 是一种轻量级的推理时干预方法，它对残差流应用仿射变换。

机制： 它通过求解一个约束优化问题，对隐藏状态 $h$ 进行最小扰动，使得其在预测子空间中的坐标与在知识子空间中的坐标保持一致。
公式化表达： 变换 $T$ 通过求解以下问题将 $h$ 映射为 $h'$ ：
$\min_{h'} \|h' - h\|^2_2 \quad \text{s.t.} \quad W_{pred}^\top h' = W_{know}^\top h$
这产生了一个闭式解，仅在预测子空间内调整隐藏状态，而保持正交分量不变。
泛化性： 该方法包含超参数 $\alpha$ 和 $\beta$ 来控制对齐强度，从而允许灵活地调整内部知识对预测的影响程度。

3. 核心贡献

广泛存在的差距之经验证据： 本研究证实了知识-预测差距广泛存在于各种 MCQ 基准测试和模型家族中。该差距在推理、真实性和偏差任务中最为显著，而在知识密集型基测中则不太明显。
几何解释： 论文提供了差距的几何解释，将其识别为残差流中截然不同的知识子空间与预测子空间之间的失配。
KAPPA 干预： 作者提出了 KAPPA，一种通过几何校准隐藏状态以使模型预测与内部知识对齐的推理时方法。与应用固定修正的先前转向方法不同，KAPPA 会根据每个实例的具体知识-预测差距来调整其修正过程。

4. 结果

差距幅度： 在所有测试数据集中，线性探测器的表现始终优于基础模型的生成准确率，这证实了模型编码了线性可达的知识，却未能有效利用。差距随领域变化显著，在 TruthfulQA 和 BBQ 中显示出最大的差异（例如，Qwen 2.5 7B 的 $\Delta$ ACC 高达 +21.3%）。
性能提升： KAPPA 始终能减少差距，并比基准模型及现有的推理时方法（如 CAA 和 DoLA）提高准确率。
- 在 TruthfulQA 上，KAPPA 将 Llama 3.1 8B 的准确率提高了 8.9–16.9 个百分点。
- 在 推理基准测试（GSM8k, BBH）上，KAPPA 实现了 1.5–5.0 个百分点的稳定增益。
- KAPPA 显著提高了知识探测器与模型输出之间的一致率（AGR），通常接近于知识探测器本身的准确率。
泛化能力：
- 跨模型： KAPPA 能有效缓解不同规模（4B 到 14B）和架构（Mistral, Llama, Qwen）模型的差距。
- 跨数据集迁移： 虽然子空间通常是特定于数据集的，但在需要相似底层技能的任务之间观察到了成功的迁移（例如，从 BBH-NLP 到 GSM8K）。
- 自由格式生成： 将 KAPPA 应用于自由格式设置（无 MCQ 选项）时，提高了 TruthfulQA 的准确率，证明了其几何对齐能力可以扩展到多项选择格式之外。

5. 重要性与主张

本文主张，许多 LLM 的失败（特别是幻觉和推理错误）并非源于缺乏知识，而是源于模型内部编码的内容与其最终预测内容之间的失配。通过识别不同的知识子空间与预测子空间，作者为这些失败提供了一个可解释的几何解释。

KAPPA 的引入表明，可以通过表示层面的对齐，在无需额外训练的情况下弥合这一差距。作者总结道，表示层面的对齐是实现更忠实于内部知识的 LLM 预测的一个有前景的方向。他们指出，虽然其工作侧重于线性可达的知识，但未来仍需研究如何对齐更复杂的、非线性编码的知识。