💻 computer science

Signed Layer-Level Evidence in Transformer Predictions, and a Diagnostic for When It Applies

本文引入了语言证据流（Language Evidence Flow, LEF）将 Transformer 的预测分解为带符号的逐层证据，并提出了 ScopeGate——一种基于排列的诊断工具，用以揭示现有误差检测器在模型和任务层面的局限性，从而证明没有任何单一指标能够普遍预测模型的失败。

原作者： Jeffery Opoku, David Banahene

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jeffery Opoku, David Banahene

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是新一代人工智能背后的引擎，它们能够撰写论文、解决数学问题，并进行感觉非常接近人类的对话。然而，在其流畅的外表之下，隐藏着一个持久的缺陷：它们有时会极其自信地捏造事实，研究人员将这种现象称为“幻觉”。多年来，识别这些错误的标准方法是观察模型的最终答案，并询问：“它看起来有多确定？”如果模型为某个词分配了高概率，我们就假设它是正确的。但这种方法存在盲点。它将最终输出视为一个“黑盒”，忽略了产生该输出的复杂内部机制。两个答案可能具有完全相同的置信度水平，但其中一个可能是模型内部组件之间清晰、一致的共识的结果，而另一个则是脆弱的产物，源于一场激烈的内部“内战”，即系统的不同部分正在向相反的方向拉扯。理解这种隐藏的斗争至关重要，因为一个听起来充满信心的谎言往往比一个犹豫的真相更危险。

一个研究团队开发了一种新方法来窥探这个黑盒，揭示了在话音落下之前发生的隐藏“拉锯战”。他们将这一框架称为“语言证据流”（Language Evidence Flow）。该方法不再仅仅观察最终得分，而是追踪模型架构中每一层在处理句子时的贡献。将模型想象成一条长长的决策链，其中每一个环节都为最终的选择贡献了自己的证据。研究人员发现，他们可以为每个环节的贡献分配正值或负值。正值意味着该层支持所选的词；负值则意味着它反对该词。通过对这些值进行求和，他们可以计算出一个“冲突得分”。低分意味着内部各层处于和谐状态，而高分则揭示了模型是在内部存在强烈分歧的情况下生成答案的。这使得他们能够检测出模型何时正在产生幻觉，即使最终答案在表面上看起来完美自信。

研究人员在各种模型上测试了这一想法，从较小的 14 亿参数版本到庞大的 147 亿参数系统，涵盖了不同的架构家族。他们发现，该方法在识别一种特定类型的错误时表现异常出色：即当模型的内部记忆与检索到的外部信息发生冲突时。在检索增强生成（RAG）设置中，模型在回答之前会被给予一篇文档进行阅读。如果文档说的是一回事，而模型的训练记忆说的是另一回事，内部冲突得分就会飙升，从而发出信号，表明该答案很可能是幻觉。这种方法是单次完成的，这意味着它几乎不会增加生成过程的时间，不像旧方法那样需要模型多次生成相同的答案以检查一致性。

然而，这项研究也揭示了一个令人惊讶且重要的局限性：这种内部冲突信号并非对所有模型都是通用的真理。研究人员发现，对于某些模型，高冲突得分能可靠地预测错误，但对于另一些模型，该信号则微弱甚至具有误导性。例如，在一个流行的 70 亿参数模型上，冲突得分在预测错误方面的表现甚至比随机猜测还要差；而在另一个同规模的模型上，它却是强有力的故障指标。这种不一致性意味着，仅仅在任何 AI 系统上安装这个工具是不够的；你必须首先验证它是否适用于你的特定模型。为了解决这个问题，团队创建了一个名为“ScopeGate”的安全检查机制。这是一个简单的测试，通过运行一组已知的正确和错误答案，来观察冲突得分是否真的与特定模型的错误相关联。如果测试失败，该工具就不会作为独立的警报使用，但它仍然可以用来理解模型为何陷入困境。

研究结果表明，这些模型的思考方式会随着它们针对人类对话进行的微调而发生变化。当模型经过微调以变得更具帮助性并遵循指令时，它们的表面置信度作为警告信号的可靠性往往会降低，但内部冲突信号却保持强劲甚至变得更加敏锐。这使得该方法对于用于实际应用的最先进的指令微调模型尤其具有价值。研究人员还展示了这种方法可以检测复杂的多步推理任务中的错误，在这些任务中，模型必须将事实串联起来，它能捕捉到内部逻辑开始崩溃的瞬间。

最终，这项工作将焦点从最终输出转向了创作过程。它证明了通往答案的路径与答案本身同样重要。通过绘制流经网络每一层的带符号证据图，研究人员提供了一种实时观察模型内部分歧的方法。虽然该方法在未经预先检查的情况下并不完美适用于所有模型，但它提供了一种可以立即部署的、无需训练的强大工具。它允许开发者精确观察模型为何以及在哪里与自身作斗争，将人工智能这种不透明的过程转变为可以被观察、测量和理解的对象。核心启示在于：仅有信心是不够的；我们还必须寻找机器内部那沉默的共识或冲突的噪音。

技术摘要：Transformer 预测中的签名层级证据

1. 问题陈述

大语言模型（LLMs）经常产生流畅、高概率的输出，但这些输出在事实层面是错误的（幻觉）。现有的检测方法面临一个根本性的局限：它们依赖于输出层级的评分（例如，softmax 概率、预测熵），或者需要昂贵的采样（例如，SelfCheckGPT）或带标签的训练数据（例如，探测分类器）。

本研究解决的核心难点在于：两个具有相同 softmax 概率的 token 可能通过截然不同的内部过程产生。一个 token 可能受到所有 Transformer 层近乎一致的认同支持；而另一个 token 则可能在各层存在强烈内部反对（冲突）的情况下依然存活。输出层级的评分仅是 logit 间隙（logit gap）的函数，无法感知“证据质量”或内部的分歧结构。因此，即使模型的内部证据正在相互博弈，模型在表现上仍可能显得高度自信，而标准的指标无法检测到这种状态。

2. 方法论：语言证据流 (Language Evidence Flow, LEF)

作者引入了 语言证据流 (LEF) 框架，该框架将 token 的预测分解为来自每个 Transformer 层、注意力头，以及在检索增强生成 (RAG) 设置下来自参数化记忆与检索文档的签名贡献。

2.1 核心机制

LEF 利用了 Transformer 残差流的加性特征。对于给定的 token 位置 $t$ ，模型选择一个顶层 token $\hat{v}_t$ 和一个次优 token $\hat{r}_t$ 。Logit 间隙 $\Delta_t$ 被精确分解为来自每一层 $\ell$ 的签名证据项 $E_\ell(t)$ ：
$\Delta_t = E_0(t) + \sum_{\ell=1}^{L} E_\ell(t)$
其中 $E_\ell(t)$ 是第 $\ell$ 层（结合了注意力和 MLP 输出）对顶层 token 与次优 token 之间间隙的贡献。

签名证据 (Signed Evidence)： 如果 $E_\ell(t) > 0$ ，则该层支持所选 token；如果 $E_\ell(t) < 0$ ，则该层反对它。
支持与反对质量 (Support and Opposition Mass)： $S^+(t)$ 和 $S^-(t)$ 分别是正向和负向证据强度的总和。
冲突得分 ( $C$ )： 定义为 $C(t) = \frac{2 \min(S^+, S^-)}{S^+ + S^-}$ 。数值接近 0 表示单侧证据；数值接近 1 表示分裂（高冲突）。
翻转边际 ( $m_{flip}$ )： 改变预测所需的最小证据重新分配量，计算公式为 $m_{flip}(t) = \frac{|\Delta_t|}{2} = \frac{M(t)(1-C(t))}{2}$ 。高冲突意味着小的翻转边际，表明预测具有脆弱性。

2.2 RAG 分解

在 RAG 场景中，LEF 将证据分为参数化 ( $E_{param}$ ) 和检索 ( $E_{retr}$ ) 两部分。它定义了跨源冲突 ( $C_{cross}$ ) 来衡量模型内部记忆与外部文档之间的分歧。这使得检测 RAG 幻觉成为可能，即模型忽略检索到的事实而倾向于使用参数化知识（或反之亦然）。

2.3 理论保证

论文证明了一个识别定理 (Identification Theorem)，该定理确立了输出层级评分（如概率或熵）无法保证揭示内部冲突，因为证据质量是一个独立于 softmax 输出的自由参数。此外，论文还证明了当参数化源与检索源不一致时，冲突的下界。

2.4 ScopeGate：部署诊断工具

意识到冲突并不在所有模型中都能普遍预测错误，作者引入了 ScopeGate。这是一个置换检验，用于检查特定检测器的得分（如冲突度）是否与特定模型-任务对上的误差相关联，该测试使用少量带标签的样本（约 100–250 个）。如果测试失败，则说明该检测器在当前配置下尚未达到部署标准，从而防止过度依赖。

3. 主要贡献

框架： LEF 提供了一种单次前向传播、无需训练的预测分解方法，可实现层级归因和 RAG 源分离。
理论： 刻画了输出评分无法揭示冲突的识别边界的证明、冲突与翻转边际之间的闭式联系，以及冲突在自回归解码中的传播定理。
实证验证： 在 11 个模型（1.4B–14.7B 参数）和 六种架构家族（注：此处根据原文修正，指代不同规模/类型的模型集合）上进行了评估。主要发现包括：
- LEF 能在多次架构家族中通过单次前向传播检测 RAG 源分歧。
- LEF 冲突度（无需训练）的表现几乎与经过训练的隐藏状态探测器持平（AUROC 0.660 vs. 0.669），且在推理成本比基于采样的方案（SelfCheckGPT）低 5 倍的情况下表现更优。
- 模型特异性： 冲突度是 Qwen2.5 变体和 OLMo-2-7B-Instruct 的强有力误差信号，但在 Mistral-7B 和 Falcon-7B 上失效或发生反转。
部署协议： 包含四个步骤的配方，包括 ScopeGate 安全检查、层消融以提高效率（监控前 5–10 层可将开销降至 <4%）以及结合熵的集成策略。

4. 实验结果

事实问答 (TriviaQA)： 在简单的单跳 QA 中，预测熵通常优于原始冲突度（例如，Mistral-7B：熵 0.802 vs. 冲突度 0.463）。然而，冲突度擅长检测自信的错误（低熵、高冲突），并且在特定模型的多跳推理任务中表现更好（例如，Qwen2.5-7B-Instruct：HotpotQA 上的冲突度 AUROC 为 0.829）。
RAG 源分歧： 当检索到的文档与参数化记忆冲突时，冲突度显著上升（例如，Mistral-7B 增加 0.048），同时准确率下降。这种效应在四种架构家族中均呈现方向性一致。
ScopeGate 性能： ScopeGate 正确识别了 4 个可部署的配置（均为 Qwen2.5 变体和 OLMo-2-7B-Instruct），在测试的 11 个模型中。它正确警告不要将冲突度作为 Mistral-7B 和 Phi-2 等模型的独立信号。
指令微调： 研究发现指令微调 (RLHF) 会降低基于熵的检测效果（使模型变得更自信但可能更不可靠），同时保留或加强了冲突信号，这使得 LEF 对于对齐后的模型特别有价值。
效率： 与基础前向传播相比，LEF 增加的开销极小（在前 5 层进行单次前向传播时约为 3.7%）。

5. 重要性与主张

论文声称 LEF 提供了一种结构上截然不同的幻觉检测信号，该信号与输出层级评分是正交的。其主要意义不在于在所有任务上都普遍超越熵，而在于：

揭示内部过程： 它揭示了预测背后的“为什么”（层级一致性 vs. 冲突），而非仅仅是“是什么”（概率）。
源归因： 它是唯一能在单次前向传播中分离 RAG 场景下参数化记忆与检索证据的方法。
通过诊断保障安全： ScopeGate 的引入解决了领域内未经验证便直接部署检测器的倾向。论文强调，检测器的有效性是模型-任务对的属性，而非检测器本身的属性。
无需训练的高效性： 它在不需要标签数据或多次推理次数的情况下，达到了与监督探测器和采样方法相媲美的性能。

作者对冲突信号的普适性保持谦逊，明确指出其有效性取决于特定的模型架构和规模，并强调在部署前必须使用 ScopeGate 进行验证。他们并未声称已经找到了导致某些模型有效而其他模型失效的精确机械原因（例如层多样性），并指出目前的层多样性测试无法解释这种差异。