🤖 AI

Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

本文介绍了 InnerExpert，一种新颖的逐 token 幻觉检测方法，该方法利用混合专家（MoE）架构中独特的内部信号——例如路由熵和专家分歧——在仅需单次前向传播的情况下，在多个数据集上实现了卓越的性能。

原作者： Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是新一代人工智能背后的引擎，它们能够撰写文章、解决问题，并进行感觉非常接近人类的对话。然而，在这种流利度之下隐藏着一个持久的缺陷：这些机器有时会极其自信地编造事实。这种被称为“幻觉”的现象，是指模型生成了听起来合情合理但完全错误的内容。虽然这些错误在日常闲聊中通常无伤大雅，但当模型被用于医疗建议、法律研究或新闻报道时，就会变得十分危险。科学家的核心挑战不仅是在事后发现这些谎言，而是要在它们发生的那一刻将其捕捉到，理想情况下，甚至要识别出真相开始瓦解的确切词汇。

多年来，研究人员一直试图通过让模型重复回答多次，或者检查不同版本的叙述是否一致来解决这个问题。这些方法有效，但速度慢且成本高，因为计算机需要重复执行相同的任务多次，仅仅为了寻找一个错误。一种更新的方法则是观察模型在思考时的“大脑”内部，寻找其内部计算中细微的不确定性迹象。然而，大多数此类内部检查仅限于标准模型。一种不同且更强大的架构——被称为“混合专家模型”（Mixture-of-Experts）——最近变得流行起来，因为它更快且更高效。这种设计就像一个专家团队，由一个中央管理者决定在生成每个单词时应该调用哪位特定的专家。直到现在，这些内部团队动态产生的信号在捕捉谎言方面很大程度上仍被忽视了。

在一项新的研究中，来自葡萄牙的研究人员开发了一种名为 InnerExpert 的方法，终于将这些内部团队信号投入了实际应用。InnerExpert 不再要求模型重复自身，也不再等待句子结束才检查错误，而是实时观察模型的内部路由过程。当模型生成响应时，一个微小的路由器会决定哪个“专家”网络应该处理当前的单词。研究人员发现，当模型即将产生幻觉时，这个路由器会表现出困惑的迹象。专家们可能会产生分歧，或者路由器可能会在为任务选择最合适的专家时感到挣扎。通过追踪这些犹豫和分歧的时刻，结合关于模型如何聚焦注意力的标准信号，InnerExpert 可以在生成每一个单词的同时为其分配一个置信度分数。

该团队使用一种巧妙的自动化方法训练了他们的系统。他们向模型输入了数千个问题，并让一个单独的高能力人工智能充当裁判，对哪些答案是真实的、哪些是编造的进行标注。这使得他们能够教会 InnerExpert 识别导致幻觉发生的特定内部信号模式，而无需任何人工去手动阅读和纠正数据。一旦训练完成，该系统就会作为一个轻量级的检测器，与主模型并行运行，仅需单次数据传递即可产生结果。它不需要减慢模型的速度，也不需要要求它生成额外的文本。

在五个不同的数据集和两种不同类型的模型上进行测试时，InnerExpert 证明了其卓越的有效性。它成功识别了幻觉答案，在句子层面的准确率高达 0.91，在单个单词层面的准确率达到 0.76。这些数字代表了对现有方法的显著改进，因为现有方法往往难以精确定位谎言开始的位置。该系统表现出了良好的泛化能力，即使在处理模型原始训练后发生的事件（这是幻觉最频繁发生的场景）时，依然表现强劲。至关重要的是，它在实现如此高水平检测的同时，仅增加了极小的计算成本，使其在现实世界中使用具有实用性。

研究还表明，没有任何单一的内部团队信号足以独立捕捉所有的谎言。某些信号在检测某一类模型时效果更好，而另一些信号在另一类模型上则表现更佳。InnerExpert 的真正力量来自于将所有这些不同的信号——路由器困惑、专家分歧和使用模式——整合为一个统一的分数。这种结合使得系统能够比任何单一指标都更清晰地观察到模型的置信度。研究人员证明，通过倾听模型专家内部的“嘈杂声”，他们可以以一种此前在不降低系统速度的情况下无法实现的精度来检测不确定性。

这项工作表明，通往更可靠人工智能的路径可能并不需要构建更大的模型或更复杂的验证系统。相反，它可能在于更加关注那些模型已经在产生但却被忽略的信号。通过学习解读模型内部决策过程中细微的犹豫迹象，我们可以构建出能够知道自己何时在猜测、何时在确定的系统。研究人员指出，虽然他们的方法非常有效，但它并非完美的解决方案，未来的工作需要探索这些技术在不同语言和更多样化任务中的适用性。不过，目前来看，这项研究提供了一种清晰且高效的方法，能在幻觉发生的瞬间将其捕捉，为使人工智能的输出更加值得信赖提供了一个实用的工具。

技术摘要：InnerExpert —— 混合专家模块包含强力的幻觉检测信号

问题陈述

大语言模型（LLMs）经常生成看似合理但事实错误的文本，这种现象被称为幻觉。尽管检测这些幻觉对于提高可靠性至关重要，但目前仍是一个挑战。现有的检测方法大致分为三类：

基于采样的（Sampling-based）： 如 SelfCheckGPT 和 Semantic Uncertainty 等方法，通过探测多次随机生成之间的一致性来进行检测。虽然有效，但由于需要多次前向传播，在推理时计算成本较高。
内部信号类（Internal-signal）： 如 LLM-Check 和 MIND 等方法，在单次前向传播中利用隐藏状态和注意力模式进行操作。然而，它们通常仅利用密集型架构中可用的有限子集信号，并忽略了混合专家（MoE）模型独特的路由结构。
可训练检测器（Trainable detectors）： 如 HaluNet 和 FacLens 等方法，在密集 Transformer 信号上学习分类器，但通常在答案级或句子级而非 Token 级进行操作，这限制了其对特定幻觉片段的定位能力。

此外，大多数当前的方法缺乏逐 Token 粒度（per-token granularity），而这对于精细化定位幻觉片段以及实现针对性干预至关重要。目前在利用 MoE 架构特有的内部信号来实现这一目标方面存在明显的空白。

方法论：InnerExpert

本文介绍了 InnerExpert，一种专为 MoE 架构设计的单次前向传播、逐 Token 幻觉检测器。它通过拦截模型的前向传播过程来提取并组合内部信号，将其转化为紧凑的特征向量，随后由一个轻量级检测器进行分类。

1. 信号提取

InnerExpert 区分了标准信号（在任何 Transformer 中都可用）和 MoE 特有信号（源自路由机制）。

标准信号：
- 隐藏状态得分（Hidden State Score）： 通过计算截至当前 Token 的中心化协方差矩阵的平均对数奇异值，来捕捉表示冗余度。
- 注意力得分（Attention Score）： 通过注意力核对角线元素的对数累积和，来捕捉关注模式。
MoE 特有信号： 这些信号在密集型架构中是不可用的，也是本文贡献的核心。它们包括：
- 路由熵（Router Entropy）： 门控分布的熵，指示了专家选择的不确定性。
- 专家隐藏得分（Expert Hidden Score）： 对每个被激活专家的隐藏状态得分进行路由加权聚合。
- 专家相似度（Expert Similarity）： 被激活专家输出之间成对余弦相似度的路由加权平均值；低相似度意味着分歧（类似于集成模型中的不一致性）。
- 专家使用分布（Expert Usage Distribution）： 由路由概率加权的专家选择累积分布。
- 基尼不纯度（Gini Impurity）与逆赫芬达尔指数（Inverse Herfindahl Index）： 从使用分布中导出的指标，用于衡量专家贡献的分布广度及有效专家数量。

2. 特征组装与分类

对于每个生成的 Token，每一层的信号被展平为一个单一的特征向量 $\Phi_t$ 。该向量被输入到一个轻量级分类器（例如逻辑回归、XGBoost、MLP）中，该分类器经过训练以输出幻觉得分 $s(y_t) \in [0, 1]$ 。答案级得分通过聚合 Token 得分（使用 max 算子）获得。

3. 训练监督

为了避免人工标注，作者采用了一种使用“LLM 作为评判者（LLM-as-a-judge）”流水线的无监督训练方法：

数据来源： 来自 RealtimeQA 平台（2024 年 1 月–2025 年 12 月）的问题。
生成： 主模型在有参考证据和无参考证据的情况下分别生成答案（模拟 RAG）。
标注： 评判模型（GLM-5.1）将生成的答案与参考证据进行对比，生成二元幻觉标签并识别出幻觉片段。这些片段被映射为逐 Token 的二元标签。
验证： 这些标签的质量通过与人工标注进行对比得到验证，结果显示其与弱词法/语义启发式方法的符合度显著更高。

核心贡献

InnerExpert 框架： 首个利用 MoE 特有内部信号（路由熵、专家分歧、使用模式）进行逐 Token 幻觉检测的方法，且无需修改宿主 LLM 或进行额外的采样。
无监督训练流水线： 一种利用“LLM 作为评判者”针对参考证据进行标注来训练逐 Token 检测器的形式化方法，消除了对人工标注的需求。
信号清单与分析： 将六种 MoE 特有信号与标准 Transformer 信号进行形式化，从而能够系统地研究哪些路由信号携带了关于幻觉的判别信息。
达到最先进性能（SOTA）： 证明了通过结合这些信号，其性能优于跨多个数据集和架构的基准方法。

实验结果

作者在两个开源 MoE 模型（OLMo-1B-7B 和 Gemma-4-26B）以及五个数据集（RealtimeQA, SQuAD, TruthfulQA, NQ-Open, FreshQA）上对 InnerExpert 进行了评估。

性能： 在五个数据集上，InnerExpert 平均实现了高达 0.91 的答案级和 0.76 的 Token 级 AUROC。具体而言，表现最好的变体（IE XGB）在 Gemma-4-26B 上达到了 0.912 的平均答案级 AUROC；而针对 OLMo-1B-7B 表现最好的变体（IE LR）达到了 0.762 的平均 Token 级 AUROC。它在涵盖采样类、内部信号类和可训练范式的基准测试中始终保持领先。
信号贡献： 没有单一的 MoE 信号在两种架构下都表现出统一的高强度。然而，通过分类器进行组合后，性能得到了持续提升，这表明这些信号提供了互补的信息。例如，在 OLMo 上，组合后的 AUROC 比表现最好的单个 MoE 信号提高了 0.197。
效率： InnerExpert 仅需单次前向传播。虽然提取完整的 MoE 信号会将推理成本增加到原生生成的约 $2.5\times$ ，但总开销（包括分类器推理）仍保持在原生生成的 $3\times$ 左右。这比需要多次前向传播（例如 $K=5$ ）且往往使 GPU 显存占用翻倍的采样类方法要高效得多。
泛化能力： 该方法在时间分布外数据（训练后的事件）和跨数据集泛化任务中保持了相对于基准方法的持续优势。

意义与主张

论文声称 InnerExpert 通过利用 MoE 模型独特的内部结构，填补了幻觉检测的关键空白。通过利用与认知不确定性（特别是专家分歧和路由不确定性）相关的信号，该方法实现了高效率的精细化逐 Token 检测。

作者强调：

MoE 特有信号是检测文本生成中幻觉的一种丰富且此前未被探索的资源。
通过轻量级分类器简单地组合这些信号与标准 Transformer 信号，足以达到最先进的结果，而不需要像 HaluNet 那样复杂的架构。
无监督标注流水线允许进行持续的模型更新而无需人工干预，使该方法具有可扩展性。

该工作在规模上较为克制，指出了包括人工验证规模较小、仅限于英语以及依赖轻量级分类器等局限性。作者特别指出，MLP 和逻辑回归（LR） 在不同模型中表现最为一致，而 XGBoost 在某些模型（如 Gemma）上会出现 F1 值剧烈下降，这表明是阈值敏感性而非缺乏判别能力。作者建议未来的工作可以侧重于领域认证、受控文本生成以及扩展到多语言环境。