💬 NLP

Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification

本文介绍了核令牌矛盾（Kernel Token Contradiction, KTC），这是一种轻量级且对 CPU 效率高的通过利用基于核的令牌表示和维基百科频率统计来量化大语言模型输出中断言级不确定性的方法，在保持高准确度（尤其是在高精度机制下）的同时，实现了相对于现有方法的显著加速。

原作者： Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型已成为现代生活中熟悉的一部分，能够撰写故事、回答问题并总结复杂话题，其流利程度往往让人感觉像是人类。然而，在这种平滑的外表之下，隐藏着一个持久的问题：这些系统有时会生成听起来很有信心但实际上却是错误的陈述。这种现象被称为“幻觉”，即模型捏造事实或混淆细节，这为任何依赖其输出获取准确信息的人带来了风险。为了解决这个问题，研究人员开发了衡量模型对其所言内容确定程度的方法。其目标并非阻止模型说话，而是标记出它正在“猜测”的具体时刻，让用户能够信任答案中可靠的部分，同时对那些不稳固的部分保持警惕。挑战在于，如何找到一种既快速又准确的方法，且不会降低系统速度或需要庞大的计算能力。

来自法国实验室 LIX 的一个研究小组推出了一种名为“核标记矛盾”（Kernel Token Contradiction，简称 KTC）的新方法，旨在解决这一速度与准确性的两难困境。他们的工作专注于一种特定类型的确定性：模型在两个不能同时成立的信息之间犹豫不决的时刻。想象一下模型试图陈述某种产品的价格。如果它不确定，它可能会为两个不同的数字分配高概率，例如 699 美元和 499 美元。这两个数字是相互矛盾的；如果其中一个是正确的，另一个必然是错误的。研究人员意识到，检测这种内部冲突是判断模型是否产生幻觉的强有力信号。与以往依赖于理解语言逻辑的沉重且缓慢的软件的方法不同，KTC 使用了一种更轻量级的方法，该方法基于单词在海量人类写作文本中通常如何出现在彼此身边的规律。

该过程始于观察模型在任何给定步骤中所考虑的候选下一个词的列表。研究人员通过分析维基百科语料库（一个巨大的数字图书馆）构建了这些可能性的地图。他们统计了在现实世界的文本中，特定单词出现在彼此附近的频率。如果两个作为下一步候选词的单词具有非常相似的邻近词，系统就会将它们视为可能存在矛盾。例如，如果模型正在两个不同的价格之间做决定，这些价格数字在维基百科中很可能出现在相似的语境中，从而发出冲突信号。如果模型是在两个不同的词（如“the”和“a”）之间做决定，那么这些词具有完全不同的邻近词，表明它们并非处于冲突之中，而只是表达同一想法的不同方式。这种统计检查取代了需要专门且缓慢的语言模型来判断矛盾的需求，使得整个过程极其迅速。

一旦系统识别出哪些候选词处于冲突之中，它会将此信息与模型自身的置信度相结合。它创建了一个数学表示，将每个词的可能性与它们之间的矛盾程度进行加权。研究人员随后应用了一种被称为“熵”的无序度量。如果模型很自信且选项之间不存在冲突，则不确定性得分保持较低。然而，如果模型在两个相互矛盾的事实之间徘徊，得分就会飙升，从而提醒用户该答案的特定部分是不可靠的。这种计算是在单个单词层面进行的，使得系统能够精准定位长段落中哪一个具体的断言存在问题，而不是仅仅将整个回答标记为可疑。

该方法的测试结果在效率和精度方面都令人瞩目。研究人员在 16 个不同的语言模型以及四种欧洲语言（英语、法语、德语和西班牙语）中对 KTC 进行了评估。他们将其与目前最先进的方法进行了对比，后者的运行依赖于在强大图形处理器上运行的专门语言模型。研究发现，仅在标准中央处理器（CPU）上运行的 K-TC 比这些竞争对手的 CPU 版本快 65 倍以上，比加速后的 GPU 版本快 8 倍以上，同时其性能与之持平甚至更优。至关重要的是，在需要高精度的场景下（即系统在标记错误前必须非常确定），KTC 的表现优于所有其他方法。尽管使用的计算能力远低于现有工具，它仍能以更高的准确率成功识别错误陈述。

这项工作表明，监控大语言模型可以在不产生以往使此类监控在许多应用中变得不切实际的沉重计算成本的情况下，实现实时监测。通过用简单的、快速的针对大规模人类写作数据库的检查，取代复杂的、缓慢的语言模型，研究人员创造了一个可以直接集成到生产系统中的工具。该方法不需要停止或重新训练模型；它只是观察模型的内部选择，并根据矛盾模式计算错误风险。虽然目前的研究局限于四种语言和特定的基准测试，但这种方法为使人工智能在日常使用中更加可靠和值得信赖提供了一条充满前景的路径，确保当模型说话时，我们明确知道何时该倾听，以及何时该进行复核。

技术摘要：核标记矛盾 (Kernel Token Contradiction, KTC)

问题陈述

大型语言模型 (LLMs) 经常生成看似合理但并非事实的内容，即所谓的“幻觉”。虽然不确定性量化 (Uncertainty Quantification, UQ) 旨在通过估计模型的置信度来缓解这一问题，但现有的声明级 UQ 方法面临三个关键局限性：

精度不足： 顶尖方法通常无法在低召回率机制（例如召回率 <20%）中实现高精度，而这对于那些误报成本极高的生产系统至关重要。
计算效率低下： 最先进的方法依赖于自然语言推理 (NLI) 模型（如交叉编码器）来检测矛盾。这些模型需要大量的 GPU 资源，其运行时间甚至可能超过 LLM 生成本身的时间，使得实时监控变得不切实际。
语言偏差： NLI 模型通常是在英语语料库上训练的，这导致其在其他语言中的性能下降。

方法论：核标记矛盾 (KTC)

KTC 是一种轻量级的白盒方法，旨在通过整合预测不确定性（来自 LLM 的分布）和语义不确定性（来自标记矛盾）来计算声明级不确定性。该方法分为四个截然不同的步骤进行：

1. 构建非矛盾图 (步骤 A)

KTC 没有使用沉重的 NLI 模型，而是采用了一种基于维基百科邻居统计 (Wikipedia neighbor statistics) 的启发式方法来确定候选标记是否相互矛盾。

过程： 对于下一次标记预测 (NTP) 步骤中的一组候选标记，该方法统计它们在维基百科语料库中相邻标记出现的频率。
逻辑： 相互矛盾的标记（例如价格中的“699”与“499”）往往具有相似的邻居集合，从而导致较低的非矛盾得分。非矛盾的标记（例如“an”与“the”）或无关的标记具有不同的邻居集合，从而产生较高的得分。
输出： 一个无向、边加权的图，其中边权重代表标记对之间的非矛盾程度。

2. 构建语义核 (步骤 B)

利用热核 (Heat Kernel) 方法将非矛盾图转换为正定 (Positive Semi-Definite, PSD) 语义核 ( $K$ )。

从邻接矩阵计算图拉普拉斯矩阵 ( $L$ )。
热核推导为 $K(\tau) = \exp(-\tau \cdot L)$ ，其中 $\tau$ 是扩散参数。
该核捕捉了语义不确定性：高度连接的图（低不确定性）会导致具有一个主特征值的核，而稀疏的图（高不确定性）则会导致多个较大的特征值。

3. 结合条件分布 (步骤 C)

为了区分偶然不确定性 (aleatoric uncertainty，即随机性) 和认知不确定性 (epistemic uncertainty，即事实性知识缺乏)，KTC 使用 LLM 的预测核 ( $\Pi$ ) 对语义核进行缩放。

$\Pi$ 是一个包含候选标记条件概率的对角矩阵。
组合核 ( $M$ ) 计算为 $M = \Pi^{1/2} K \Pi^{1/2}$ 。
意义： 这种缩放起到了一种门控机制的作用。只有当预测分布是不确定的（高熵）且语义空间存在矛盾（高语义熵）时，才会注册高不确定性。如果模型对其预测很自信（低预测熵）或者标记在语义上是一致的（低语义熵），则最终得分保持较低。

4. 计算冯·诺依曼熵 (步骤 D)

最终的不确定性得分是归一化组合核 $M$ 的冯·诺依曼熵 (Von Neumann Entropy, VNE)：
$\text{KTC} = -\sum_{i=1}^{\delta} \lambda_i(M) \log \lambda_i(M)$
其中 $\lambda_i(M)$ 是 $M$ 的特征值。该指标量化了系统的量子不确定性，有效地聚合了预测不确定性和语义不确定性。

核心贡献

无 NLI 启发式方法： 引入了基于维基百科的邻居频率启发式方法来检测标记矛盾，取代了计算昂贵的 NLI 模型。该设置仅需对维基百科页面进行分词（仅需几分钟的 CPU 时间），无需 GPU 训练。
标记级 KALE 适配： 将核语言熵 (KLE) 原理从生成层级适配到标记层级，实现了细粒度的声明级 UQ。
预测缩放： 一种通过预测分布来缩放语义不确定性的新颖方法，这对于在标记层面分离认知不确定性至关重要。
全面评估： 在 四种欧洲语言（英语、法语、德语、西班牙语）和 16 个 LLM（包括 Llama 3、Mistral、Gemma 3 等）上，基于 MUCH 和 Mu-Shroom 基准测试进行了评估。

实证结果

效率： KTC 实现顶尖性能时，相对于 LLM 推理时间的开销仅为 5.6%。相比之下，基于 GPU 加速的 NLI 方法 (CCP, SAR) 的开销为 46%（高出 8.2 倍），而仅靠 CPU 的 NLI 方法开销高达 369%（高出 65 倍）。KTC 完全在 CPU 上运行，开销微乎其微。
高精度性能： 在高精度机制（召回率 ≤ 20%）下，KTC 的 PR-AUC 达到 0.78，显著优于最先进的 CCP 方法 (0.69)。
整体性能： 虽然 CCP 在整体 ROC-AUC 上略高，但 KTC 位居第二，性能差距极小，同时提供了远超其的计算效率。
泛化能力： KTC 在所有四种测试语言中均保持了竞争力的表现，而 NLI 基准模型（主要在英语上训练）在非英语语境下表现出更大的波动性和更低的性能。

重要性与主张

本文声称，据作者所知，KTC 是首个能够满足生产环境延迟约束、适用于实时监控 LLM 输出的声明级 UQ 方法。通过消除对 GPU 加速和英语训练 NLI 模型的依赖，KTC 提供了一种原则性的、轻量级的解决方案，在计算可行性与高准确度之间取得了平衡。作者强调，KTC 在高精度机制中特别有效，而这对于在拒绝整个答案成本过高的生产环境中缓解幻觉问题最为关键。

该工作被视为迈向使 LLM 可靠性监控规模化的重要一步。作者指出，尽管目前仍需要白盒访问权限（标记概率），但其纯 CPU 的高效性使其能够立即部署到许多现有的生产流水线中。