💬 NLP

HALT: Hallucination Assessment via Log-probs as Time series

该论文介绍了 HALT，一种轻量且高效的幻觉检测器，它通过将标记（token）对数概率作为时间序列进行分析，实现了比现有方法更优越的性能和速度，以及 HUB，一个统一了十种不同能力的综合基准，用于评估大语言模型的幻觉检测能力。

原作者： Ahmad Shapiro, Karan Taneja, Ashok Goel

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmad Shapiro, Karan Taneja, Ashok Goel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在听一位说书人讲故事。有时，他们说话时充满绝对的自信，声音稳健而清晰。有时，他们可能会结巴、犹豫，或者在编造一个虚假细节之前，声音会微微颤抖。

长期以来，试图捕捉大语言模型（LLM）谎言（或“幻觉”）的研究人员尝试了两种主要方法：

“白盒”法： 要求说书人展示他们的秘密笔记和脑电波。如果你拥有这个说书人，这很棒；但如果你只是在使用一个公共 API（比如聊天机器人），这便无法实现。
“黑盒”法： 要求第二个说书人进行事实核查，或者让说书人重复一遍故事。这种方法速度慢、成本高，而且第二个说书人也可能会撒谎。

HALT（基于对数概率时间序列的幻觉评估）是一个聪明的新型侦探，它既不需要看秘密笔记，也不需要第二个说书人。它只需要倾听说书人自信心的节奏。

核心思想：倾听自信心的“心跳”

当一个 AI 生成文本时，它不仅仅是选择一个词；它还会计算下一个可能出现的每个词的可能性。这些计算被称为对数概率（log-probabilities）。你可以把这些理解为 AI 对每一个词的内部“自信度量表”。

作者们意识到，这些自信度量表并不只是静止不动；它们像时间序列（心跳或股票市场图表）一样在移动。

当 AI 说实话时，它的自信度量表通常遵循平滑、稳定的节奏。
当它开始产生幻觉（编造内容）时，这种节奏会变得异常。它可能会突然飙升、骤降，或者呈现出某种特定的波动模式，即便 AI 听起来表现得非常自信。

HALT 是一个轻量级的微型计算机程序（一个“GRU”模型），专门训练来观察这种自信心节奏。它并不阅读 AI 所说的文字；它只观察 AI 在说话时那条自信度的曲线图。

侦探的工具箱：HALT

HALT 就像一个专门的听诊器。它观察 AI 在每一步骤中考虑的前 20 个最可能的词。它测量：

选择的摇摆程度： AI 是否在两个词之间犹豫不决？（高不确定性）。
变化的剧烈程度： AI 是否突然从 99% 的确定度跳到了 50%？
随时间变化的模式： 置信度曲线看起来是平滑的山丘，还是锯齿状的山脉？

通过将这种“自信心心跳”输入到它的脑中，HALT 学会了识别当 AI 开始撒谎时所出现的特定“心律失常”。

新的竞技场：HUB

为了测试 HALT 是否真的有效，作者构建了一个巨大的全新测试场，名为 HUB（幻觉检测统一基准）。

想象一下，之前的测试就像只在安静的小图书馆里玩耍（专注于简单的事实或聊天）。HUB 则是一个巨大的、混乱的体育场，拥有 10 种不同的运动项目：

推理类运动： 数学、编程、逻辑谜题和算法。
通用类运动： 聊天、新闻摘要和常识问答。

作者意识到，“幻觉”不仅仅是编造事实（比如说月亮是由奶酪做的）。它还包括逻辑幻觉——即 AI 虽然事实正确，但在得出结论的数学或逻辑步骤上出错。HUB 测试了所有这些内容。

结果：小而强大

论文将 HALT 与其他检测器进行了对比：

Lettuce： 一个非常庞大、沉重的检测器（像一辆巨型坦克），它需要阅读实际的文本。
白盒方法： 需要看到 AI 内部大脑的检测器（这在大多数商业 AI 上是无法实现的）。

令人惊讶的是： HALT 比那个沉重的坦克（Lettuce）小 30 倍，且速度快 60 倍。然而，它赢的次数更多！

它在 10 项运动中有 7 项击败了那个沉重的坦克。
它与那个巨型坦克表现同样出色，但它不需要阅读文本，也不需要看到 AI 的大脑。它只需倾听自信心的节奏。

重要局限性（论文所述内容）

它是特定于模型的： HALT 就像一位完美掌握某位特定选手心跳的教练。如果用名为“Llama”的 AI 来训练 HALT，它就会成为识别 Llama 谎言的专家。如果你尝试将同一个 HALT 用于不同的 AI（如“Qwen”），它会感到困惑。不同模型的“心跳”模式是不同的。
它需要获取“置信度数值”： 你不需要看到 AI 的大脑，但你需要 API 提供每个词的前 20 个置信度数值。如果一个 API 完全隐藏了这些数字，HALT 就无法工作。
它负责检测，而非修复： HALT 是一个烟雾报警器。它能告诉你 AI 何时产生了幻觉，但它不会告诉你为什么产生幻觉，也不会告诉你如何修复故事。

总结类比

把 AI 想象成一名正在表演魔术的魔术师。

旧的检测器试图窥视魔术师的帽子下面（白盒），或者询问观众是否觉得魔术是真的（黑盒文本分析）。
HALT 只是观察魔术师的手部动作。它知道，当魔术师准备从帽子里掏出一只假兔子时，即使他笑得非常自信，他的手部动作也会变得略显僵硬且难以预测。HALT 经过训练，能够识别出 AI 置信度数值中那种特定的“僵硬手部动作”模式，从而在无需看清魔术过程或询问任何人的情况下，瞬间识破谎言。

技术摘要：HALT（基于对数概率时间序列的幻觉评估）

1. 问题陈述

大语言模型（LLMs）经常产生幻觉——即包含可验证的错误或无根据信息的输出。这为在安全敏感领域部署 LLM 带来了显著障碍。现有的检测方法面临着截然不同的局限性：

白盒方法需要访问模型的内部状态（隐藏层激活、注意力图），这对于专有的、闭源的 API 来说是不可能的。
黑盒文本方法通常依赖于外部检索、额外的 API 调用或辅助 LLM 来判断一致性。这些方法会引入延迟、成本，并带来“评判者”模型本身可能产生幻觉或引入领域偏差的风险。
基于不确定性的方法通常依赖于聚合统计量（例如平均置信度、整体熵），这些方法可能无法捕捉模型校准误差的随时间变化的动态特性。

作者提出，虽然原始的 token 概率本身由于校准偏差并非可靠的真实性指标，但这些概率的时间演化包含了稳定的不确定性信号。核心研究问题是：能否仅通过对 token 对数概率（log-probabilities）进行建模，而不分析生成的文本或咨询外部参考资料，来检测幻觉？

2. 方法论

2.1. 核心范式：将对数概率视为时间序列

HALT 将 top- $k$ token 对数概率的序列视为一个时间序列分类问题。该方法并没有将概率压缩为汇总统计量，而是保留了模型在每个解码步骤中置信度的有序序列。

输入表示：
对于长度为 $T$ 的响应，模型在每个时间步 $t$ 提取前 20 个对数概率（ $\ell_t \in \mathbb{R}^{20}$ ）。这些概率与五个工程特征拼接在一起，形成一个增强的特征向量 $\tilde{\ell}_t$ ：

平均对数概率： 分布锐度的替代指标。
秩代理（Rank Proxy）： 所选 token 在前 20 个中的有界排名，用于捕捉非贪婪或非典型的选择。
整体熵（ $H_{overall}$ ）： 所选 token 及其候选者的不确定性。
仅候选者的熵（ $H_{alts}$ ）： 竞争候选者之间的分歧程度。
决策熵的时间变化（ $\Delta H_{dec}$ ）： 捕捉所选 token 与最佳备选方案之间确定性的剧烈转变。

最终输入是一个时间序列 $\tilde{\ell}_{1:T} \in \mathbb{R}^{T \times 25}$ 。

2.2. 架构

该模型采用了轻量级的双向门控循环单元（Bidirectional GRU），拥有 500 万个参数。

编码器： 一个多层双向 GRU 处理序列，以捕捉正向和反向的时间模式。
池化： 使用 Top- $q$ 池化机制（其中 $q=0.15$ ）聚合隐藏状态。它会对最显著的时间步（具有最大隐藏状态范数的步骤）进行平均，从而专注于置信度剧烈变化的时刻，而不是在所有 token 上稀释信号。
输出： 一个线性层产生单个逻辑值（logit），用于二分类（幻觉 vs. 忠实），并使用二元交叉熵损失进行训练。

2.3. 关键假设

作者提出了四个并在研究中得到验证的假设：

模型特定偏差： 每个 LLM 都有一个决定性的校准偏差函数，控制其 top- $k$ 概率。
可学习性： GRU 可以学习近似这种由偏差引起的动态特性，将特定的时间模式与幻觉联系起来。
不可迁移性： 在一个模型的对数概率上训练的检测器无法可靠地迁移到另一种不同的模型架构上，这是由于校准偏差的不同。
任务泛化性： 在同一个模型内，针对某一任务族训练的检测器可以泛化到其他任务，因为底层的校准偏差是一致的。

3. 基准测试：HUB（幻觉检测统一基准）

为了评估该方法，作者引入了 HUB，这是一个涵盖 10 种 LLM 能力的综合基准：

面向推理的任务： 算法、常识、数学、符号推理和代码生成。
通用任务： 聊天、数据到文本、问答、摘要和世界知识。

HUB 扩展了先前的数据集（FAVA、RAGTruth、HaluEval），并集成了 CriticBench，以将逻辑幻觉（导致错误或“侥幸正确”答案的缺陷推理步骤）纳入考虑，而不仅仅是事实性幻觉。该数据集分为训练集、验证集和测试集，其中训练过程被限制在聊天、数据到文本和问答任务中，以严格测试在推理任务上的分布外（out-of-distribution）泛化能力。

4. 结果

4.1. 在 HUB 上的表现

HALT 显著优于现有基线：

效率： HALT 的规模比 Lettuce 检测器（一个经过微调的 ModernBERT-base 编码器）小 30 倍，且实现了 60 倍的加速。
准确性： HALT 在 10 个聚类中的 7 个上取得了最佳的 Macro-F1 分数。
- HALT-L（在 LLaMA 3.1-8B 上训练）实现了 67.01 的整体 Macro-F1，超过了 Lettuce（64.00）和聚合统计量基线（例如 $H_{overall}$ 为 32.86）。
- 它在推理任务（算法、常识、符号）中表现尤为出色，在这些任务中，序列级的校准线索比文本级的启发式信息更具预测性。

4.2. 可迁移性与泛化性

跨任务： HALT 在同一模型的不同任务族之间展示了强大的泛化能力，支持了校准偏差是任务无关的假设。
跨模型： 正如预期的那样，当应用于 Qwen 的对数概率时，在 LLaMA 对数概率上训练的检测器性能显著下降，这证实了校准动态是模型特有的，并且不能直接跨架构迁移。
鲁棒性： 尽管没有针对 FAVA、RAGTruth 进行专门调优，HALT 仍然保持了竞争力。

5. 重要性与主张

论文提出了以下贡献与意义：

新的黑盒范式： HALT 引入了一种完全依赖于 token 对数概率的检测方法，避免了对表面形式文本分析、外部验证器或内部模型访问的需求。这使其能够独特地适用于专有 API。
时间动态优于静态指标： 该工作证明，将对数概率视为时间序列可以捕捉到聚合统计量所忽略的不确定性模式（例如，熵的突发上升、排名反转）。
统一框架： 通过将逻辑推理失败纳入幻觉的定义，HUB 提供了一个更广泛的语义不忠实视图，超越了简单的实证核查。
实际效率： 该方法提供了一种极其高效的替代方案，能够以极低的开销实现实时幻觉检测，因为它仅需要生成过程中本就存在的对数概率流。

作者得出结论，虽然 HALT 并不绑定于单一模型，但它学习到了可迁移的不确定性动态，这些动态可以在模型内部的任务间进行泛化，从而为分析模型不确定性建立了一种新的模态，且无需访问权重或外部数据。