技术摘要：用于幻觉检测的 D-Score

问题陈述

大型语言模型（LLM）经常生成流畅的文本，但其中包含错误、缺乏证据支持或与模型内部知识不一致的陈述，这种现象被称为“幻觉”。目前的检测方法通常依赖于外部资源（基于检索的系统）或多次生成过程（基于一致性的方法），这增加了推理成本和复杂性。目前需要一种能够在单次前向传播过程中，直接作用于模型内部状态的检测机制，而无需外部验证器或重复采样。

方法论：D-Score

本文引入了 D-Score，这是一种源自 Transformer 模型隐藏层激活几何结构的谱统计量（spectral statistic）。其核心直觉是：一段得到充分支持的文本会诱导出一个凝聚在少数几个主导方向上的连贯隐藏轨迹。相反，当模型处理包含与其内部知识相冲突的未受支持的主张时，隐藏表示可能会同时编码所断言的内容以及反向证据、不确定性或缺乏支持的痕迹。这种冲突会导致隐藏轨迹扩散到额外的奇异方向上，从而增加激活矩阵的“有效”维度。

数学公式

给定一个固定模型 $m$，特定层 $j$，以及输入文本 $\mathbf{x} = (x_1, \dots, x_T)$，该方法构建了一个隐藏激活矩阵 $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$，其中列代表第 $j$ 层在不同 token 处的隐藏状态。

令 $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ 为 $H^{(j)}(\mathbf{x}; m)$ 的非零奇异值。D-Score 定义为该矩阵的相对数值秩（relative numerical rank）：
$$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$$
其中 $\tau > 1$ 是容差参数。该得分统计了相对于领先奇异值 $\sigma_1$ 仍保持显著的奇异方向数量。

检测规则

如果 D-Score 超过校准后的决策水平 $\bar{D}$，则检测器将输入分类为幻觉：
$$\hat{Y}(\mathbf{x}) = 1 \quad \text{若} \quad D_{\tau}(\mathbf{x}) > \bar{D}$$
这种方法仅需一次前向传播，并计算领先的奇异值（直到它们低于相对阈值为止），这可以通过在 Gram 矩阵 $H^\top H$ 上使用幂迭代法（power method）等迭代方法高效估计，从而避免了高维模型全量 SVD 的计算开销。

理论依据

论文将模型内部幻觉定义为：模型分配了低内部真实信念（internal truth belief）的未受支持的主张。它假设此类主张会在隐藏状态空间中引入“冲突方向”。一个理论命题证明，如果未受支持的内容引入了 $q$ 个足够强的、与连贯表示正交的方向，则 D-Score 会至少增加 $q$。因此，高 D-Score 是存在这些冲突方向的代理指标。

核心贡献

1. 引入 D-Score： 一种简单的谱统计量，代表隐藏激活矩阵的相对数值秩，旨在衡量隐藏状态轨迹的扩散程度。
2. 操作性定义： 基于未受支持且具有低内部真实信念的主张给出了模型内部幻觉的形式化定义，将其与模型无法内部检测到的错误区分开来。
3. 几何论证： 提供了一个理论依据，表明幻觉文本可以通过将隐藏轨迹扩散到额外的冲突方向（不确定性、反向证据）来增加 D-Score。
4. 实证评估： 通过在多个模型和数据集上的全面评估，证明了 D-Score 是一个强大的幻觉检测信号。

实验结果

D-Score 在两个基准测试上进行了评估：FAVA-Annotation（开放域生成中的事实错误）和 RAGTruth（检索增强生成中的幻觉）。实验在三个开源模型上进行：Llama-2-7B、Llama-3-8B 和 Vicuna-7B。

• 性能表现： D-Score 一致优于最先进的基准方法，包括 Hidden Score（一种先前的谱方法）、基于困惑度（perplexity）的评分以及基于熵的指标。
  • 在 FAVA-Annotation 上，D-Score 在所有模型中均取得了最高的 AUROC（例如，Llama-3-8B 为 66.98%，而 Hidden Score 为 57.10%）。
  • 在 RAGTruth 上，D-Score 保持了稳健的性能（例如，Llama-3-8B 的 AUROC 为 61.53%），而 Hidden Score 在 Vicuna-7B 上的性能大幅下降（接近随机猜测），而 D-Score 依然有效（60.20%）。
• 模型能力相关性： D-Score 与基准方法之间的性能差距在更强大的模型（如 Llama-3-8B）中更为显著，这表明该方法能有效捕捉模型内部能够识别出的非事实性幻觉。
• 子集分析： 当在模型显式自我评估与人类标注一致的数据子集（过滤掉模型无法识别自身错误的情况）上进行评估时，D-Score 取得了更高的 AUROC 分数（在 Llama-3-8B 上高达 72.51%），证实了该方法依赖于模型的内部表示来识别错误。

意义与主张

论文声称 D-Score 提供了一个强力的隐藏状态信号，用于在严格的效率约束下进行幻觉检测：

• 单次通过的高效性： 它仅需对模型进行一次前向传播。
• 无外部依赖： 它不需要外部检索、外部验证器或第二个模型。
• 无需多次生成： 与基于一致性的方法不同，它不需要采样多个输出。

作者将 D-Score 定位为一种校准后的风险评分，而非对真理的普遍表征。它对于检测“模型内部幻觉”特别有效——即模型拥有识别不一致性的必要信息，但在最终输出中未能抑制该信息的错误。该方法强调，隐藏状态轨迹的拓扑结构（特别是奇异值的扩散情况）包含了关于模型置信度和冲突内部信号存在的诊断信息。

局限性

作者承认存在以下几点局限性：

• 白盒要求： 该方法需要访问隐藏层激活值，这使得它在无法获得此类访问权限的情况下，无法应用于闭源模型。
• 内部可见性： 它只能检测那些在模型内部状态中留下痕迹的幻觉；如果模型缺乏识别错误的内部知识，D-Score 可能无法发出警报。
• 复杂度混淆： 高 D-Score 也可能由长文本、多样化或语义复杂的非幻觉文本引起，因此需要仔细校准。
• 参数敏感性： 虽然具有鲁棒性，但该方法依赖于层数、容差 $\tau$ 以及决策阈值 $\bar{D}$ 的选择。