技术摘要：CORTEX

问题陈述

检索增强生成（RAG）被广泛用于将大语言模型（LLM）的输出锚定在外部引用之上，然而即使提供了引用，模型仍频繁生成幻觉内容。现有的幻觉检测方法面临两个主要局限性：

1. 粒度问题： 大多数方法在“答案层面”进行操作，将整个响应视为一个单一单元进行评估。这对于长文本 RAG 输出是不够的，因为其中往往同时存在忠实的内容和幻觉的内容。
2. 方法论问题： 许多现有方法依赖于自一致性（需要多次生成）或基于提示词的事实检查（需要额外的推理和提示工程），这会产生高昂的计算成本。此外，许多基于表示的检测器仅分析孤立的单个内部状态，而不是比较存在引用与不存在引用时模型状态的变化。

本文提出需要一种标记（token）级的检测方法，该方法能够定位混合输出中的未锚定内容，并作为一个实用的、事后（post-hoc）框架，适用于开源权重和闭源权重（基于 API）的 LLM。

方法论：CORTEX

CORTEX（对比观测引用级标记表达，Comparative Observed Reference-based Token-level EXpressions）是一个专门为 RAG 设计的事后幻觉检测框架。它利用一个开源权重 LLM（$M_{open}$）作为分析模型，来检查由闭源权重 LLM（$M_{close}$）生成的答案的内部表示。

该框架通过三个核心组件运行：

1. 引用诱导的增量表示（Reference-Induced Delta Representation）

CORTEX 构建了同一答案在两种条件下的配对反事实视图：

• 有引用条件的输入： $x_{ref} = \text{问题} \parallel \text{引用} \parallel \text{答案}$
• 无引用条件的输入： $x_{no-ref} = \text{问题} \parallel \text{答案}$

通过将这两种输入输入到 $M_{open}$ 中，该方法提取每个答案标记 $t_i$ 的标记级内部表示（$h_i$）。它计算一个增量表示（$\Delta h_i$），代表提供引用时标记状态的变化：
$$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$$
直觉在于：忠实的标记在被锚定在引用中时会表现出连贯的表示偏移，而幻觉标记则表现出较弱或不连贯的变化。

2. 基于注意力的上下文残差（Attention-Based Contextual Residual）

在长文本生成中，引用的影响可能会间接传播。一个标记 $t_i$ 可能不是通过与引用的直接联系，而是通过先前已被锚定的标记（$t_{<i}$）而被锚定的。仅仅依赖 $\Delta h_i$ 可能会将这些间接锚定的标记误分类为幻觉。

为了解决这个问题，CORTEX 计算了一个上下文残差（$c_i$）。它使用来自引用条件输入的注意力权重（$\alpha_{ij}^{ref}$）来估计通过前序标记介导的引用影响：
$$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$$
$$c_i = \Delta h_i - \bar{\Delta h}_i$$
残差 $c_i$ 隔离了在考虑了从上下文传播的影响后，该标记特有的变化，从而减少了将间接锚定在引用中的标记误判为幻觉的情况。

3. 标记级分类与平滑处理

特征 $[\Delta h_i; c_i]$ 被送入多层感知器（MLP）分类器，以产生原始幻觉分数 $s_i$。

为了符合人类标注模式（即幻觉通常表现为连续的片段而非孤立的标记），CORTEX 在后处理步骤中应用了标签持久性平滑（Label-Persistence Smoothing）。它使用成对持久性项（$\rho$）和源自 $s_i$ 的标记级置信度，对幻觉标签在相邻标记间持续存在的倾向进行建模。最终的平滑分数通过前向-后向算法计算，在减少局部噪声的同时保留了标记级的粒度。

核心贡献

1. 首个标记级 RAG 检测器： 据作者所知，CORTEX 是第一个专门为 RAG 设计的标记级幻觉检测方法，实现了对未锚定内容的细粒度定位。
2. 实用的事后框架： 该方法不需要修改生成器的参数。通过使用单独的开源权重模型进行特征提取，它可以分析包括基于 API 的闭源权重模型在内的任意 LLM 的输出。
3. 对比表示方法： 与以往仅分析单个内部状态的工作不同，CORTEX 利用了在不同条件（有引用 vs 无引用）下内部表示的对比，以分离出由引用诱导的信号。
4. 上下文与片段感知设计： 上下文残差的引入解决了间接锚定的问题，而标签持久性平滑则使预测与基于片段的标注结构保持一致。

实验结果

作者在两个基准测试（RAGTruth 和 HalluRAG）上评估了 CORTEX，使用了三种 LLM（Llama-3.1-8B、Qwen3-8B 和 Mistral-7B）。

• 标记级性能： CORTEX 在平均精度（AP）和 AUROC 方面显著优于五种基线方法（包括 NLL、SAPLMA、LLM-Check、ICR Probe 和 RAGLens）。在 RAGTruth 上，CORTEX 实现了 0.5940 的 AP（Qwen 模型），而次优的 RAGLens 为 0.4575。
• 答案级性能： 尽管是为标记级检测训练的，但 CORTEX 通过使用最大标记分数作为答案分数，取得了具有竞争力的答案级性能，证明了标记级信号对于全局可靠性评估是有效的。
• 消融研究： 去除上下文残差（$c$）或平滑步骤会导致性能下降，证实了这两个组件对于鲁棒检测都是必要的。研究表明，即使应用于基线方法，平滑步骤也具有广泛的益处。

重要性与声明

论文声称，CORTEX 证明了比较不同调节条件下的内部表示作为幻觉检测信号的有效性。

• 实用性： 通过将生成器与分析器解耦，CORTEX 为在生成器为黑盒 API 的部署系统中进行可靠性评估提供了一种可行的解决方案。
• 粒度： 它通过提供一种将幻觉定位到特定标记的机制，解决了答案级检测的局限性，这些标记随后可以聚合到任何所需的粒度（单词、句子、段落）。
• 范围： 作者明确指出，CORTEX 是为基于引用的生成设计的。它检测由提供的引用所不支持的内容，这对于受控应用（例如企业支持）至关重要，但在开放式场景中可能会标记有用的参数化知识。论文并不声称检测独立于所提供上下文的通用事实错误。

作者总结道，这些对比性的内部表示信号也可以作为未来幻觉缓解策略的基础，例如用于微调生成器的奖励建模。