Forecasting the Onset of Hallucination: Causal, Token-Level, Black-Box Survival Analysis During Generation

技术摘要：幻觉发生的预测研究

问题定义
目前的词元级（token-level）幻觉检测器是反应性的，即在错误陈述生成之后才对其进行标记。作者的一项伴随分析确定了任何针对变点（change-point）进行反应的检测器都存在约 1.3 个词元的理论延迟，这意味着检测本质上发生在幻觉开始之后。本文旨在探讨是否可以在幻觉发生之前对其进行“预判”（forecast）。该任务被形式化为离散时间生存分析：将幻觉片段的开始视为在当前忠实词元（faithful tokens）构成的风险集上的一个“失效事件”。目标是仅利用截至当前词元 $t$ 时可获得的因果、流式安全特征，来计算每个词元的风险函数（hazard）——即在未来 $k$ 个词元内发生起始点的概率。

方法论
所提出的框架依赖于一个用于生成过程中部署的因果、黑盒、词元级流水线：

• 因果特征审计： 作者利用了源自前人研究的 33 维特征流，但进行了严格的因果审计以剔除“未来泄露”成分。通过总输出长度归一化的特征（如位置、句子计数）或基于不完整句子的特征（如 NLI 特征）被舍弃。这留下了 24 个流式安全特征：18 个文本特征（新颖性窗口、n-gram 重叠、实体标志）和 6 个语言模型特征（对数概率、熵）。
• 模型架构： 预测器采用了一个单向循环网络（具有 64 个隐藏层宽度的两层 GRU）来读取因果特征历史。风险头（hazard head）输出多个视界（$k \in \{1, 3, 5, 10\}$）的逻辑值（logit），代表在未来 $k$ 个词元内发生起始点的概率。
• 训练： 模型在风险集（仅限忠实词元）上使用掩码多视界二元交叉熵损失进行训练，并根据较长视界下起始点稀缺性的权重进行了调整。
• 评估： 性能通过 AUROC 和 PR-AUC 进行衡量。至关重要的是，作者区分了“池化 AUROC”（会将文档级风险与时序混淆）和“文档内 AUROC”（通过仅在已知会产生幻觉的文档上进行评估，从而隔离时序信号）。

关键结果

• 可预测性： 起始点在每个视界下都是可预测的。在 RAGTruth 语料库上，循环预测器在视界 $k=3$（预测未来三个词元内发生起始点）时实现了 0.777 ± 0.002 的 AUROC。这比逐点逻辑风险基准高出 12 个百分点，表明了读取特征轨迹的价值。
• 信号来源： 早期预警信号被确定为文本新颖性漂移，而非语言模型的不确定性（surprisal）。仅使用 18 个文本特征的模型达到了与全量因果特征集相当的性能，而仅使用语言模型特征的模型表现则相对落后。该信号反映了模型在幻觉开始前偏离其源上下文的过程，而非局部的确定性激增。
• 负延迟： 与在匹配的误报预算（$\alpha=10^{-3}$）下的伴随变点检测器相比，该预测器实现了负延迟。预测器提前中值 11 个词元发出预警，而检测器则在发生后中值 15 个词元才触发。这实现了检测器在结构上无法实现的负延迟。
• 零假设模型： 该信号并非仅仅是过去起始点的自相关（一个仅使用起始点历史和时钟的匹配容量零假设模型实现了 0.65 AUROC，显著低于基于内容的预测器），也不是自激过程（Hawkes 过程并未比协变量模型带来额外价值）。
• 领域特定性： 预测能力具有领域特定性。该模型在从 RAGTruth（长文本 RAG）迁移到 PsiloQA（短文本 QA）时表现为零样本失败，性能甚至倒置至低于随机水平。然而，当在 PsiloQA 上进行领域内重训时，它恢复了高水平性能（0.74–0.79 AUROC），而检测信号则表现出部分迁移能力。

意义与主张
本文声称，预测幻觉起始是一个与检测截然不同且正交的任务。提示词级预测器可以识别哪些生成过程具有风险，检测器可以识别幻觉已经开始，而本预测器则能识别在生成过程中的何时以及何处风险演变为起始点。

作者强调，驱动预测的机制是相对于源文本的文本新颖性的逐渐漂移，而非突发的状态变化。因此，预测器提供的提前量对于必须在错误词元发射之前进行的干预（例如，重新生成片段、约束解码或引导模型）具有重要价值。对于简单的中止策略（停止生成），作者指出，后起始检测器可能在词元效率上更高，因为它避免了在错误发生前切断忠实的词元。本文结论认为，虽然存在负延迟的早期预警，但要实现减少幻觉率的目标，需要实时解码器访问权限和特定的干预策略，这超出了本离线研究的范围。