技术摘要：落地还是猜测？用于检测手语翻译中幻觉的视觉信号

1. 问题陈述

手语翻译（SLT）是一项独特的视频到文本任务，其中视觉模态构成源语言本身，而非辅助上下文。现代 SLT 系统（特别是利用无中间词汇（gloss-free）架构和大型语言模型（LLM）骨干网络的系统）的一个关键失效模式是幻觉。在此背景下，幻觉被定义为生成了不受签名视频证据支持的内容标记（tokens）。

虽然近期的无中间词汇模型通过移除昂贵的中间词汇标注解决了可扩展性问题，但它们引入了一个新的脆弱性：当视觉表示模糊或质量较低时，解码器倾向于过度依赖**语言先验（language priors）**而非视觉输入。这导致生成的文本虽然流畅，但在事实层面是错误的。现有的幻觉检测方法依赖于文本内在信号（如置信度、熵、困惑度），无法区分一个标记是基于语言模式自信预测的，还是基于实际视觉证据自信预测的。

2. 方法论

作者提出了一种基于落地使用情况（grounding usage）的新型可靠性度量，该度量量化了生成标记在多大程度上依赖于视频证据而非语言先验。该方法在标记层面运行，并通过反事实分析聚合至句子层面。

2.1 核心直觉

在每个解码步骤中，模型要么将下一个标记落地（ground）在视频信号上，要么根据语言先验进行猜测。所提方法通过比较模型在真实视频输入下的行为与改变视觉输入的反事实场景下的行为，来衡量这种依赖程度。

2.2 信号组成部分

可靠性得分由两类证据推导而来：

1. 基于特征的敏感性（内部依赖）：

   • 隐藏状态敏感性： 测量当移除（掩码）视频输入与存在视频输入时，解码器隐藏状态的方向性变化（归一化角距离）。角度越大，表示对视频的依赖越强。
   • 交叉注意力使用： 聚合从解码器标记指向视频编码器位置的注意力质量（attention mass）。干净视频下的注意力与掩码视频下的注意力之差，指示了视觉落地的程度。

2. 反事实信号（外部证据）：

   • 系统针对相同的序列前缀运行三个并行解码过程：
     1. 干净（Clean）： 使用真实的视频 ($x$)。
     2. 无视频（No-Video）： 禁用视觉编码器 ($\emptyset$)。
     3. 不匹配（Mismatched）： 使用打乱或无关的视频 ($x'$)。
   • 概率边际（Probability Margins）： 该方法计算干净过程与最强反事实过程（即无视频或不匹配视频过程的最大概率）之间的对数概率和对数逻辑值（logit）差异。
   • 优势： 通过计算绝对概率增益（$\Delta_{clean}$ 和 $\Delta_{mis}$）来确定正确的视频是否比其他替代方案更有效地改善了预测。

2.3 融合与聚合

• 标记层面： 通过对基于特征的信号和反事实信号进行线性融合，并经过 Sigmoid 激活函数，产生标记级的可靠性得分 ($r_t$)。
• 句子层面： 使用 tail-10 池化（tail-10 pooling）（对最低 10% 的标记可靠性求平均）来聚合标记得分。这侧重于句子中最不可靠的部分，这些部分最能体现幻觉风险。
• 集成： 将基于落地的可靠性与标准的仅文本基准（置信度、困惑度、熵）结合在“META”变体中，以创建一个全面的幻觉风险估计器。

3. 核心贡献

• 首次调查 SLT 幻觉： 本研究是首个专门调查并表征手语翻译领域内幻觉的研究。
• 落地使用度量： 引入了一种新型可靠性度量，量化了视觉落地情况，区分了通过视觉证据生成的标记与通过语言先验猜测的标记。
• 反事实框架： 设计了一个利用反事实扰动（掩码和不匹配视频）的评分框架，以捕捉内部模型状态变化和外部概率偏移。
• 实证验证： 证明了基于落地的信号在检测幻觉方面优于仅文本的基准，并且在与语言不确定性度量结合时能提供互补信息。

4. 实验结果

该方法在两个基准数据集上进行了评估：PHOENIX-2014T（德语手语）和 CSL-Daily（中文手语），使用了基于词汇（TwoStream-SLT）和无词汇（SpaMo）两种模型。

• 与幻觉的相关性： 提出的可靠性得分与 CHAIR（基于图像相关性的标题幻觉评估）指标之间存在强负相关。随着落地使用量的增加，幻觉率降低。
• 检测性能： 基于落地的可靠性在二分类幻觉检测中显著优于仅文本的基准（置信度、困惑度、熵）。
  • 在 CSL-Daily（无词汇模型）上，落地方法实现了 0.951 的 AUC 和 0.970 的准确率，而表现最好的仅文本基准（置信度）的 AUC 约为 0.953，准确率为 0.868。
  • 结合后的 META 变体达到了最高性能，在 CSL-Daily（无词汇模型）上达到了 0.963 的 AUC 和 0.883 的准确率。
• 回归性能： 可靠性得分有效地预测了连续的 CHAIR 率，在 CSL-Daily（无词汇模型）上实现了 $\rho = -0.680$ 的 Spearman 相关系数。
• 泛化能力： 在一个数据集/模型族上训练的可靠性权重可以鲁棒地迁移到其他数据集/模型族，尽管由于分词粒度和幻觉普遍程度的差异，从基于词汇模型迁移到无词汇模型时性能会有所下降。
• 压力测试： 在视觉退化（高斯噪声、丢帧）情况下，可靠性得分降低，证实了其对视觉信息质量的敏感性。
• 无词汇 vs. 基于词汇： 分析表明，无词汇模型更容易产生幻觉，因为它们系统性地低估了视觉信息的使用，转而依赖语言先验。标记级分布显示，与基于词汇的模型相比，无词汇模型的对数边际（log-margins）较小，隐藏状态敏感性角度也较小。

5. 重要性与主张

论文声称，多模态生成中的幻觉检测不能仅靠文本内在信号来解释。在视觉输入即为源语言的 SLT 中，区分“猜测”（依赖语言先验）与“落地”（依赖视觉证据）至关重要。

作者确立了以下观点：

1. 可靠性是一个实用的工具： 所提出的度量提供了一个可复用、可解释的工具，用于在不需要参考翻译的情况下诊断 SLT 中的幻觉。
2. 互补性： 视觉落地信号提供了与文本不确定性度量互补的信息。将两者结合可以产生最稳健的检测框架。
3. 无词汇错误的根源： 无词汇模型中对语言先验的系统性过度依赖是其较高幻觉率的主要驱动因素。缺乏中间词汇监督使得解码器容易偏离视觉证据。
4. 基础性工作： 这项研究通过明确解构视觉落地与语言流畅度的贡献，为构建更稳健的多模态生成幻觉检测奠定了基础。

论文总结道，一个稳健的多模态模型必须在猜测（为了流畅度）和落地（为了事实正确性）之间取得平衡，而显式地测量这种平衡对于可靠的 SLT 系统至关重要。