技术摘要：从准确率到视觉依赖：审计并过滤交通视频问答中的模态坍缩

1. 问题陈述

高基准测试准确率并不保证模型正在利用视觉证据。在交通事故分析领域，正确答案理论上应当依赖于特定场景的视觉线索（例如：车辆交互、时间动态、因果结构）。然而，模型经常表现出模态坍缩（Modality Collapse），即它们依赖文本捷径、语言先验或数据集特有的人工痕迹来获得正确答案，从而有效地忽略了视频输入。

这种失效模式在交通事故分析等安全至上的应用中尤为关键，因为这类系统必须是因为理解了视觉场景而非利用标注人工痕迹而取得成功。本文认为，目前的基准测试往往无法区分真正的视觉推理与捷径利用，因为即使移除视频输入或增加更多帧会导致性能下降，模型仍能获得高准确率。

2. 方法论

作者提出了一个诊断框架，用于在数据集和实例层面审计并过滤模态坍缩。

2.1 数据集级诊断

作者引入了两个指标来量化整个基准测试中的视觉依赖性：

• 盲测差距 (Blind Gap, BG)： 衡量仅文本准确率超过随机概率的程度。
  $$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$$
  高 BG 表示该基准测试可以通过仅靠文本来解决。
• 视觉增益 (Visual Gain, VG)： 衡量添加视频输入的边际收益。
  $$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$$
  正的 VG 表示存在有用的视觉证据，而负的 VG 则表明视频输入实际上降低了性能或被忽略了。

2.2 实例级捷径诊断

为了识别导致捷径行为的具体问题，作者为每个问题 $q$ 定义了一个连续的捷径得分 ($S(q)$)：

• 文本证据得分 ($T(q)$)： 衡量仅文本大语言模型（LLMs）的置信度和正确性。它是通过一组仅文本模型在加权置信度下的正确预测平均值计算得出的。
  $$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$$
• 视觉必要性得分 ($V(q)$)： 衡量添加视频是否增加了正确答案的概率。
  $$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$$
  其中 $\Delta_m(q)$ 是添加视频后正确答案的概率增益。
• 捷径得分 ($S(q)$)： 结合这些信号：
  $$S(q) = T(q) - V(q)$$
  高 $S(q)$ 表示易受捷径影响的问题（高文本可解性，低视觉必要性），而低或负的 $S(q)$ 则表示具有视觉价值的问题。

2.3 捷径感知过滤

作者提出通过保留仅满足 $S(q) \leq \tau$ 的问题来构建数据集的“落地（grounded）”子集。这种过滤是无需训练且连续的，允许在数据覆盖范围与去除捷径倾向样本之间进行权衡。

3. 核心贡献

1. 交通视频问答基准审计： 使用开源视觉语言模型（VLMs）和仅文本的 LLMs 对四个公开基准（MM-AU, VRU-Accident, SUTD-TrafficQA, 和 AccidentBench）进行了审计。
2. 诊断指标： 引入了用于量化数据集层面模态坍缩的 Blind Gap 和 Visual Gain。
3. 捷径得分： 一种新型的、连续的实例级指标，它结合了仅文本的置信度与视觉必要性信号，用以识别并过滤具有捷径倾向的问题，且无需辅助训练。
4. 过滤框架： 一种生成“落地”评估子集的方法，旨在减少捷径偏差并提高视觉接地（visual grounding）指标。

4. 实验结果

作者在四个基准测试中评估了多种 VLM（如 InternVL, Qwen-VL, LLaVA-OneVision）和仅文本的 LLM。

• 基准差异：
  • MM-AU： 表现出极端的模态坍缩。移除视频一致地提高了准确率，且增加帧数（最高达 256 帧）进一步降低了性能。其 Blind Gap 很高（高达 40.33%），且所有 VLM 的 Visual Gain 均为负值。仅文本的 LLM 表现与 VLM 持平甚至更优。
  • VRU-Accident： 显示出正向的 Visual Gain，但仍受到高 Blind Gap（高达 25%）的影响，表明存在部分文本可解性。
  • SUTD-TrafficQA： 展示了最强的视觉依赖性，具有较低的 Blind Gap（<9%）和持续的正向 Visual Gain（~11-12%）。
  • AccidentBench： 介于两者之间，具有较低的 Blind Gap 和适度的 Visual Gain。
• 过滤有效性：
  • 对 MM-AU 和 VRU-Accident 应用捷径得分过滤器（取 $\tau = 0.1$）显著降低了 Blind Gap，并将负的 Visual Gain 转变为正值。
  • 在 MM-AU 上，过滤将 BG 从 25.70% 降至 10.38%，并将 VG 从 -0.24% 提升至 7.42%。
  • 二进制过滤基准（LLM-Inspector, B-Clean）效果较差；例如，B-Clean 在移除捷径的同时也移除了具有视觉价值的问题，导致 Visual Gain 呈现强烈的负值。
• 根因分析： 本文指出重复的文本模式和答案表述（例如，某些特定的句子结构出现了数百次）是 MM-AU 中捷径的主要驱动因素。
• 训练影响： 在交通数据上微调模型提高了视频准确率，但并未必然提高视觉接地能力（在标准子集上 BG 和 VG 保持平稳或为负），这表明准确率的提升并不等同于真正的视觉推理。

5. 重要性与主张

本文声称，仅凭基准测试准确率不足以评估安全至上领域中视频问答技术的进展。研究结果表明：

• 几个广泛使用的交通事故基准测试允许模型通过利用文本捷径而非视觉证据来取得成功。
• 通过诸如 Blind Gap 和 Visual Gain 等指标进行的视觉接地评估，对于区分真正的推理与捷径利用至关重要。
• 所提出的捷径得分提供了一种实用的、无需训练的机制，用于策划能够更好地反映模型使用视觉证据能力的评估子集。
• 未来的数据集构建必须避免重复的问题格式和相同的答案表述，以防止模型利用高频模式。

作者总结道，对于要在安全至上的领域中实现可靠的多模态系统，必须根据它们依赖视觉证据的能力进行评估，而不仅仅是看最终的准确率分数。