技术总结：低频陷阱：视频-语言模型在简单事件簿记方面的失败

问题陈述

现实世界的视频基准测试通常将多种变量（事件计数、频率、持续时间、视觉复杂度以及语义）纠缠在一起，导致难以隔离特定的失败模式。虽然现有的程序化基准测试提供了更好的控制，但它们通常仅对最终答案进行评分，未能审计模型是漏掉了事件、混淆了时间点、丢失了序列追踪，还是仅在聚合阶段出错。因此，最终答案的准确率指标可能会掩盖脆弱的时间访问能力或不稳定的推理能力，从而掩盖了模型在随着时间负载增加时，在基础事件簿记方面表现出的失败事实。

方法论

作者引入了基于轨迹的参数化剖析（trace-grounded parametric profiling），这是一种旨在将时间推理能力从视觉复杂度中分离出来的受控评估框架。

受控任务空间

研究利用 Manim 动画引擎生成程序化视频，以确保对空间轨迹和时间控制的帧级精确度。研究评估了三个不同的领域：

1. 弹球（Bounce Ball）： 计算弹球与墙壁接触的次数。
2. 闪烁（Blinking）： 计算视觉对象的脉冲次数（瞬态事件）。
3. 状态机（State Machine）： 计算类别状态转换的次数（持续性事件）。

实验参数

该框架在保持渲染、语义和任务规则固定的情况下，系统地改变两个正交参数：

• 事件计数 ($N$)： 范围从 0 到 12。
• 事件频率 ($F$)： 范围从 0.5 Hz 到 4.0 Hz。
• 持续时间： 所有片段固定为 24 秒。活跃事件序列约占 $N/F$ 秒，剩余部分由静态帧填充。

地面真值（Ground Truth）与指标

每个视频都配有一个可执行的地面真值轨迹，包含事件时间戳、状态变化和累积计数。这使得能够进行比单纯最终答案准确率更细粒度的评估。关键指标包括：

• 最终答案精确匹配（Acc）： 报告的计数是否等于 $N$。
• 轨迹精确度 ($P$) 与召回率 ($R$)： 模型报告的时间戳与在速率相关窗口 $\delta(F) = 1/(2F)$ 内的地面真值的对齐程度。
• 视觉观察率 (VOR)： 报告的事件数与真实事件数的比例 ($M/N$)，指示过度报告或报告不足。
• 偶然正确率 (ACR)： 尽管轨迹保真度较低，但最终计数仍然正确的案例。
• 推理失败率 (RFR)： 轨迹是忠实的（高 F1），但最终计数却错误的案例。

评估模型

主要评估重点在于 Gemini 3.6 Flash（接收约 1 FPS 的输入）和 Qwen3-VL-235B（接收 2 FPS 的输入）。补充性的跨系统检查包括各种规模的 Qwen3-VL 和 InternVL3.5。

核心贡献

1. 受控评估框架： 用映射在事件计数 ($N$) 和频率 ($F$) 上的能力曲面取代了单一的聚合评分。
2. 基于轨迹的基准测试： 将模型报告的事件与可执行的地面真值进行审计，区分了不支持的正确计数与忠实的事件恢复。
3. 针对性干预： 通过密集采样、以事件为中心的关键帧（先验证据）以及各种提示策略（如思维链、结构化追踪）来诊断错误来源。
4. 自然视频迁移： 验证在受控设置中观察到的失败模式是否会延续到现实世界的重复事件视频（TransRAC 数据集）中。

结果

分阶段的时间失败

结果揭示了一个取决于事件表示形式（持续性 vs. 瞬态）的“分阶段”失败模式：

• 持续性事件（状态机）： Gemini 3.6 Flash 在 0.5 Hz 和 1.0 Hz 时能可靠地计数至 $N=12$。随着频率增加，性能下降，在 1.5 Hz 时降至 $N=2$。
• 瞬态事件（闪烁）： 不存在可靠的正向计数区域；即使在低计数和低频率下，模型也无法一致地访问瞬态事件。
• 高负载机制： 在高计数、高频率条件下，只有 0.2% 的最终计数是正确的，且模型仅能恢复 18.1% 的真实事件。

视觉访问 vs. 推理

• 采样密度： 将采样率从 1 FPS 提高到 4 FPS 使弹球准确率从 19.6% 提升至 29.3%。然而，报告的序列与地面真值的符合率仅为 3.7%。这表明额外的帧可以增加最终得分（通过偶然正确性），但并不能产生忠实的事件恢复。
• 先验关键帧（Oracle Keyframes）： 提供以事件为中心的关键帧（消除了搜索负担）使 $N \le 5$ 时的准确率提升至 68.6%，但当 $N \ge 6$ 时性能崩溃。这表明虽然视觉访问是一个瓶颈，但即便事件被完美定位，保留与累积序列的过程仍然是限制因素。
• 提示策略： 各种提示技术（直接回答、结构化轨迹、多轮对话、思维链、角色扮演）带来的收益均十分有限，且未能扩大可靠的操作区间。

轨迹级诊断

• 低负载： 模型经常表现出过度报告（VOR > 1）和偶然正确性，即尽管缺失或幻觉出了时间戳，但最终计数是正确的。
• 高负载： 主要的失败模式转向报告不足（VOR < 1）和遗漏。模型报告的事件少于实际发生的事件，且报告的少量事件虽然在时间上准确，但并不完整。
• 聚合错误： 非零的推理失败率 (RFR) 表明，即使模型成功恢复了事件序列（高轨迹 F1），有时也会在将其聚合为最终计数时出错。

自然视频迁移

在 TransRAC 数据集上的评估证实，在具有相机运动和杂乱背景的自然视频中，成功率集中在低事件计数（$N \le 4$）的情况依然存在，这强化了该失败模式在不同领域中的鲁棒性。

意义与主张

本文认为，仅凭最终答案的准确率会误读时间推理能力。模型可以通过猜测或聚合幻觉事件来获得正确的数字，从而掩盖了其无法追踪时间序列的根本缺陷。

作者主张：

1. 事件表示至关重要： 事件是持续性的还是瞬态的，决定了最初获取证据的能力。
2. 视觉访问是必要但不充分的： 增加帧密度或提供先验关键帧可以提高性能，但无法消除由序列长度和保留能力所造成的边界。
3. 分阶段失败： 失败过程包含不同阶段：首先是访问事件；其次是保留序列；最后是聚合计数。
4. 评估转向： 基于轨迹的剖析将视频评估从聚合指标转向了详细的诊断，即明确时间推理是在哪里失效的（访问 vs. 保留 vs. 聚合），以及报告的证据是否真正支持最终答案。

研究结论认为，当前的视觉语言模型在随着时间负载增加时，在基础的事件簿记方面表现挣扎，这种局限性即使在使用先进的提示技术或增加视觉采样时依然存在。