What's the Catch? Evaluating Temporal Consistency in Vision-Language Models
该论文引入了 TimeCatch，这一基准测试揭示了尽管视觉语言模型擅长检测帧级异常，但它们在识别由帧交换引起的时序不一致性方面表现得非常吃力，表明与人类相比，它们在推理时序结构的能力上存在根本性的差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能飞速发展的世界中，出现了一代全新的计算机系统，它们能够同时进行视觉观察与语言表达。这些视觉-语言模型通过海量的图像和文本进行训练，使其能够以惊人的准确度描述照片、回答关于场景的问题或识别物体。随着这些系统变得越来越复杂，研究人员开始尝试在动态图像上测试它们，希望它们能像人类一样理解视频。对于需要与现实世界交互的技术而言，这是至关重要的一步，例如必须预测行人路径的自动驾驶汽车，或是需要按特定顺序组装零件的机器人。然而，一个根本性的问题仍然存在：这些机器是真的理解时间的流动，还是仅仅在识别一系列静态图片？
为了回答这个问题，来自哥本哈根大学的一个研究小组设计了一个简单但具有启发性的测试，称为 TimeCatch。他们想看看这些人工智能模型是否能发现视频在细微之处被破坏的情况。想象一下正在观看一段人向杯中倒水的短片。如果研究人员交换了两个连续的帧，使得水看起来像是向后跳跃，或者在杯子被举起之前杯子就已经满了，人类会立刻注意到这个错误。研究人员在计算机生成的动画和现实世界的素材（涵盖从驾驶场景到跳水比赛）中创建了数千个这样的“故障”。随后，他们要求人工智能模型执行两项任务：首先，判断序列中是否包含错误；其次，指出错误发生的精确位置。他们还加入了一个对照测试，即用静态噪声替换单个帧——这是一种不依赖于事件顺序的视觉错误，用以观察模型是否甚至能“看见”这些帧。
结果揭示了人类感知与机器推理之间存在的显著差距。当模型看到充满静态噪声的帧时，它们的表现近乎完美，能够识别出损坏的图像并以接近顶峰的准确度定位它。这证明了模型能够看到单个画面，并且正在关注序列。然而，当任务转向寻找那些打破时间流动的交换帧时，模型的表现却大幅下滑。它们的表现降到了随机猜测的水平。即使是最先进的模型，虽然能正确识别出某一帧缺失或损坏，也无法识别出事件的顺序是不合理的。相比之下，研究中的人类参与者能以高准确度解决这些时间谜题，轻松发现时间逻辑上的跳跃。
研究人员探讨了这种失败究竟是因为模型规模太小、图像过于相似，还是指令不够清晰。他们测试了不同规模的模型，从较小的版本到拥有数十亿参数的庞大模型，发现增加模型规模并不能解决问题。他们还检查了模型是否因为交换后的帧看起来太像而难以处理，但即便视觉差异非常明显，模型也无法对序列进行推理。改变提问方式或删除额外的文本描述也于事无补。这项研究表明，问题不在于缺乏视觉能力或处理能力，而在于无法整合跨越时间的信息。这些系统可以极其详尽地描述一个瞬间，但却难以理解一个瞬间是如何导致下一个瞬间的。
这一发现凸显了当前人工智能的一个重大局限性。虽然这些模型在描述单帧画面中可见的内容方面变得异常出色，但它们尚未学会对事件的连续性进行推理。对于像自动驾驶或医学影像这类理解时间演进与识别物体同样重要的应用领域来说，这一差距是至关重要的。TimeCatch 基准测试提供了一种清晰、受控的方法来衡量这一特定的弱点，表明尽管拥有令人印象深刻的能力，当今的视觉-语言模型仍然缺失了拼图中的关键一块：理解时间流动的能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。