💻 computer science

StateTrace: An Object-Centric Framework for Hidden-State Spatiotemporal Reasoning in Long Videos

本文介绍了 StateTrace，这是一个以对象为中心的框架，它为 VideoLLM 提供了一个结构化的时空记忆，使其能够在长视频中的不可见间隔期间显式地推理隐藏的对象状态，从而显著提升了在本文新提出的 HSR-Bench 及现有基准测试上的性能。

原作者： Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，机器在观察视频并描述其所见内容方面已经变得非常出色。它们可以识别出一个人正在奔跑、一辆车正在转弯，或者一只狗正在追逐球。然而，这些数字观察者在面对“不可见”的事物时存在一个显著的盲点。如果一个物体从屏幕上消失了——被墙壁挡住、被收进盒子里或被另一个物体覆盖——当前的AI模型往往会完全忘记它的存在。它们将“不可见”视为“未知”，无法推理出该物体仍然存在于那里，且其状态（如位置或颜色）很可能并未改变。这种局限性成为了分析长视频时的一个主要障碍，在这些视频中，物体可能会长时间处于隐藏状态，但观众仍可能需要知道它们在哪里或发生了什么。

为了解决这个问题，研究人员开发了一种名为 StateTrace 的新方法。StateTrace 并不仅仅依赖于当前帧中的可见内容，而是为 AI 提供了一种即使在物体被遮挡时也能记忆并追踪物体的方法。研究人员构建了一个框架，该框架充当视频的持久记忆，不仅记录所见之物，还记录事物消失时发生了什么。它追踪物体被遮挡的时刻、消失的原因以及位置和外观的最后已知细节。通过将这些信息组织成一个结构化的时间线，该系统可以在物体离开屏幕很久之后，仍然能够回答有关其隐藏状态的问题。

研究人员通过创建一套专门设计用来“陷阱”标准 AI 模型的挑战来测试这一想法。他们汇编了一个名为 HSR-Bench 的基准测试，其中包含来自近 1,400 个独特视频的 1,400 多个视频问题。这些问题侧重于物体被遮挡、被包含或被覆盖的情景，要求 AI 在没有直接视觉证据的情况下进行推断。例如，一个问题可能会询问被巴士挡住几秒钟后的汽车颜色，或者在物品在容器之间交换后，哪个杯子里装有钉子。当研究人员将 StateTrace 应用于强大的现有视频模型时，结果令人瞩目。在这个新的基准测试上，模型的准确率大幅提升，有些甚至从大约 40% 的正确率跃升到了 64% 以上。这表明，赋予 AI 一种关于不可见事物的结构化推理能力，是使其像人类一样理解世界的关键一步。

StateTrace 系统的核心是一个在 AI 尝试回答问题之前进行的三个步骤的过程。首先，系统会对整个视频进行离线分析，将其分解为若干片段。它识别物体、追踪它们的运动，并精确记录它们何时以及如何消失。如果一辆汽车被一辆巴士遮挡，系统会记录这一事件，注明巴士是诱因，并记录汽车最后的已知位置。它构建了一张详细的事件图谱，创建了一个“时空状态记忆”，将物体与其可见性和交互的历史联系起来。这个记忆不仅仅是帧的列表；它是一个理解关系的连接图，例如一个物体在另一个物体内部，或者一个物体遮挡了另一个物体的视线。

当用户提出问题时，系统并不仅仅是扫描视频以匹配关键词。相反，它会咨询这个记忆图谱，以寻找与查询相关的特定时刻。如果问题涉及一个隐藏的物体，系统会检索该物体最后一次可见的时刻以及导致其消失的事件。然后，它将这段历史总结成一段简洁的叙述，解释该物体的旅程及其当前可能的状况。这种摘要会与实际的视频剪辑一起被输入到 AI 模型中。通过提供这种明确的上下文，模型不再是在猜测，而是在基于重建的事件时间线进行推理。系统本质上是在告诉 AI：“你正在寻找的物体现在虽然不可见，但以下是它最后一次出现的位置以及发生的情况。”

研究人员发现，当视频较长且物体被隐藏较长时间时，这种方法效果最好。在涉及从几秒钟到一小时长短视频的测试中，StateTrace 框架的表现始终优于那些仅仅尝试压缩视频或检索相关片段的方法。在物体几乎被完全遮挡的重度遮挡情况下，改进最为显著。例如，在一个测试案例中，标准模型未能识别被巴士挡住后的汽车颜色，而是根据最后一帧可见画面进行了错误猜测。使用 StateTrace 后，模型能够从被遮挡前正确回忆起汽车的颜色，从而在视觉间隙中保持了场景的连续性。

为了确保研究结果的稳健性，团队进行了一系列实验，以观察其系统的哪些部分最为重要。他们发现，能够推理出物体为何消失的能力至关重要。如果系统只知道一个物体不见了，却不知道它是被遮挡了、移动了还是被藏在了某个东西里面，其表现就会显著下降。同样，总结空间关系和运动历史的步骤被证明是最关键的组成部分。如果没有这个摘要，AI 很难理解原始数据，就像一个人试图拼凑一个散落在地上的拼图碎片，而不是将其组装成一幅完整的画。系统还表明，仅仅将整个视频喂给 AI 是不够的；针对性地检索特定的、相关的时刻对于准确性至关重要。

StateTrace 的成功凸显了视频理解方法的一个根本性转变。多年来，研究重点一直在于让模型看得更清或处理更多的帧。这项工作表明，下一个飞跃来自于让模型更好地思考它们看不见的事物。通过将物体的不可见状态视为一个可解的谜题，而非缺失的数据，研究人员使 AI 能够处理现实世界的复杂观察。结果表明，通过正确的记忆和推理，机器可以开始弥合“所见”与“所知”之间的差距，而这种能力对于任何旨在应对现实生活中长期、连续流动过程的系统来说都是必不可少的。

技术摘要：StateTrace

问题定义

当前的视觉语言模型（VLMs）在通用视频理解任务（如字幕生成和时序定位）中展现出了强大的能力。然而，它们在**隐藏状态时空推理（hidden-state spatiotemporal reasoning）**方面存在根本性的弱点，尤其是在长视频中。当目标物体由于遮挡、包含或覆盖而变得不可见时，现有模型往往无法推断其状态，错误地将“不可见”等同于“未知”。它们过度依赖查询时的显式视觉证据，而非对物体在长时间不可见期间的潜在状态进行建模。这种局限性使得它们无法回答关于物体在消失后位置或属性的问题，即使上下文暗示其状态应当持续存在。

方法论：StateTrace

为了解决这一问题，作者提出了 StateTrace，这是一个以物体为中心（object-centric）的框架，旨在赋予 VideoLLMs 一种显式的隐藏状态推理机制。该框架通过三个不同的阶段运行：

1. 离线时空状态记忆构建

在推理之前，系统执行一次离线解析过程，以构建一个可重用的、结构化的记忆（ $M$ ），该记忆组织为一个由块级有向图（ $G_V$ ）和辅助实体访问图（ $G_E$ ）组成的结构。该记忆包含三个组件：

语义上下文（ $M_{sem}$ ）： 包括实体、动作、场景和字幕的块级属性。
空间位置记忆（ $M_{loc}$ ）： 帧级的绝对几何信息（归一化质心坐标和面积）以及物体之间的成对空间关系（例如：左、右、靠近、远离）。关系仅在发生变化时存储，以减少冗余。
空间事件记忆（ $M_{evt}$ ）： 记录可见性转换（出现/消失）以及至关重要的消失原因解释。对于非边界处的消失，VLM 模块会分析短视频上下文，以推断其原因，如“在内部”（包含）、“被遮挡”或“其他”。

解析过程涉及将视频划分为若干块，执行物体接地（grounding）和掩码传播（使用 SAM2）以保持跨块的连续性，并提取空间关系和事件元数据。

2. 问题驱动的时空证据总结

在推理阶段，给定一个问题 $q$ ，系统会从状态记忆中检索相关证据，而不是处理整个原始视频。

检索： 问题被转换为结构化查询，通过两阶段过程检索相关的视频块（首先基于实体/语义匹配进行召回，随后利用时序先验进行重排序）。
总结： 检索到的子记忆被压缩为两个互补的摘要：
- 语义聚合摘要（ $g_q$ ）： 浓缩与答案相关的文本证据和子问题。
- 空间摘要（ $s_q$ ）： 通过合并帧级时间线、修复可见性状态并提取锚点事件（如遮挡、进入、重现）来构建结构化的时空证据。该摘要显式地追踪物体在不可见间隔期间的状态演变。

3. 摘要增强的答案生成

最后阶段将检索到的视觉证据（视频块）、字幕上下文以及生成的语义和空间摘要（ $g_q, s_q$ ）结合起来，形成 VideoLLM 的多模态输入。模型根据这些丰富的上下文生成答案，从而实现对物体为何消失以及其在不可见期间状态如何演变的显式推理。

核心贡献

问题形式化： 本文系统地将隐藏状态时空推理定义为根据先前的交互和状态变化，推断目标在长时间不可见期间的潜在状态的能力，并指出这是当前 VideoLLM 缺失的核心能力。
StateTrace 框架： 一种新颖的以物体为中心的框架，它将长视频推理从纯粹的直接视觉证据转向对潜在物体动态的结构化、以状态为中心的推理。它引入了可重用的时空状态记忆以及显式消失原因建模机制。
HSR-Bench： 引入了 HSR-Bench，这是一个包含来自 1,384 个唯一视频的 1,427 个视频问答样本的诊断性基准测试。它专门针对物体持久性和在遮挡、包含和长延迟查询场景下的潜在状态推理，而这些场景在现有基准测试中往往未得到充分评估。

实验结果

作者在多个公开基准测试（MLVU, VideoMME, LongVideoBench）以及新的 HSR-Bench 上，使用多种 VideoLLM 后端（InternVL2.5, VideoLLaMA3, Qwen2.5-VL, LLaVA-Video）对 StateTrace 进行了评估。

公开基准测试： StateTrace 在所有后端上都一致地提升了性能。值得注意的是，在 LongVideoBench 上，它表现出了显著的增益，表明其在维持长时跨度的状态连续性方面是有效的。例如，VideoLLaMA3-7B 在 LongVideoBench 上的表现从 59.8 提升到了 64.5。
HSR-Bench： 在隐藏状态推理作为主要挑战的 HSR-Bench 上，提升最为显著。StateTrace 将基础模型的性能提升了 15.14 到 28.31 个点。例如，VideoLLaMA3-7B 在 HSR-Bench 上的得分从 39.59 提高到了 64.19，Qwen2.5-VL-3B 从 29.85 提高到了 57.74。
消融研究：
- 移除消失原因推理会导致性能下降，表明了解物体为何消失对于状态恢复至关重要。
- 移除空间摘要生成导致了最大的性能跌落，凸显了其作为将低级记录转化为显式状态演变描述的关键接口的作用。
- 移除关键片段检索也降低了性能，证实了专注于相关时序上下文的价值。
遮挡严重程度： 在 HSR-Bench 上的分析显示，StateTrace 在重度遮挡（此时隐藏状态推理最为关键）的情况下提供了最大的增益。

意义与主张

本文声称 StateTrace 解决了长视频理解中一个特定且关键的空白：即当前模型无法对暂时不可见的物体进行推理。通过显式建模消失的原因并维护结构化的状态记忆，StateTrace 使模型能够推断出物体的状态即使在不可见时也会持续存在。作者认为这不仅仅是准确率的增量改进，而是一种推理范式的转变——从证据驱动转向以状态为中心。HSR-Bench 的引入被视为诊断并推动这一特定能力进步的必要步骤，因为现有的基准测试无法对其进行充分评估。这项工作证明，对于复杂的长程视频场景，显式的状态建模对于鲁棒的空间推理至关重要。