💻 computer science

Tracking and Understanding Object Transformations

本文通过引入“追踪任意状态”（Track Any State）任务和 VOST-TAS 基准测试，旨在解决追踪物体在状态转换过程中面临的挑战，并提出了 TubeletGraph，这是一个能够恢复丢失轨迹并生成语义状态图以描述演变中的物体动态的零样本系统。

原作者： Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一部电影，其中一个完整的苹果被切成了碎片，或者一只毛毛虫变成了一只蝴蝶。如果你是一个标准的电影摄像师，一旦苹果被切开，你可能会丢失对“苹果”的追踪，因为突然间，你看到的不再是一个红色的圆球，而是五个白色的块状物。你也可能会丢失“毛毛虫”，因为它消失在了壳里面，随后又在稍后出现了一只蝴蝶。

这就是论文 《追踪与理解物体变换》（Tracking and Understanding Object Transformations） 试图解决的问题。来自康奈尔大学的作者们认为，目前的计算机视觉系统就像是糟糕的电影导演：只要角色看起来没变，他们就能跟上；但如果角色换了装、破碎或发生了形变，系统就会彻底跟丢。

以下是他们解决方案 TubeletGraph 的简单拆解以及它的工作原理。

问题所在：“人群中的失踪者”

目前的追踪系统过度依赖于外观（Appearance）。它们会说：“我看到了一个红苹果；我要追踪那个红苹果。”但当苹果被切开时，红色的皮不见了，白色的果肉看起来完全不同。系统会想：“红苹果不见了！”然后停止追踪。它没有意识到这些白色的碎片就是那个苹果，只是处于一种新的状态。

作者们注意到一个特定的模式：这些系统通常会出现假阴性（False Negatives）。当物体仅仅是改变了形状时，它们会误以为物体已经消失了。

解决方案：TubeletGraph（“带着网的侦探”）

作者构建了一个名为 TubeletGraph 的系统。你可以把它想象成一个侦探，他不仅追踪某一个人，而是撒开一张大网来捕捉场景中的所有人，然后利用逻辑来判断谁是谁。

它是通过以下三个步骤工作的：

1. 撒网（“管状单元” Tubelets）

TubeletGraph 不仅仅追踪你要求的特定物体（比如那个苹果），它还将整个视频分割成许多微小的、移动的块，称为**“管状单元”（tubelets）**。

类比： 想象一段视频是一条河流。与其只追踪一片特定的叶子（苹果），系统会在水中放一张网，捕捉所有出现的叶子、树枝和石头。
它追踪原始的苹果，但也会开始追踪稍后出现的各种新事物，比如苹果片或随后出现的蝴蝶。

2. 侦探的逻辑（邻近性与语义一致性）

现在系统拥有了许多不同轨迹组成的“汤”。它需要弄清楚哪些新轨迹属于原始物体。它使用了两条规则：

“拥抱”规则（空间邻近性）： 如果苹果被切开了，碎片会紧挨着原来苹果的位置。如果一个新物体出现在很远的地方（比如拿着刀的手），那它可能不属于苹果的一部分。系统会检查：“这个新碎片离原始苹果近吗？”
“身份”规则（语义一致性）： 系统会问：“这个新东西作为旧东西的一个版本，合理吗？”
- 匹配成功： 一片苹果看起来像苹果的果肉。
- 匹配失败： 拿着苹果的手看起来像一只手，而不是苹果。
- 类比： 如果你在找你的狗，看到附近有一只金毛猎犬，你会说：“那就是我的狗！”但如果你看到旁边有一只猫，即使它就在你身边，你也会说：“不，那不是我的狗。”

3. 讲述者（状态图 State Graph）

一旦系统找回了丢失的部分（苹果片或蝴蝶），它不仅仅是继续追踪它们；它还会请求一个强大的 AI（大语言模型）来解释发生了什么。

它观察“之前”（完整的苹果）和“之后”（切开的片）。
它询问 AI：“这里发生了什么？”
AI 回答：“苹果被切开成了薄片。”
系统随后绘制一张状态图（State Graph），展示时间线：苹果 $\rightarrow$ 切开 $\rightarrow$ 薄片。

他们取得了怎样的成就

这篇论文引入了一个新的挑战，叫做**“追踪任何状态”（Track Any State）**。这不仅仅是关于追踪一个物体，而是关于追踪一个物体经历其变化的过程，并描述这些变化。

为了测试这一点，他们创建了一个新的数据集，名为 VOST-TAS，其中包含了物体发生变化（如剥香蕉或切西红柿）的视频，并带有详细的标签。

结果：

更好的追踪能力： 他们的系统 TubeletGraph 比现有的顶尖系统（如 SAM2）更能有效地追踪发生形状变化的物体。它能找回那些被其他系统丢弃的“缺失”部分。
更好的理解能力： 它不仅能在物体周围画框，还能生成关于变换过程的文本描述（例如：“毛毛虫从蛹中爬了出来”）。
零样本学习（Zero-Shot）： 该系统不需要针对每种特定的变换类型（如“切割”与“剥皮”）进行重新训练。它利用通用的知识在运行中就能理解。

总结

简而言之，这篇论文的核心观点是：“目前的计算机在物体发生变化时会跟丢。我们构建了一个系统，它通过撒大网来捕捉一切，利用逻辑来判断哪些新事物实际上是伪装后的旧事物，然后请求 AI 写出一个关于变换过程的故事。”

这使得计算机能够理解“蝴蝶”和“蛹”是同一个故事的一部分，并且明白“苹果片”即便看起来不再像最初的水果，也依然是“苹果”。

技术摘要：追踪与理解物体状态变换

问题定义：追踪任何状态

本文解决了一个当前计算机视觉系统中的关键局限性：无法追踪经历显著状态变换（例如，苹果被切片、蝴蝶从茧中破茧而出）的物体。现有的目标追踪方法过度依赖外观一致性，当物体的几何形状或纹理发生剧烈变化时，通常会失效，从而导致“假阴性”错误，即追踪器丢失目标。相反，现有的状态变化识别方法往往缺乏用于在变换后追踪产生物体的时空定位能力。

为了弥补这一差距，作者引入了 Track Any State（追踪任何状态），这是一个全新的任务，其定义为：给定一段视频和一个初始物体提示（第一帧中的掩码），系统必须：

追踪（Track） 物体在其变换过程中的一致性，包括所有产生的组成部分（例如，同时追踪苹果核和切片）。
检测并描述（Detect and Describe） 状态变化，输出变换过程的结构化表示（时间、动作动词以及产生的物体）。

方法论：TubeletGraph

作者提出了 TubeletGraph，这是一个零样本（zero-shot）框架，旨在恢复丢失的物体并在无需针对特定任务进行微调的情况下进行变换推理。该流水线由三个主要阶段组成：

1. 时空划分（Tubelet 生成）

为了克服在变换后寻找“丢失”物体的搜索空间问题，系统对视频进行了密集的时空划分：

初始划分： 使用 CropFormer 将第一帧分割为若干实体，包括用户提供的提示掩码。
追踪： 使用 SAM2 在时间维度上向前追踪每个初始实体。
动态初始化： 随着视频推进，系统识别“空白区域”（未被现有追踪路径覆盖的像素）。当在这些区域检测到实体时，会启动一个新的追踪路径（即一个“tubelet”）。
结果： 这创建了一个覆盖视频中几乎所有像素的 tubelet “汤”，确保变换后的物体（作为新的连通分量出现）能作为候选追踪路径被捕获。

2. 通过推理进行候选恢复

并非每个新的 tubelet 都是变换后的目标物体的一部分（例如，一只手进入画面）。系统使用两种先验知识来过滤候选对象：

空间邻近性（Spatial Proximity）： 基于变换后的物体仍保留在原始位置附近的假设，系统计算候选追踪路径与 SAM2 为原始提示预测的多个候选掩码之间的重叠度。
语义一致性（Semantic Consistency）： 基于身份语义得以保留的假设（例如，蛹变成的是蝴蝶而非鸟），系统使用 masked CLIP 特征来计算提示追踪路径与候选追踪路径之间的语义相似度。
选择： 只有满足空间邻近性和语义一致性阈值的 tubelet 才会被添加到最终的追踪集合中。

3. 状态图构建

一旦识别出新的有效追踪路径，系统就会将其出现视为状态变换的标记：

查询视觉语言模型（VLMs）： 系统使用初始帧和新追踪路径出现的帧向多模态大语言模型 (GPT-4.1) 发起查询。
生成： 提示词引导 LLM 描述动作动词（如“切割”、“展开”）以及产生物体的身份。
图输出： 这些描述被解析以构建 状态图（State Graph），这是一种将变换前的追踪路径、变换事件与变换后的追踪路径联系起来的结构化表示。

核心贡献

任务形式化： 引入了 Track Any State，这是一个结合了物体追踪与状态变化检测及描述的统一任务。
数据集： 发布了 VOST-TAS，这是一个源自 VOST 验证集的新基准数据集，包含 57 个视频实例、108 个标注的变换以及 293 个带有时间边界和语义描述的产生物体标注。
系统： 开发了 TubeletGraph，这是一个通过时空划分实现丢失物体恢复，并通过视觉-语言推理生成状态图的零样本系统。

实验结果

作者在包括 VOST、VSCOS、M3-VOS 和 DAVIS 2017 在内的多个基准测试中对 TubeletGraph 进行了评估。

追踪性能： TubeletGraph 在 VOST 和 VSCOS 上达到了 SOTA（最先进）水平，超越了基础的 SAM2 及其微调变体。值得注意的是，它在最后 25% 的视频帧中比基础 SAM2 提高了 2.5 个点的 Jaccard 指数 (J)，并超过了经过微调的 SAM2 ( $J_{tr}$ )，展示了对变换更强的鲁棒性。
状态图质量： 在 VOST-TAS 基准测试中，系统的时序定位精度为 43.1%，动作动词的语义准确度为 81.8%。虽然完全正确的变换（时序 + 语义 + 空间全部正确）的整体召回率较低（6.5%），但作者指出这反映了该无约束任务的极高难度。
消融实验： 研究表明系统对超参数变化具有鲁棒性。消融实验证实，时空划分对于候选检索至关重要，而语义和空间约束对于过滤假阳性是必要的。

意义与主张

本文将 TubeletGraph 定位为迈向更稳健、更具信息量的视觉系统的关键一步。作者主张：

零样本能力： 与需要大量领域特定微调的方法不同，TubeletGraph 无需针对目标变换类型进行训练即可运行，提供了更好的泛化能力。
综合表示： 通过结合追踪与状态图生成，系统提供了物体演化的完整表示，这对于 动作落地（action-grounding）（例如，机器人理解切开苹果的前置和后置条件）、视频编辑 以及 场景建模 等任务非常有用。
错误恢复： 系统明确解决了现有追踪器存在的“假阴性”偏差问题，通过恢复丢失的物体并利用它们来推理导致丢失的变换过程。

作者承认存在局限性，包括高昂的计算成本（每帧约 7 秒）以及来自基础追踪器 (SAM2) 或 VLM 的潜在误差传播。他们总结道，虽然目前实时应用受到限制，但该系统对于离线分析（如为机器人生成训练标注或分析生物发育过程）具有极高的价值。