🤖 AI

STORM: End-to-End Referring Multi-Object Tracking in Videos

本文提出了端到端多模态大语言模型 STORM，通过任务组合学习策略联合实现目标定位与跟踪，并发布了新基准 STORM-Bench，在图像定位、单目标跟踪及指代多目标跟踪任务上均取得了最先进的性能。

原作者： Zijia Lu, Jingru Yi, Jue Wang, Yuxiao Chen, Junwen Chen, Xinyu Li, Davide Modolo

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Zijia Lu, Jingru Yi, Jue Wang, Yuxiao Chen, Junwen Chen, Xinyu Li, Davide Modolo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 STORM 的新人工智能系统，它的核心能力是：在视频里，听你一句话，就能把多个特定的物体找出来，并且一直盯着它们看，直到视频结束。

为了让你更容易理解，我们可以把这项技术想象成**“超级侦探”和“全能管家”**的结合体。

1. 以前的“侦探”有什么问题？

在 STORM 出现之前，电脑看视频找东西通常分两步走，就像是一个笨拙的流水线：

第一步（找东西）： 先让一个“眼睛”（检测器）在每一帧画面里把所有东西都框出来（比如：人、车、猫、狗）。
第二步（听指令）： 再让一个“大脑”（语言模型）根据你说的话（比如“找那个戴墨镜拿笔记本电脑的人”），从刚才框出来的东西里挑出对的。
第三步（跟踪）： 最后让一个“追踪器”去盯着这个被挑出来的人，看他在视频里怎么跑。

痛点在于：

容易断片： 如果“眼睛”在第一帧没看清，后面就全错了。
沟通不畅： “眼睛”、“大脑”和“追踪器”是三个不同的人，它们之间传递信息容易出错，导致找不到复杂的物体（比如“左边那个穿红衣服的人”和“右边那只狗”）。
数据不够： 这种复杂的任务需要海量的标注数据，但人工标注太贵、太慢，导致以前的模型学艺不精。

2. STORM 是什么？（端到端的“超级侦探”）

STORM 把上述所有步骤合并成了一个**“全能大脑”**（端到端的多模态大语言模型）。

比喻： 以前是三个工人分工合作，现在是一个超级侦探，他同时拥有敏锐的眼睛（看视频）、聪明的头脑（理解你的话）和极强的记忆力（记住物体在时间里的变化）。
怎么做到的？ 它不需要外部的“眼睛”或“追踪器”。它直接看着视频，听着你的话，然后像写日记一样，直接输出：“第 1 秒，那个戴墨镜的人在坐标 [120, 102]；第 2 秒，他跑到了 [130, 110]……"
优势： 因为它是一个整体，所以它能同时理解画面长什么样、物体怎么动以及你说的话是什么意思，三者结合得非常完美。

3. 它是怎么学会的？（任务组合学习 TCL）

训练这种超级侦探通常需要海量的“视频 + 文字 + 坐标”数据，但这就像让一个学生直接去解“高数 + 物理 + 化学”的超级难题，太难了，而且没有那么多练习题。

STORM 的发明者想出了一个聪明的**“分步教学法”**（Task-Composition Learning, TCL）：

第一阶段（打基础）： 先让模型在大量的静态图片上练习“看图说话”（比如：指认图片里的物体），再在大量的单物体视频上练习“盯住一个目标”（比如：盯着一个球看它怎么滚）。这就像先练好“识字”和“跑步”。
第二阶段（融会贯通）： 最后，只用少量专门设计的多物体视频数据，让模型把前面学到的技能组合起来，练习“同时盯住好几个目标并听指令”。
比喻： 就像教孩子认字（图片定位）和数数（单物体跟踪），最后再让他做应用题（多物体跟踪）。这样既省去了海量昂贵数据的训练，又让模型学得又快又好。

4. 新的“题库”：STORM-Bench

为了让这个侦探更厉害，作者们还自己造了一本**“超级题库”**（STORM-Bench 数据集）。

以前的题库： 题目太简单（比如“找那个穿红衣服的人”），或者题目有歧义（视频里有两个穿红衣服的人，没说清找哪个）。
STORM-Bench： 题目非常刁钻且清晰。比如：“找那个坐在左边椅子上、正在吃苹果、旁边还有一只猫的人。”
怎么造的？ 他们用了“自下而上”的方法：先让 AI 把视频里每个物体都描述一遍，再让 AI 把这些描述组合成复杂的句子，最后再让人工智能去验证这些句子是否准确。这保证了题目的质量和多样性。

5. 结果怎么样？

实验结果显示，STORM 在找物体、跟踪单个物体和跟踪多个物体这三个任务上，都拿到了**世界第一（State-of-the-Art）**的成绩。

它有多强？ 以前那些需要三个模块拼凑的模型，在复杂场景下（比如物体被挡住、画面很乱、指令很复杂）经常“翻车”。而 STORM 就像是一个经验丰富的老侦探，即使物体被遮挡了一部分，或者指令很绕，它也能稳稳地锁定目标，不会跟丢，也不会认错人。

总结

STORM 就像是一个全能型的视频管家。你不需要教它怎么“看”，怎么“记”，怎么“听”。你只需要对它说：“帮我盯着那个穿蓝衣服、拿着气球、正在和狗玩耍的小孩。”它就会自动在视频里把这个小孩（甚至包括那只狗）从开始到结束都找出来，并画出它们的轨迹。

这项技术让机器真正开始像人一样理解视频，不仅知道“有什么”，还能理解“谁在做什么”以及“它们之间的关系”，为未来的智能监控、视频搜索和机器人交互打下了坚实的基础。

这是一份关于论文 STORM: End-to-End Referring Multi-Object Tracking in Videos 的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：
视频中的多目标跟踪（MOT）和指代理解（Referring Expression Grounding）是计算机视觉的重要任务。现有的指代多目标跟踪（RMOT）方法通常将“指代定位”（Grounding）和“目标跟踪”（Tracking）拆分为独立的模块（例如：先使用文本编码器配合专用检测器，再连接外部跟踪器）。

现有挑战：

模块化局限： 分离的架构导致模型无法在统一框架内联合推理外观、运动和语言信息，难以处理复杂的因果或关系依赖。
数据稀缺与噪声： 现有的 RMOT 数据集规模小、标注质量差（指代表达模糊、轨迹不准确），且领域受限（多集中在城市交通场景），难以支撑大规模多模态大语言模型（MLLM）的训练。
缺乏端到端方案： 目前尚无能够真正端到端（End-to-End）处理 RMOT 任务的方法，大多数方法仍依赖外部检测器或跟踪器。

任务定义：
RMOT 旨在根据给定的文本查询（Referring Expressions），在视频的所有帧中定位并跟踪所有语义匹配的对象。输入为视频序列 $V$ 和文本描述 $R$ ，输出为所有对应对象 $K$ 在每一帧 $t$ 中的边界框序列 $B$ 。

2. 核心方法论 (Methodology)

作者提出了 STORM（Spatial-Temporal Object Referential Model），这是首个专为 RMOT 设计的端到端多模态大语言模型。

2.1 模型架构 (Architecture)

STORM 采用类似 LLaVA 的 MLLM 架构，统一了定位与跟踪：

视觉编码器： 基于 ViT（具体使用 NaViT，支持任意分辨率和长宽比），从单帧提取视觉 Token。
投影层： 使用双层 MLP 将视觉 Token 映射到文本空间。
语言模型： 基于 LLaMA，接收视觉 Token 和文本查询 Token，自回归地生成结构化文本输出。
输出格式： 模型直接生成包含边界框坐标的纯文本格式（例如：Object 1: Frame 1: [x1, y1, x2, y2], Frame 2: ...）。如果对象被遮挡或不可见，模型输出空框。

2.2 任务组合学习策略 (Task-Composition Learning, TCL)

鉴于 RMOT 标注数据极其稀缺，作者提出了 TCL 策略，将复杂的 RMOT 任务分解为两个基础子任务，利用数据丰富的子任务进行预训练，再微调至 RMOT：

阶段 1：子任务预训练
- 图像指代定位 (Image Grounding)： 在大规模图像数据集（如 RefCOCO 系列）上训练，学习文本与空间区域的跨模态对齐。
- 单目标跟踪 (SOT)： 在大规模 SOT 数据集上训练，学习帧间的时间一致性和运动表征。
- 指代单目标跟踪 (RSOT)： 结合上述能力，学习语言引导的单目标跟踪。
阶段 2：STORM-Bench 微调
- 使用自建的 STORM-Bench 数据集进行微调。
- 引入 思维链 (Chain-of-Thought, CoT) 训练策略：引导模型先生成中间推理步骤（先在首帧定位所有对象，再依次跟踪），最后输出结构化坐标。这增强了模型对复杂关系表达的理解和可解释性。

2.3 数据集构建：STORM-Bench

为了解决现有数据集质量差的问题，作者构建了 STORM-Bench，采用 自底向上 (Bottom-up) 的标注流水线：

对象级描述生成与验证： 利用 MLLM 为视频中的每个检测框生成详细描述，并通过多视角（原图、模糊背景、裁剪图）验证描述的唯一性和准确性，过滤幻觉。
多对象指代表达合成： 利用具备推理能力的 LLM，根据验证后的对象描述，合成包含空间关系、属性对比或并列关系的复杂多对象指代表达。
语义一致性校验： 再次利用 MLLM 检查生成的表达与视频内容是否匹配，剔除错误样本。

3. 主要贡献 (Key Contributions)

首个端到端 RMOT 框架： 提出了 STORM，无需外部检测器或跟踪器，在单一 MLLM 框架内联合完成指代定位与多目标跟踪，实现了外观、运动和语言的统一推理。
任务组合学习 (TCL) 策略： 提出了一种简单高效的训练范式，通过分解任务并利用丰富的子任务数据（图像定位、SOT），显著降低了对特定 RMOT 标注数据的依赖，提升了模型的泛化能力。
STORM-Bench 数据集： 发布了一个高质量、多样化的 RMOT 数据集，包含 0.2M 个指代表达和 73.7K 个跟踪对象。其特点是表达无歧义、覆盖场景广泛（不仅限于交通场景）、包含复杂的空间和关系描述。
SOTA 性能： 在图像定位、单目标跟踪和 RMOT 等多个基准测试中均取得了最先进的性能。

4. 实验结果 (Results)

4.1 基准测试表现

图像指代定位 (RefCOCO/RefCOCO+/RefCOCOg)： STORM 在所有划分上均达到 SOTA，证明了其强大的空间定位能力，且未使用额外的定位数据。
指代单目标跟踪 (Elysium)： 在 RSOT 任务上表现优异，特别是在处理长且复杂的提示词时，性能显著优于基线模型（如 Elysium）。
指代多目标跟踪 (STORM-Bench)：
- HOTA (综合指标)： STORM 达到 66.7，比次优方法（LaMOT 46.7）高出 20.0 以上。
- IDF1 (身份一致性)： 达到 78.3，比次优方法高出 29.5。
- MOTA (多目标跟踪精度)： 达到 57.1，远超其他方法。
- 对比实验显示，仅使用少量 RMOT 数据微调（配合 TCL）即可达到极高性能，证明了 TCL 的有效性。

4.2 消融实验

TCL 的有效性： 相比直接微调，TCL 策略在 RSOT 和 RMOT 任务上分别提升了显著的性能，且仅需 1/10 的 RSOT 数据即可达到同等效果。
数据规模影响： 实验表明，RMOT 数据量在达到约 12K 样本后性能趋于饱和，这验证了 STORM-Bench 15K 训练集规模的合理性。

4.3 定性分析

复杂场景处理： STORM 能准确处理遮挡、目标进出画面、尺度剧烈变化等场景。
关系推理： 能够理解如“左边的孩子”、“拿着笔记本电脑戴墨镜的人”等包含空间关系和属性组合的复杂表达，而基线模型（如 Qwen2.5-VL, VisionLLMv2）常出现漏检、误检或身份切换。

5. 意义与影响 (Significance)

范式转变： 将 RMOT 从传统的“检测 + 跟踪”模块化流程转变为“端到端 MLLM 生成”流程，利用大模型的推理能力解决复杂的指代和跟踪问题。
数据效率： TCL 策略为解决多模态任务中特定领域数据稀缺问题提供了新思路，即通过子任务知识迁移来降低对昂贵标注数据的依赖。
应用价值： STORM 在复杂现实场景（如人机交互、机器人感知、视频理解）中具有极高的应用潜力，能够更自然地响应用户对视频中特定对象群体的指令。
资源开放： 发布的 STORM-Bench 数据集和代码为社区提供了高质量的研究基准，有助于推动指代多目标跟踪领域的发展。

总结： STORM 通过端到端的 MLLM 架构和创新的 TCL 训练策略，成功解决了 RMOT 任务中数据稀缺和模型推理能力不足的问题，在多个维度刷新了性能记录，并展示了强大的现实世界泛化能力。