ORMOT: A Dataset and Framework for Omnidirectional Referring Multi-Object Tracking

本文提出了面向全景图像的“全景指代多目标跟踪（ORMOT）”新任务，构建了包含丰富视觉、时序及语言信息的 ORSet 数据集，并设计了基于大视觉语言模型的 ORTrack 框架，以解决传统多目标跟踪在视场受限和长程语言理解方面的挑战。

要点

这篇论文介绍了一个名为 ORMOT 的新任务，以及为了完成这个任务而打造的一套“新装备”：ORSet 数据集和ORTrack 框架。

为了让你轻松理解，我们可以把整个研究想象成从“普通监控”升级到“全景智能管家”的过程。

1. 以前的痛点：戴着“眼罩”的追踪者

想象一下，以前的多目标追踪系统（RMOT）就像一个戴着窄窄眼罩的保安。

• 场景：他在走廊里盯着几个人。
• 问题：如果一个人走到走廊尽头，或者从侧面绕到了保安看不见的地方，保安就“跟丢”了。
• 语言指令的尴尬：如果你给保安下指令说：“去追踪那个先推开门，然后上楼梯的人。”
  • 因为眼罩太窄，保安只看到了“上楼梯”的人，没看到“推门”的动作。
  • 结果：保安可能把所有上楼梯的人都当成目标，完全搞错了。

2. 新的解决方案：360 度全景“上帝视角”

为了解决这个问题，作者提出了 ORMOT（全方位指代多目标追踪）。

• 新装备：把保安的“窄眼罩”换成了360 度全景鱼眼镜头。
• 优势：
  1. 视野无死角：就像你站在房间中央转了一圈，无论人走到哪里（左边、右边、甚至绕到身后），都在你的视野里，不会跟丢。
  2. 听懂长指令：因为能看到全过程，保安现在能完美理解“先推门，再上楼梯”这种复杂的长指令，精准锁定目标。

3. 核心贡献一：ORSet 数据集（给 AI 的“全景教材”）

为了让 AI 学会这种新技能，作者造了一本超级教材，叫 ORSet。

• 内容：这本教材里有 27 个不同的全景场景（像咖啡馆、街道等），记录了 3400 多个人的轨迹。
• 特色：它不仅仅是视频，还配有848 条人类语言描述。
  • 普通描述：“穿黑衣服的人”。
  • 全景特供描述（这是最酷的地方）：
    • “那个从左边边缘消失，又从右边边缘出现的人”（因为全景图是卷起来的，人绕一圈会这样）。
    • “沿着时钟 3 点钟方向走的人”（用钟表方位代替左右，因为全景图里没有绝对的左右）。
    • “那个走出房间的人”（强调物理空间的离开，而不仅仅是走出画面）。
• 比喻：这就像给 AI 提供了一本《全景世界生存指南》，专门教它如何理解 360 度环境里的复杂指令。

4. 核心贡献二：ORTrack 框架（给 AI 的“超级大脑”）

有了教材，还得有个聪明的学生来学。作者设计了一个叫 ORTrack 的系统，它的核心是一个大语言视觉模型（LVLM）。

• 怎么工作？
  1. 听懂人话：它不像以前的系统只能识别“人、车、狗”这种固定类别。你让它找“那个背着书包、心情很好、正在等朋友的人”，它就能听懂并找到。
  2. 双重扫描：
     • 广角扫描：先看一眼周围的大环境（比如他在哪条路上）。
     • 特写扫描：再凑近看细节（比如他穿什么颜色的鞋）。
     • 把这两者结合起来，就能在扭曲的全景图中精准锁定目标。
  3. 跨帧连线：就像玩“连连看”，它把不同时间点的同一个人连起来，确保不会把张三认成李四。

5. 实验结果：真的好用吗？

作者让 ORTrack 在 ORSet 数据集上进行了“考试”（零样本测试，即没专门针对这个数据集训练过）。

• 成绩：它打败了所有现有的旧方法。
• 表现：
  • 即使画面因为鱼眼镜头变得扭曲（路看起来是弯的），它也能认出那是直路。
  • 即使指令很抽象（比如“那个看起来很高兴的人”），它也能通过表情和动作猜对。
  • 它能完美处理“从左边消失从右边出现”这种全景特有的情况。

总结

这篇论文就像是在说：

“以前的追踪系统像近视眼戴着眼罩，只能看眼前一点点，听不懂复杂的长指令。
我们给它们换上了360 度全景眼镜，并编写了一本专门教它们理解全景世界的教材（ORSet），还配了一个超级聪明的 AI 大脑（ORTrack）。
现在，这个系统不仅能看清全场，还能听懂‘那个先推门再上楼的人’这种复杂指令，彻底解决了跟丢和认错的问题。”

这项技术未来可以用在全景监控、自动驾驶（360 度感知）、机器人导航等领域，让机器真正拥有像人类一样“环顾四周”并理解复杂指令的能力。

技术摘要

这是一篇关于**全向多目标指代跟踪（Omnidirectional Referring Multi-Object Tracking, ORMOT）**的学术论文技术总结。该研究由华中科技大学的多位研究人员完成，旨在解决传统多目标跟踪在视觉 - 语言场景下的局限性，特别是视野受限和长程语言理解困难的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 现有挑战：
  • 多目标跟踪 (MOT) 在通用视觉场景中表现良好，但在指代多目标跟踪 (RMOT)（即根据语言描述跟踪特定目标）任务中，现有方法主要基于传统相机（有限视野，FoV）的数据集。
  • 视野限制： 传统相机的有限视野导致目标容易移出画面，造成跟踪断裂和上下文信息丢失。
  • 长程语言理解困难： 当语言描述包含长程动作序列（例如“推开大门然后走上楼梯”）时，传统相机往往只能捕捉到动作的一部分，导致模型无法正确理解语义，从而跟踪错误（例如只跟踪所有上楼的人，而忽略了“推门”这一关键动作）。
• 核心问题： 如何在一个360°全向视野下，利用自然语言描述来准确、连续地跟踪多个目标，并克服全景投影带来的畸变和语义歧义。

2. 核心贡献 (Key Contributions)

论文提出了三个主要贡献：

1. 新任务定义 (ORMOT)：

   • 提出了全向指代多目标跟踪 (ORMOT) 任务。
   • 利用全向相机的连续空间覆盖特性，解决目标移出视野的问题，并提供更丰富的空间上下文，显著提升模型对长程语言描述（如动作序列、空间关系、群体行为）的理解能力。

2. 新数据集 (ORSet)：

   • 构建了 ORSet 数据集，基于 JRDB 数据集扩展而来。
   • 规模： 包含 27 个不同的全向场景，848 条语言描述，3,401 个标注目标及其时空轨迹。
   • 全向特异性描述： 专门设计了四类针对全向影像的描述符：
     • 边界穿越运动 (Boundary-crossing motion)： 描述目标从画面左边缘消失并在右边缘重新出现（解决全景接缝问题）。
     • 圆周方向线索 (Circumferential orientation cues)： 使用"3 点钟方向”等绝对坐标系描述，消除相对方向（左/右）的歧义。
     • 投影感知语义消歧 (Projection-aware semantic disambiguation)： 纠正因全景投影导致的直线变弯曲等视觉错觉。
     • 视野过渡标记 (Field-of-view transition marking)： 区分目标离开物理空间与仅仅离开视野。
   • 标注流程： 采用“语义内容选择 -> LLM 生成描述 -> 人工验证与对齐”的三阶段流水线，确保数据质量。

3. 新框架 (ORTrack)：

   • 提出了 ORTrack，一个由大型视觉 - 语言模型 (LVLM) 驱动的 ORMOT 框架。
   • 零样本能力： 利用 LVLM 的开放词汇推理能力，无需针对特定类别重新训练，即可根据任意自然语言描述进行检测和跟踪。

3. 方法论 (Methodology: ORTrack Framework)

ORTrack 框架主要包含三个核心模块：

1. 基于 LVLM 的语言引导检测 (Language-guided Detection)：

   • 利用 LVLM（如 Qwen2.5-VL）作为开放词汇检测器。
   • 输入：全向帧图像 $I_t$ + 语言描述 $L$。
   • 过程：通过多模态交叉注意力机制对齐语言与视觉区域，直接预测符合描述的边界框。

2. 两阶段基于裁剪的特征提取 (Two-stage Cropping-based Feature Extraction)：

   • 为了解决全向图像（等距圆柱投影）中目标可能被拉伸或跨越边界的问题，采用分层特征提取策略：
     • 阶段 1 (全局上下文)： 将检测框向外扩展（Margin ratio $\alpha$），捕获周围上下文信息，缓解广角压缩带来的特征不稳定。
     • 阶段 2 (细粒度目标)： 提取精确的目标区域。
     • 特征融合： 使用冻结的 CLIP 编码器分别提取全局和局部特征，然后进行加权融合 ($f = f_{local} + \lambda f_{global}$)，以获得兼具上下文和细节的判别性特征。

3. 跨帧关联 (Cross-frame Association)：

   • 利用余弦相似度计算特征矩阵，结合 匈牙利算法 (Hungarian Algorithm) 进行最优一对一匹配。
   • 通过特征相似度而非传统的 IoU（在 360°图像中 IoU 匹配不可靠）来维持 ID 的一致性。
   • 未匹配的检测启动新轨迹，长时间未匹配的轨迹终止。

4. 实验结果 (Results)

• 数据集评估： 在 ORSet 测试集上进行了零样本（Zero-shot）评估。
• 性能对比：
  • ORTrack 在 HOTA (9.97 vs 2.41/2.00)、DetA (6.37 vs 1.40/0.45) 和 AssA (16.15 vs 4.24/9.01) 等关键指标上显著优于现有的 RMOT 方法（如 TransRMOT, TempRMOT）。
  • 证明了其在检测鲁棒性和关联稳定性上的优势。
• 消融实验：
  • LVLM 选择： Qwen2.5-VL-7B 表现最佳，证明了更大参数量模型在推理和视觉 - 语言对齐上的优势。
  • 特征编码器： 对比了 CLIP 与 LVLM 作为特征编码器。CLIP 在保持精度的同时提供了更高的计算效率（FPS 更高），更适合实时应用。
  • 关联策略： ORTrack 的关联策略优于结合 OC-SORT 的方法，特别是在身份保持（Identity Preservation）方面。
• 定性分析：
  • 模型成功处理了全景畸变（如将弯曲道路识别为直线）、长程动作理解（如“推门后上楼”）以及情感推断（如“开心等待”）等复杂场景。
  • 能够正确识别跨越画面边界的连续运动。

5. 意义与未来展望 (Significance & Future Work)

• 学术意义：
  • 填补了全向视觉与指代跟踪领域的空白，提出了首个专门针对 ORMOT 的数据集和基准。
  • 验证了 LVLM 在开放词汇、零样本多目标跟踪任务中的巨大潜力。
  • 解决了传统相机视野受限导致的长程语义理解难题，为复杂场景下的智能监控、机器人导航提供了新思路。
• 局限性：
  • 在全向畸变严重或目标极度密集时，仍存在检测漏检和 ID 切换（Identity Switch）的问题。
  • 计算效率仍有优化空间（尽管比纯 LVLM 特征提取快，但相比传统 MOT 仍较重）。
• 未来方向：
  • 提高在全向畸变下的检测鲁棒性。
  • 增强在严重几何畸变和尺度变化下的稳定关联能力。

总结： 该论文通过引入全向视角，从根本上解决了传统 RMOT 的视野和上下文限制问题，并提出了 ORSet 数据集和 ORTrack 框架，为理解复杂 360°环境下的语言 - 视觉交互提供了强有力的基线和新的研究方向。代码和数据集已开源。