💻 computer science

Unified Multimodal Visual Tracking with Dual Mixture-of-Experts

本文介绍了OneTrackerV2，这是一个统一的 multimodal 视觉跟踪框架，它采用元合并器（Meta Merger）和双混合专家（DMoE）架构，以实现跨多种模态的高效端到端训练，在多个基准测试中达到最先进性能，同时保持鲁棒性和推理效率。

原作者： Lingyi Hong, Jinglun Li, Xinyu Zhou, Kaixun Jiang, Pinxue Guo, Zhaoyu Chen, Runze Li, Xingdong Sheng, Wenqiang Zhang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lingyi Hong, Jinglun Li, Xinyu Zhou, Kaixun Jiang, Pinxue Guo, Zhaoyu Chen, Runze Li, Xingdong Sheng, Wenqiang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在视频中寻找一只特定的狗。有时你只有一台普通的彩色相机（RGB）。其他时候，你可能拥有一台热成像相机（感知热量）、一台深度相机（感知距离），甚至只是一段写着“一只狗”的文本描述。

旧式跟踪器的问题
直到目前为止，如果你想用不同类型的相机来跟踪那只狗，你就必须为每一种相机构建一个独立的“大脑”。

需要仅用颜色进行跟踪？构建一个颜色大脑。
需要用热量进行跟踪？构建一个热量大脑。
需要用深度进行跟踪？构建一个深度大脑。

这就像为你拥有的每一件工具都聘请一位不同的专家。这既昂贵，训练又慢，而且如果你丢失了一件工具（比如热成像相机坏了），那个特定的大脑就会变得毫无用处。更糟糕的是，如果你试图将它们合并成一个庞大的大脑，信息就会变得混乱，就像试图聆听一场交响乐，其中鼓和小提琴同时演奏相同的音符——这会制造噪音和混乱。

解决方案：OneTrackerV2
作者们介绍了 OneTrackerV2，这是一个单一的、统一的“超级大脑”，能够同时处理任何相机组合（甚至仅有一台相机）。它一次性学习所有内容，而不需要针对每种相机类型进行单独的训练。

以下是它的工作原理，使用简单的类比：

1. “通用翻译器”（Meta Merger）

想象你有一个团队，成员们说着不同的语言（颜色、热量、深度）。如果你只是把他们全部扔进一个房间并让他们交谈，他们可能会互相抢话。

OneTrackerV2 使用了一个名为 Meta Merger 的模块。将其想象为一个 通用翻译器 或 指挥家。

它接收来自你拥有的任何相机的原始数据（即使缺少某一种相机！），并将它们全部翻译成一种单一的、通用的语言。
这确保了“颜色”数据和“热量”数据能够顺畅地协同工作，而不会互相冲突。
神奇之处： 如果你丢失了热成像相机，翻译器不会惊慌。它只需专注于颜色数据，并让对话继续下去。这使得系统非常稳健。

2. “专业专家”（Dual Mixture-of-Experts）

一旦数据被翻译，它就会进入主处理单元。作者们意识到，跟踪移动物体需要两种截然不同的技能：

运动跟踪： 确定物体正在去往何处（速度、方向、时间）。
身份跟踪： 根据特定传感器的信息确定物体看起来像什么（它是热的吗？它是深远的吗？）。

如果你将这两种技能混合在一个大脑中，它们就会感到困惑。为了解决这个问题，OneTrackerV2 使用了 双重专家混合模型（DMoE）。想象一个高端餐厅厨房，设有两个专门的工位：

运动主厨（T-MoE）： 这个工位只关心运动。它忽略食物是热是冷；它只关注食材的速度和方向。
风味主厨（M-MoE）： 这个工位只关心输入的特定“风味”（传感器类型）。它专注于热成像或深度数据的独特细节。

为什么要将它们分开？
在过去，一位大厨师试图同时做这两件事，导致了“特征冲突”（混淆）。通过将它们分开，“运动主厨”在预测运动方面变得非常擅长，而“风味主厨”在识别特定传感器细节方面变得非常擅长。它们并肩工作，但不会互相干扰。

3. “智能经理”（Router Clustering）

系统如何知道该呼叫哪位厨师？它使用一个 路由器。

如果物体移动很快，经理会将数据发送给运动主厨。
如果数据来自热成像相机，经理会将其发送给专门处理热量的风味主厨。
论文表明，这位经理学会了非常具体：它不只是猜测；它确切地学习到哪种“专家”最适合哪种情况。

结果

论文声称，这个新系统是一个游戏规则改变者，因为：

一种方案通吃： 它使用完全相同的代码和设置，适用于 5 种不同的跟踪任务（颜色、颜色 + 深度、颜色 + 热量等）。
优于专家： 令人惊讶的是，这个“通才”大脑在仅使用颜色进行跟踪时，实际上比那些专为颜色设计的旧“专家”大脑表现更好。
具有弹性： 如果相机失效（缺失模态），系统仍能几乎像以前一样继续工作。
高效： 即使他们将模型缩小以使其更快（压缩），它仍然表现惊人，击败了其他快速模型。

总结
OneTrackerV2 就像一把瑞士军刀，它作为刀具的表现实际上比专用的口袋刀更好，作为螺丝刀的表现也比专用的螺丝刀更好。它使用 通用翻译器 来清理输入，并使用 专业主厨 分别处理运动和身份，从而产生了一个比任何前身都更快、更智能、更可靠的跟踪器。

技术摘要：OneTrackerV2——基于双混合专家的统一多模态视觉跟踪

1. 问题陈述

视觉目标跟踪（VOT）通常根据输入模态分为 RGB 跟踪和 RGB+X 跟踪（融合深度、热成像、事件或语言数据）。现有方法在可扩展性、效率和鲁棒性方面存在显著局限：

分离式跟踪器：为每种模态组合设计和训练特定任务架构，导致计算成本高昂且缺乏泛化能力。
基于适应的跟踪器：对预训练的 RGB 跟踪器进行微调以适配下游多模态任务。这种多阶段训练往往导致次优收敛，并依赖于特定任务的权重。
初步统一跟踪器：尝试在单一模型中处理多种模态，但通常依赖简单的令牌拼接。这导致特征纠缠，即异质信息（时空运动与模态特定模式）在共享空间内发生冲突，引发优化干扰。
对缺失模态的脆弱性：大多数统一模型在推理过程中特定输入模态（如深度或热成像）缺失时会失效或性能显著下降，因为它们依赖于固定的输入配置。

2. 方法论：OneTrackerV2

作者提出了OneTrackerV2，这是一个统一框架，旨在通过单一架构、共享参数和单步端到端训练来处理多样化的多模态跟踪任务。核心架构由三个主要组件构成：

2.1 元合并器 (Meta Merger)

为了解决在不产生特征纠缠的情况下整合异质输入的挑战，作者引入了元合并器。

功能：它利用可学习的元嵌入（ $F_{meta}$ ）将 RGB 和辅助模态特征（如深度、热成像）映射到统一的嵌入空间。
机制：元合并器不直接进行拼接，而是作为全局中介。它通过轻量级卷积变换与增强的 RGB 特征和辅助特征（ $F'_{rgb}$ 和 $F'_{x}$ ）进行交互。
优势：这创建了一个紧凑的、模态无关的语义表示。关键在于，由于融合以元嵌入为中心，而非固定的输入拼接，因此即使特定模态缺失，该模块仍能保持鲁棒性。

2.2 双混合专家 (DMoE)

在元合并器之后，统一特征由配备双混合专家 (DMoE) 模块的视觉 Transformer 骨干网络进行处理。与专注于单一目标的标准 MoE 设计不同，DMoE 显式解耦了两个不同的学习任务：

T-MoE（时序混合专家）：专门用于捕捉复杂的时空匹配模式和运动线索。
M-MoE（多模态混合专家）：专门用于融合多模态知识并处理模态特定特征。
共享专家：一个处理通用表示的公共专家（ $E_{shared}$ ）。

解耦机制：
为防止 T-MoE 和 M-MoE 退化为重叠模式，作者采用了两种特定的损失函数：

专家解耦损失 ( $L_{dis}$ )：惩罚 T-MoE 输出（ $y_T$ ）与 M-MoE 输出（ $y_M$ ）之间的余弦相似度，迫使它们进入正交的功能子空间。
路由器聚类损失 ( $L_{cluster}$ )：强制 M-MoE 路由器对来自同一模态的样本产生一致的专家选择，同时在不同模态间保持判别性路由。这确保 M-MoE 学习模态特定的抽象而非通用特征。

2.3 优化策略

随机模态扰动：在训练期间，模型采用随机模态替换（交换 RGB 和辅助输入）和随机模态掩码。这使元合并器暴露于多样化的配置中，增强了其对缺失数据的鲁棒性，并防止对特定传感器的过度依赖。
损失函数：总目标结合了标准跟踪损失（分类、IoU、L1）与提出的解耦和聚类损失。

3. 主要贡献

统一框架：引入OneTrackerV2，这是一个单一框架，通过共享参数的单步训练支持多样化的多模态跟踪任务（RGB、RGB+D、RGB+T、RGB+E、RGB+N），消除了对特定任务架构或多阶段微调的需求。
元合并器模块：一种新颖的模块，将异质特征聚合到统一空间，实现高效的跨模态交互，同时在缺失模态条件下保持鲁棒性。
双混合专家 (DMoE)：一种解决异质目标冲突的结构化方案，将时空关系建模与多模态特征嵌入解耦。这扩展了表示空间，并在几乎不增加计算开销的情况下提升了性能。
全面评估：在 5 个跟踪任务和 12 个基准测试中展示了最先进（SOTA）的性能，包括在缺失模态场景中的显著鲁棒性以及模型压缩下的高效率。

4. 实验结果

该论文在 12 个基准测试中评估了 OneTrackerV2 与最先进跟踪器的表现：

RGB 跟踪：尽管在统一多模态数据集上训练，OneTrackerV2 在 LaSOT、TrackingNet 和 GOT-10k 等基准测试中仍优于现有的仅 RGB 跟踪器（如 ODTrack、ARTrackV2）。这证明了统一设计并未牺牲单模态性能。
RGB+X 跟踪：在深度、热成像、事件和语言跟踪基准测试（如 DepthTrack、RGBT234、VisEvent、TNL2K）上，OneTrackerV2 超越了依赖特定任务架构或微调的方法（如 SUTrack、ViPT、STTrack）。
对缺失模态的鲁棒性：在辅助模态缺失的场景中（如 DepthTrack $_{miss}$ ），OneTrackerV2 显著优于先前的统一方法（如 SUTrack、SeqTrackv2），验证了元合并器和随机训练的有效性。
效率与压缩：该模型保持了高推理速度（B224 变体高达 72.4 FPS）。当压缩为 6 层变体时，它保留了强大的性能（仅下降约 2%），同时实现了 159 FPS 的帧率，在速度和精度上均优于 SuTrack-T224 等压缩基线。

5. 意义与主张

作者主张，OneTrackerV2 代表了多模态跟踪的范式转变，证明了可以在不牺牲效率或准确性的情况下实现可扩展性、鲁棒性和泛化性。

统一训练：论文认为，具有共享架构的单步训练过程优于多阶段微调，后者往往导致次优收敛。
解耦学习：通过将运动建模（T-MoE）与模态融合（M-MoE）显式分离，该框架解决了朴素统一模型固有的“特征冲突”，使模型能够学习独特且互补的特征。
实际鲁棒性：该框架被强调对传感器可用性可能变化的现实世界应用（例如热成像相机故障）尤为重要，因为它无需更改架构或重新训练即可保持性能。

作者总结道，OneTrackerV2 为统一多模态跟踪设定了新标准，提供了一种可扩展的解决方案，在高精度、推理效率和输入变化的弹性之间取得了平衡。