Revisiting RGBT Tracking Benchmarks from the Perspective of Modality Validity: A New Benchmark, Problem, and Solution
该论文针对现有 RGBT 跟踪基准在恶劣成像条件下代表性不足的问题，提出了包含模态有效性考量且覆盖多场景的新基准 MV-RGBT，界定了“何时融合”的新问题，并设计了基于混合专家机制的 MoETrack 解决方案，证明了在模态失效场景下融合并非总是有益且该模型在多个基准上取得了最先进性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是在给“智能摄像头”做的一次**“极端环境体检”，并发明了一套“更聪明的决策系统”**。
为了让你轻松理解，我们可以把RGBT 跟踪（同时用普通摄像头和热成像摄像头追踪物体）想象成**“双人侦探小队”**：
- RGB 侦探（普通眼）： 看得清颜色、细节，但怕黑、怕雾、怕强光。
- TIR 侦探（热成像眼）： 不怕黑、能穿透烟雾，但看不清颜色，而且有时候会被镜子或玻璃“骗”到。
1. 发现了一个大漏洞：以前的“考题”太简单了
现状： 以前用来训练和测试这些侦探的“题库”（数据集），大部分都是在天气晴朗、光线充足的好日子里拍的。
比喻： 这就像是在教游泳教练时，只让他们在平静的游泳池里练习。结果呢？教练们以为自己是游泳冠军，可一旦把他们扔到狂风暴雨的大海（比如大雾天、深夜、暴雨天）里，他们就懵了，因为那里只有一种感官（比如热成像）有用，另一种（普通视觉）完全瞎了。
论文做的第一件事： 他们造了一个**“魔鬼训练营”**（新数据集 MV-RGBT）。
- 这里全是极端天气：大雾、黑夜、玻璃反光、暴雨。
- 在这个训练营里，有时候“普通眼”瞎了，有时候“热成像眼”瞎了。
- 目的： 逼着算法学会在“队友掉链子”的时候，怎么自己扛大旗，而不是死板地非要两个人一起干活。
2. 提出了一个核心问题：什么时候该“合伙”，什么时候该“单干”？
旧思路： 以前的算法不管发生什么，都强行把两个侦探的信息**“融合”**在一起（1+1=2）。
新问题： 在大雾天，普通眼看到的是一片白茫茫的垃圾信息。这时候如果强行把垃圾信息和热成像的有用信息混在一起，反而会把热成像也带偏（1+1 < 1，甚至变成负数）。
比喻： 就像你在大雾天开车，导航仪（普通眼）说“前面是路”，但你的肉眼（热成像）看到前面是悬崖。这时候，最好的策略是关掉导航仪，只听肉眼的，而不是把两个信息平均一下说“前面可能是悬崖路”。
论文提出的新策略： “什么时候该融合？”（When to fuse）。
- 不是无脑融合，而是动态选择。
- 如果两个都好，就融合（强强联手）。
- 如果一个坏了，就只信好的那个（单干）。
3. 发明了“三头六臂”的超级侦探（MoETrack 方法）
为了解决上面的问题，作者设计了一个叫 MoETrack 的新系统。
比喻： 以前的系统只有一个大脑，负责处理所有信息。现在，他们给系统装上了三个“专家大脑”（Mixture of Experts）：
- RGB 专家： 只负责看普通画面。
- TIR 专家： 只负责看热成像。
- 融合专家： 负责把两个画面拼在一起看。
怎么工作？
- 这三个专家同时工作，每个人都会给出一个答案，并且给自己打个**“自信分”**（Confidence Score）。
- 最终决策者（就像一个聪明的队长）会看谁的分数最高，就听谁的。
- 如果是大雾天，RGB 专家会说“我看不清，我不行”，分数很低；TIR 专家说“我看得清”，分数很高。队长就直接采纳 TIR 专家的意见，忽略融合专家。
- 如果是好天气，三个专家分数都高，融合专家因为结合了双方优势，分数最高，队长就采纳融合专家的意见。
4. 结果怎么样？
- 在“魔鬼训练营”（MV-RGBT）里： 这套新系统表现最好，因为它懂得“识时务”，知道什么时候该单干，什么时候该合作。
- 在“普通游泳池”（以前的数据集）里： 它依然表现最好。这说明它既聪明又稳健，不会因为环境变化就“翻车”。
总结
这篇论文的核心思想就是：不要盲目地相信“人多力量大”（融合），有时候“专才”（单模态）在特定环境下更靠谱。
他们造了一个更难的考试环境（MV-RGBT），并发明了一个会看脸色行事的智能系统（MoETrack），告诉未来的 AI 开发者：在极端环境下，学会“做减法”（只信有用的信息）比“做加法”（强行融合）更重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。