The First EgoCross Challenge at EgoVis 2026: Cross-Domain Egocentric Video Question Answering
本技术报告介绍了 EgoCross Challenge，这是一个在 EgoVis 2026 上举办的跨领域第一视角视频问答基准测试，该基准测试通过两个不同的赛道对多模态大语言模型在四个专业领域进行了评估，最终产生了超过 1,500 份提交内容并公开了相关资源以推动该领域的发展。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人通过绑在头上的摄像头来理解世界。这就是**第一视角视频理解（egocentric video understanding）**领域，计算机试图从第一人称的角度——就像你看到的那样——来理解生活。通常，这些机器人的训练内容是些枯燥的日常任务，比如做吐司或叠衣服。但现实生活是混乱且充满惊喜的。当那个机器人需要进行心脏手术、组装一台复杂的机器、滑雪下山，或者从一只狗的视角观察世界时，会发生什么？这就是“领域鸿沟（domain gap）”：从懂得如何煎蛋到懂得如何处理手术刀，是一个令人恐惧的跨越。研究人员提出的核心问题是：一个聪明的计算机能否学会处理这些完全不同、高风险的世界，而不需要从头开始重新学习一切？
这篇论文是名为 First EgoCross Challenge 的大型实验的成绩单，该实验于 2026 年举行。组织者设置了一项严苛的测试，旨在观察现代“超智能”视频机器人是否能在其日常惯例之外进行泛化。他们创建了一个基准测试，包含 798 段视频片段和 957 个棘手的题目，涵盖了四个截然不同的世界：手术、工业组装、极限运动以及动物视角。目标简单却困难：观看视频，阅读问题，并从四个选项中选出正确答案。挑战赛将参赛者分为两组。一组是“源受限赛道（Source-Limited Track）”，他们只能使用极少量、固定的样本（仅 80 个样本！）和一个特定的机器人大脑。另一组是“开源赛道（Open-Source Track）”，他们可以使用更大的大脑和更多的公开数据，但被禁止手动搜寻目标世界的新训练视频。
结果呈现出一种“惊叹”与“依然困难”并存的状态。超过 130 支队伍提交了 1,500 多次尝试。冠军团队 DomainWiseInfer 并没有仅仅靠堆砌更大的机器人来暴力破解问题，而是构建了一个聪明的“交通警察”系统。他们没有对所有事物都使用通用的策略，而是意识到，关于滑雪事故的问题与关于手术工具的问题需要完全不同的思考方式。他们根据领域将问题路由到专门的“推理策略”中。例如，对于动物视频，他们侧重于追踪交互行为并稳定晃动的相机运动；对于手术，他们则侧于验证工具是否确实可见。这种几乎不需要任何新训练的方法，将机器人的准确率从约 46% 的基准线提升到了夺冠的 66.98%。
另一支顶尖团队 OmniEgo-R2 则将问题视为侦探在破解谜案。他们将任务分解为几个步骤：首先，为视频帧添加时间戳进行整理；第二，确定问题需要哪种“技能”（如计数物体或寻找位置）；第三，将每个可能的答案与视频证据进行比对，以确保它不是谎言。这种“路由推理（routed reasoning）”帮助他们在严格赛道中获得了 66.35% 的得分，并在开源赛道中获得了 66.77% 的得分。
第三名开源赛道团队 Reflective Dialogue 尝试了另一种技巧。他们不仅向机器人展示示例，还将示例转化成了“老师”与“解题者”之间的对话。老师提出问题，解题者做出猜测，如果解题者错了，老师就会解释为什么错了，以及实际的视觉证据显示了什么。这种“反思性”对话随后作为提示信息喂给机器人，然后再让它回答真正的测试题。这种方法帮助机器人达到了 65.94% 的准确率。
论文指出，尽管我们正在取得进步，但机器人仍然在手术和极限运动领域表现得最为吃力，因为那里的动作极快或看起来非常特殊。然而，机器人在动物视角方面表现得异常出色，这可能是因为这些视频更多地依赖于通用的视觉线索。核心启示在于，我们取得的进展并非意味着我们已经解决了问题，而是通过实践证明，未来的关键不在于制造更大的机器人，而在于赋予它们更聪明的思考方式：将问题路由给合适的专家，将问题分解为逻辑步骤，并从关于错误的“对话”中学习。这次挑战证明，只要拥有正确的策略，机器人就可以开始理解我们这个狂野、多样化的世界，即使它只见过这个世界的寥寥数例。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。