Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents
本文介绍了 MissionBench，这是一个用于评估多模态大语言模型在航空 3D 环境中零样本任务级能力的基准测试，研究表明，尽管规模化提升了性能，但目前的模型在需要多步规划和自适应推理的复杂、长时程具身任务中，仍然显著落后于人类。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你刚刚交给一个崭新的、超级聪明的机器人一张地图和一项任务：“去找那辆红色的车并告诉我它的车牌号。”你期望这个机器人能迅速出发，扫描场景，然后回来给你答案。但问题在于，这个机器人从未驾驶过无人机。它从未被教过如何悬停，如何躲避一棵树，或者如何从鸟瞰视角阅读一个标牌。它只知道如何说话和看图片，因为它是在整个互联网的数据上进行训练的。这就是**多模态大语言模型（MLLMs）**的世界——这些能够看图识字、理解文本的 AI 大脑，现在正被要求去控制物理机器。科学家们提出的核心问题是：这些通用的“聪明大脑”能否仅凭阅读一句话，就能在没有任何专门训练的情况下，学会如何驾驶无人机并完成一项复杂的任务？这就像是问一个读遍了图书馆里每一本书的人，能否仅仅因为读过一个关于飞行航天器的故事，就能突然驾驶一艘飞船前往特定的小行星。
在这篇论文中，研究人员决定对这些 AI 大脑进行终极测试。他们构建了一个名为 MissionBench 的视频游戏世界，这基本上是一个高科技的无人机游乐场。在这个游乐场里有 120 个不同的任务，范围从“巡逻这个街区”到“检查一艘着火的船”或“向帐篷投递包裹”。转折点在于：AI 智能体（无人机飞行员）只能获得一段文本指令和来自无人机视角的摄像机画面。它们必须自己摸索该去哪里、如何转向、飞多快以及最后汇报什么。这是一个闭环游戏：AI 移动，世界随之改变，AI 看到新的视角，然后必须决定下一步该做什么。
实验结果既让人“惊叹”，也让人“抓狂”。研究人员测试了 22 种不同的 AI 模型，涵盖了从开源模型到最强大的商业巨头。表现最好的 AI 在完成任务的比例不足 35%。为了让你有个直观的概念，人类飞行员在使用相同的有限控制方式玩同一个游戏时，成功率达到了 70%；而在拥有完整键盘控制权的情况下，人类的成功率达到了 84.4%。因此，虽然 AI 并不算太差，但仍然难以跟上人类的步伐。论文指出，仅仅通过“做大”AI（增加更多数据和参数）是有帮助的；规模最大的模型表现明显优于较小的模型，这表明原始的规模赋予了它们一些“具身化”的直觉。然而，即使是最聪明的 AI 也会感到困惑。它经常撞到物体、原地转圈，或者过早放弃，认为自己已经完成了任务，而实际上距离目标还有好几英里远。
这项研究还探讨了 为什么 AI 会失败。事实证明，擅长在单张照片中识别物体（比如在照片中找到一辆车）并不保证 AI 就能驾驶无人机飞向那辆车。AI 需要做的远不止是“观察”；它需要规划路径、调整高度、保持目标在视野内，并在情况发生变化时做出调整。研究人员发现，AI 经常遭受“漂移与振荡”之苦——它会像一只迷失方向的飞蛾一样，陷入前后摇摆的困境；或者出现“过早终止”的情况——即在短短几秒钟后就宣布胜利，因为它感到疲劳或产生了混乱。
最终，这篇论文表明，虽然通用 AI 在无需专门训练的情况下控制无人机方面正在进步，但它尚未准备好进入现实世界。AI 的能力与人类的能力之间仍存在巨大的鸿沟。作者警告说，随着这些模型变得越来越大、越来越聪明，它们可能会变得更有能力，但如果过早部署，也会带来风险。目前，MissionBench 扮演了一个现实检验的角色：拥有一个了解世界万物的“大脑”，并不自动意味着你懂得如何驾驶无人机穿梭其中。从“阅读关于飞行的知识”到“真正学会飞行”，依然是一段漫长的旅程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。