GPT-6-Astra in a Navigation Workflow: Behavioral Analysis in Zero-Shot Vision-and-Language Navigation in Continuous Environments
本文评估了 GPT-6-Astra 在连续视觉-语言导航中的零样本性能，证明了尽管该模型能够有效地理解指令并寻求澄清，但在将正确的局部判断转化为持续的自主进展和恰当的停止方面存在困难，在 R2R-CE val-unseen 基准测试中实现了 52.0% 的成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，一个机器人被放置在一个它从未见过的房间里，它收到了一个简单的口头指令：“离开卧室，在走廊左转，然后在桌子旁停下。”它的任务不仅是理解这些词汇，还要在空间中物理移动，解读它所看到的景象，并准确知道何时停止。这一挑战被称为“视觉-语言导航”，处于机器如何观察世界与如何理解人类语言的交汇点。多年来，研究人员一直试图通过在海量数据上进行训练来教机器人遵循这些指令，本质上是向它们展示成千上万个房间和路径的示例，直到它们学会其中的模式。然而，一种更新的方法提出了一个不同的问题：一个强大的人工智能，即使没有经过专门的导航训练，能否仅仅通过观察图片和阅读指令，就弄明白如何在新的环境中移动？这就是“零样本”（zero-shot）导航的领域，在这种情况下，系统必须依靠其对世界的通用理解，而不是对特定房间的专门记忆。
一支研究团队最近使用一个名为 GPT-6-Astra 的高级人工智能模型测试了这个想法。他们并没有构建一个定制的机器人，也没有在导航数据上训练该模型。相反，他们创建了一个工作流，让该模型充当虚拟智能体的“大脑”。在这种设置中，模型接收周围环境的全景视图和自然语言指令。然后，它必须决定下一步做什么：前进、左转、右转或停止。至关重要的是，研究人员不仅仅是让模型去猜测；他们构建了一个系统，记录模型的思考过程，根据模拟中的物理现实检查其决策，并允许它在不确定时请求新的视角。目标是观察这种通用智能是否能够成功引导智能体到达目的地，并且，更重要地，是否知道何时已经到达。
研究人员通过各种未见的室内环境（从公寓到办公空间）运行了这个系统五十个不同的导航任务。结果既有令人印象深刻的理解力，也有令人沮芳的局限性。该系统表现得相当不错，在约一半的尝试中成功到达了目的地的大致区域。当它成功时，它所走的路径通常非常高效，与人类可能采取的理想路线非常接近。该模型展现出了将所见与所闻联系起来的卓越能力。例如，如果指令是寻找“左侧第二个门”，模型可以区分那个特定的门与第一个门或右侧的门，即使它们看起来非常相似。它还可以回顾自己的历史，记住自己刚刚转过一个弯，并利用这段记忆来确认自己是否在正确的轨道上。
研究人员观察到的最有趣的现象之一是，模型在感到困惑时愿意暂停并寻求更多信息。如果模型看到了一个门口，但不确定那里是否通往正确的地方，系统允许它请求一个更近的观察视角或不同的角度。在许多情况下，这种额外的观察揭示了隐藏的细节，例如被门挡住的通道，或者证明某条走廊是死胡同的架子。随后，模型会修正其计划，拒绝错误的路径或确认正确的路径。这种寻求证据并根据新的视觉信息改变主意并改变计划的能力是一个明显的优势，表明该模型可以像一个谨慎的探索者，而不是一个盲目遵循剧本的机器人。
然而，这项研究也强调了理解任务与完成任务之间的显著差距。模型通常非常擅长弄清楚自己在哪里以及做了什么，能够正确区分已完成的动作和待处理的动作，但在某些情况下，即便模型识别出了当前状态，系统仍会在未跨越阈值的情况下继续旋转。在其他情况下，模型虽然通过其专门的“到达评估”角色正确评估了到达情况，但最终的停止决策仍需要结合其自身的评估与外部工作流的检查才能被接受。数据显示，虽然系统在许多回合中到达了正确的邻近区域，但只有在约百分之三十六的情况下，通过工作流接受的决策才能在正确的位置停止。这表明，虽然“大脑”可以理解地图和指令，但将这种理解转化为最终精确的停止决策并不总是自动完成的。
研究人员发现，系统的成功在很大程度上依赖于他们围绕它构建的外部工具。模型本身承担了特定的角色，包括“到达评估”，但工作流负责在接受“停止”命令前检查完成情况。如果没有这些综合检查，模型自身的判断不足以保证成功的完成。这种区别至关重要：智能体能够对环境进行推理并评估其是否到达，但它无法可靠地独立完成闭环。研究结论是，未来的挑战不仅在于让模型更聪明地识别地标，还在于教会它们足够信任自己的判断，以便在到达时能够真正停止移动。前进的道路在于弥合“知道你到了”与“实际停在那里”之间的鸿隙，确保理解的时刻能直接转化为完成的时刻。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。