MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents
本文介绍了 MetaSpace，这是一个新颖的蜕变测试框架，它通过将逻辑和物理定律编码为可执行规则以检测故障，从而自动评估具身智能体的空间认知能力，并揭示了当前最先进的智能体与人类基准相比表现显著不足。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人成为一名得力的室友。你不仅希望它能听从指令，还希望它能理解周围的世界。这个领域被称为“具身智能”（embodied intelligence），在这里，计算机不再仅仅是在屏幕上聊天，而是尝试在物理空间中导航、拿起杯子并在房屋中穿行。一个巨大的挑战是“空间认知”（spatial cognition）——即知道物体在哪里、离多远，以及哪边是“左”或“右”的能力。这就是为什么有的机器人会因为误把墙当成门而盲目撞墙，而有的机器人却知道如何精准地挤过去，这两者之间的区别。长期以来，我们测试这些机器人时，只会问一些简单的问题，比如“杯子在桌子上吗？”或者观察它们是否能完成像“打扫厨房”这样的大任务。但就像一个通过猜题而非真正理解公式来通过数学考试的学生一样，机器人可能会靠运气完成任务，或者采取一条虽然看起来成功但内部逻辑其实是错误且低效的奇怪路径。我们需要一种方法来“窥视引擎盖之下”，看看机器人的大脑在移动过程中是否真的在正确运作。
于是，诞生了 MetaSpace，这是一个由香港科技大学研究人员开发的巧妙的新型测试框架。你可以把 MetaSpace 想象成一个“逻辑陷阱”，旨在捕捉那些对自己所处位置产生误判的机器人。研究人员并没有仅仅检查机器人是否完成了工作，而是使用了一种叫做“蜕变测试”（metamorphic testing）的技术。想象一下，你告诉机器人：“向前走三步。”如果机器人很聪明，它应该知道，如果它向前走了三步，然后转身向后走三步，它应该回到原地。如果机器人说“我回到原处了”，但它的内部地图却显示它实际上在厨房里，那么它就没通过逻辑测试。MetaSpace 通过将真实的机器人运动转化为基于不可违背的物理和逻辑规则（例如“如果 A 在 B 的左边，且 B 在 C 的左边，那么 A 必然在 C 的左边”）的“假设场景”，并检查机器人的回答是否保持一致，从而实现了自动化。
研究人员将这套系统应用于目前最智能的六种由先进 AI 模型驱动的机器人大脑。他们在三个不同的世界中运行了超过 30,000 次独特的测试：一个在厨房中导航的家用机器人、一个在桌面上移动物体的机械臂，以及一架在户外飞行的无人机。结果令人震惊。虽然这些机器人令人印象深刻，但在理解空间方面却表现得相当糟糕。团队发现了高达 90,422 处空间思维错误。当他们给机器人打出“空间认知分数”（满分为 1.0）时，表现最好的机器人也仅在 0.44 到 0.52 之间。相比之下，一组人类志愿者在同样的测试中得分高达 0.96。机器人在辨别方向和距离方面表现尤为差劲，即使它们有时能靠纯粹的运气完成任务，也经常会对“左”的方向或距离有多远感到困惑。
论文还尝试修复这些错误。他们测试了两种帮助机器人更好地思考的方法。一种是常用的技巧——“思维链”（Chain of Thought），即要求 AI 大声解释它的步骤。这虽然有一点点帮助，但效果有限。另一种技巧是“认知地图提示”（Cognitive Map Prompting），即要求机器人在移动前先在脑海中绘制一张房间的心理地图。这种方法效果显著，在特定的方向任务中，将机器人的得分从不及格的 0.11 提升到了更优秀的 0.45。研究人员得出结论，尽管我们的机器人正变得越来越聪明，但它们仍然缺乏对空间的根本理解。他们建议，要构建真正可靠的现实世界机器人，我们不能仅仅检查它们是否完成了任务，而应该开始教它们如何构建准确的周围世界心理地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。