HumanCLAW: Can Vision-Language Models Act Through a Body?
本文介绍了 HumanCLAW，这是一个将视觉语言模型的决策过程与运动执行相解耦的框架，用于评估具身智能，并揭示了当前模型在长程物理任务中的失败主要是由于缺乏具身自我意识，而非识别能力不足。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个聪明的、超级智能的机器人玩电子游戏。但这不是普通的电子游戏；在这个游戏中，机器人必须控制一个真实的物理身体，这个身体可能会绊倒、摔跤、撞墙，甚至撞倒花瓶。在人工智能的世界里，机器人的“大脑”主要有两种类型。第一种就像一位背下了数百万条特定飞行路径的飞行员；它非常擅长执行它曾经见过的动作，但如果风向稍有变化，它就可能坠毁。另一种类型是“视觉语言模型”（VLM）。把这想象成一个拥有海量书籍库和摄像头眼睛的机器人。它可以阅读故事，观察图片，并理解复杂的概念，比如“找到红色的沙发并坐在上面”。它在推理和对话方面表现出色，但它以前从未实际“移动”过身体。
现在科学家们提出的核心问题是：这个书呆子式的机器人真的能在现实世界中“做事”吗？它能否将一个高层级的想法（如“去厨房”）转化为行走而不摔倒所需的那些细微、瞬时的肌肉运动？通常情况下，当机器人失败时，很难判断是“大脑”做出了错误的决策（比如撞墙），还是“身体”无法胜任这项工作（比如失去平衡）。为了解开这个谜团，研究人员需要一种能够将“思考”与“移动”分离的方法，以便他们能准确看到机器人的大脑究竟在哪里卡住了。
这就是名为 HumanCLAW 的一项新研究发挥作用的地方。研究人员构建了一个特殊的测试场，旨在观察这些智能 AI 大脑是否能够控制一个类人身体在物理世界中活动。他们并没有训练 AI 如何移动，而只是给了它一个摄像头、一个目标以及一系列基础动作，如“向前走”、“转身”或“坐下”。然后，他们让 AI 尝试在 41 个不同的虚拟房屋中导航，以寻找物体并坐在上面。
结果令人震惊。即使是当今最聪明、最先进的 AI 模型也几乎每次都失败了。表现最好的模型也仅在约 16.8% 的尝试中成功。这意味着它失败了超过 83% 的次数。
奇怪的地方在于：AI 并不是因为“看不见”而失败。当目标物体（如沙发）出现在屏幕上时，AI 几乎总能识别出来。它知道自己看到了什么。问题不在于“视觉”，而在于“不知道自己在哪里”。
研究人员发现，这些 AI 模型患有一种严重的“身体失忆症”。它们就像幽灵一样，能完美地看见家具，却完全不知道自己的腿在哪里。当 AI 尝试行走时，它经常会在到达沙发后仍然继续行走，或者在距离目标还很远时就过早停止，认为自己已经到达。当它尝试坐下时，它经常会直接把身体降落在虚空中，因为由于没意识到沙发并不在正下方，导致它坐在了空气上。它还会直接撞墙或被障碍物绊倒，却完全没有意识到自己已经撞到了东西。
这项研究表明，虽然这些 AI 模型在描述世界方面表现卓越，但在理解自身在世界中的位置方面却表现糟糕。它们可以告诉你一把椅子长什么样，但却无法弄清楚如何在不摔倒的情况下坐上去。研究人员得出结论，要制造出能在现实世界中真正行动的机器人，我们不仅要教它们如何“看”，还要教它们如何“感受”自己的身体以及身体如何与周围环境进行交互。在解决这个“具身自我意识”（embodied self-awareness）问题之前，即使是最聪明的 AI 大脑，也只能是物理机器中笨拙的幽灵。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。