-sight: Unifying Vision-Language-Action and Latent World Modeling
-sight 是一个统一的机器人基础模型,它通过在视觉语言模型(VLM)的原生标记空间内直接预测未来空间标记和动作,将视觉-语言-动作控制与潜在世界建模相结合,在不依赖像素重建或外部编码器的情况下,在多样化的基准测试中实现了最先进的性能。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
长期以来,机器人一直难以像人类那样以流动的直觉在世界中穿行。虽然它们可以被编程为完美地重复特定动作,但当环境发生轻微变化或任务需要实时调整步骤序列时,它们往往会失败。为了弥补这一差距,科学家们开发了结合视觉、语言和行动的系统。这些系统允许机器人理解像“把杯子放在桌子上”这样的指令,并随后弄清楚如何移动手臂来完成它。然而,一个显著的障碍仍然存在:大多数此类系统只关注当下。它们看到当前的场景并决定下一步动作,但并不真正预判接下来会发生什么。由于缺乏这种预见能力,机器人在执行需要协调复杂动作的任务时(例如在搬运物品的同时行走,或在移动过程中绕过移动的障碍物)容易出错。
一种名为 Z-sight 的新方法,由 Maven Robotics 和南加州大学的研究人员开发,试图通过赋予机器人一种“远见”来解决这个问题。该系统不再仅仅是对当前所见做出反应,而是学习预测在极短的时间内视觉世界将呈现出的样子,并利用这种预测来引导其行动。这并不是要生成一段完整的未来视频,因为那在计算上过于昂贵且缓慢。相反,该系统预测的是机器人大脑用来理解场景的核心视觉模式。通过学习在决定下一步动作的同时想象下一个瞬间,机器人可以更平滑地规划路径,处理以往会导致其他系统停滞或失败的复杂任务。
研究人员通过在海量数据上进行训练构建了这一系统,其中包括数千小时展示人类执行日常任务的视频以及各种机器人的记录。训练过程分为几个阶段。首先,系统通过观看人们做如开门或叠衣服等动作的视频,学习理解人类的动作和语言。接着,它接触了来自不同类型机器人的数据,学习将这些类人观察转化为机器人运动的具体力学特征。最后,系统在一种名为 Unitree G1 的人形机器上进行了微调,以掌握诸如将椅子推入桌下或将垃圾扔进垃圾桶之类的任务。在整个过程中,系统被要求同时完成两件事:预测世界的未来视觉状态,并生成实现该状态所需的物理动作。
其核心创新在于系统如何处理这些预测。许多以往赋予机器人远见的尝试都依赖于生成完整的未来视频帧,或使用独立的、冻结的系统来猜测将会发生什么。这些方法要么太慢,要么与机器人自身感知世界的方式脱节。Z-sight 通过在机器人理解现状时所使用的同一种“视觉语言”中直接预测未来,从而避开了这些陷阱。它并不试图重建像素完美的视频,而是预测代表场景的抽象视觉标记(tokens)。这使得机器人能够将未来视为一组可能性,并将其与当前的理解紧密结合,从而在预测的未来展开时实时调整其行动。
该方法的成果在计算机模拟和现实实验中都得到了测试。在一个旨在测试全身协调性的模拟环境中,该系统在多种复杂任务中的成功率达到了 81.9%,显著超过了现有的最强方法。在真实的物理 Unitree G1 机器人进行的现实房间测试中,它在六项不同任务(包括移动物体、绕过家具和执行多步家务)中实现了 73.3% 的成功率。相比之下,次优的系统在这些现实尝试中的成功率仅为 53.3%。研究人员发现,对于需要一系列动作的任务(例如走向椅子、推开椅子,然后将物体放在上面),系统的预见能力至关重要。如果没有这种远见,机器人通常能完成任务的第一部分,但在尝试过渡到下一步时就会陷入停滞。
为了确保改进确实源于远见机制本身,而非仅仅因为拥有更大或更复杂的模型,研究人员进行了多项对照实验。他们测试了无法预测未来的系统版本,发现即使在计算能力相同的情况下,这些版本的表现也明显较差。他们还测试了系统是依赖于预测的具体内容,还是仅仅依赖于正在进行预测这一事实。当研究人员用随机噪声或当前的静态图像替换预测的未来时,机器人的性能崩溃了,这表明它确实是在利用未来预测的具体细节来指导其运动。此外,该系统处理复杂预测和决策的速度极快,仅用 110 毫秒就能处理 30 个步骤的片段,这足以实现无需延迟的实时机器人控制。
研究还探讨了系统在出现问题时的行为。通过在测试期间有意中断预测流,研究人员观察到机器人是可以适应的。如果系统被告知其预测是不可靠的,它会更多地依赖于它现在所能看到的景象,而不是去猜测未来可能发生什么。这种灵活性表明,该系统已经学会了如何在规划与反应之间取得平衡。研究人员指出,虽然该系统非常有效,但目前它仅基于所见内容来预测未来,而没有在做出决定前显式地测试不同的动作选择。这为未来的版本留下了提升空间,即通过比较不同的潜在结果后再采取行动,从而进一步增强其规划能力。
最终,Z-sight 证明了机器人并不需要生成完整的未来视频来理解接下来的情况。通过学习在理解现状的同一抽象视觉空间内预测未来,该系统实现了以往难以达到的协调性和适应性。这种方法让机器人能够以一种连续感进行移动,弥合了观察世界与在其中行动之间的鸿沟。该方法在模拟和真实人形机器人上的成功表明,这种结合感知、预测与行动的方式,可能会成为未来更具能力和自主性的机器人的标准基础。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。