UNITAS: A 3D-Native World Action Model for Embodied Manipulation
UNITAS 是一个开创性的 17 亿参数原生 3D 世界动作模型，它将机器人与人手的动作与场景动态统一在共享的度量 3D 空间中，在动作条件下的场景预测和真实世界操控任务方面均实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，机器人一直难以理解物理世界，不仅是将其视为一堆图像的集合，而是作为一个物体会移动、碰撞和变化的物理空间。几十年来，研究人员一直试图通过向机器展示视频来教它们预测接下来会发生什么。这些系统学习预测电影的下一帧，希望如果它们能预测视觉上的未来，就能弄清楚如何移动机械臂来实现那个未来。然而，这种方法存在一个根本性的缺陷：视频只是三维世界的平面投影。在照片中，远处的小物体看起来可能与近处的大物体一样大，而仅仅是几个像素的移动，根据摄像机的角度，可能代表微小的偏移，也可能代表巨大的跨越。这使得机器人很难准确知道该伸手多远或用力多大，因为摄像机的视觉语言并不符合物理距离的语言。
为了弥补这一差距，一个研究小组开发了一种全新的模型，它完全跳过了扁平图像，直接在三维空间中工作。该系统不再尝试预测下一张图片，而是预测空间中的点将如何移动。它将世界视为一组在移动和流动的坐标，使机器人能够理解其行为在物理上的后果，且这种理解与摄像机的观察角度无关。这种从“观看电影”到“绘制物理空间图谱”的转变，标志着机器人向具备真实世界感知能力迈出了重要一步，使其更接近于能够执行复杂任务（如整理架子或像人类一样可靠地装包）的能力。
开发该工作的研究人员将他们的创造物称为 UNITAS，旨在解决一个特定的问题：如何在同一个共享框架内，统一机器人的视觉、动作以及世界对动作的响应。以往的尝试通常依赖于预训练的视频生成器，这些生成器虽然能创造出极其逼真的图像，但往往无法遵循物理定律。视频模型可能会预测杯子在桌面上滑动，但也可能预测杯子会发生现实中不可能存在的拉伸或变形，或者在背景本应保持静止时发生漂移。新的 UNITAS 模型拒绝了这种“视觉优先”的方法。相反，它构建了一个“三维原生”的世界，其中每一次观察、每一个机器人动作以及环境的每一次变化，都使用相同的三维坐标度量语言进行描述。
在这个系统中，机器人不仅仅是在看摄像机画面；它还在构建周围空间的心理地图。当机器人移动它的手或夹持器时，模型会追踪手中特定点在空中移动的路径。同时，它还会追踪附近物体（如花瓶或书本）如何响应这些动作而发生位移。研究人员在大量混合数据上训练了该模型，包括真实机器人的记录、双臂任务的模拟以及人类手部执行类似动作的视频。通过将人类手部和机器人夹持器的运动视为同一种三维轨迹，模型学习到了一种通用的运动语言。它学到了无论是一个人类手指还是一个金属爪子在移动，它们推动物体时的物理规律都是一致的。
该系统的核心是一种与人类体验物理世界方式相一致的时间与运动表示法。该模型不是计算视频帧数（因为帧率会随摄像机不同而变化），而是以实际的“秒”来衡量时间。它将一次运动分解为一个单一的连续标记（token），代表一个点在特定持续时间内的整个路径。这使得系统能够处理来自不同来源的数据，即使有些是以高帧率记录，有些是以低帧速记录，也不会产生混乱。当模型接收到一个任务，例如“将花插入花瓶中”时，它不仅仅是生成一段动作视频。它会计算夹持器必须采取的精确三维路径，并准确预测花朵和花瓶上的点将如何移动以适应这一动作。
这种方法的成果令人瞩目。在一系列严格的测试中，该模型展现出了以往系统无法比拟的精准度。当被要求预测机器人移动后场景的变化时，UNITAS 比现有的最佳 3D 模型在预测误差上降低了近一半。在旨在测试复杂操控技能的模拟环境中，该系统在名为 LIBERO 的标准基准测试中达到了 99.8% 的成功率，超越了依赖视频生成的更大规模模型。更重要的是，当研究人员在现实世界的真实机器人上测试该模型时，它依然保持了高性能。在诸如整理书架和将球装入袋子等任务中，机器人的成功率分别为 90% 和 80%，显著优于其他领先的方法。
研究人员还测试了系统处理环境变化（如不同的摄像机角度或意外障碍物）的能力。由于该模型植根于固定的三维空间而非变化的摄像机视角，因此在视觉输入发生变化时仍表现得十分稳健。即使摄像机位置改变或光照发生变化，它仍能正确判断如何移动机械臂。这表明该模型真正学习到了任务的几何结构，而不仅仅是记忆了特定的视觉模式。预测动作的物理结果而非仅仅是视觉外观的能力，似乎是实现这种稳健性的关键。
这项工作最引人入胜的方面之一是它在不同类型的机器人之间、甚至在人类与机器之间转移知识的能力。该模型使用了来自人类手部、单臂机器人和双臂机器人的数据进行训练，却能无缝地将所学知识应用于任何一种形态。当人类手部演示一项任务时，模型可以将该动作转化为机器人夹持器的计划，反之亦然。这种统一性表明，操纵的物理规则是普适的，通过专注于物质的三维流动，机器可以学习以一种独立于其具体身体形状的方式与世界互动。
这项研究的影响超出了提升机器人性能本身。通过将世界视为一个动作与后果直接相关的共享度量空间，研究人员为具身智能提供了一个新的基础。这种方法不再认为机器人需要像人类那样去“看”世界（伴随着透视和光照的所有歧义性），而是赋予了机器人对物理空间的直接理解。该模型不需要想象未来的视频，它只需计算空间中点的轨迹。这种清晰度带来了更快、更可靠的决策，因为系统不必浪费时间去解释视觉错觉或纠正摄像机伪影。
归根结底，UNITAS 的成功在于其概念的简洁性，尽管其背后的数学逻辑非常复杂。它认识到，要让机器人操纵世界，它必须理解三维的世界，而非二维。通过将预测建立在物理坐标之上，并将时间以秒而非帧来衡量，该模型实现了此前难以企及的准确性和可靠性。研究人员已经证明，当你停止试图让机器人“看电影”，转而教它“绘制物理空间图谱”时，它就能学会以一种自信和精准的方式行动，从而让我们离实现能够协助日常生活的通用机器人梦想更近一步。前进的道路已经清晰：机器人操纵的未来不在于更好的摄像机，而在于对我们共同生活的这个三维世界更深层、更直接的理解。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。