CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators
CLAP 是一个新颖的框架，通过在异构的互联网规模视频上进行训练，实现了跨越不同机器人和人类具身形态的零样本物理模拟，通过基于课程的学习方案来调和差异化的动作空间，从而在少样本适应和泛化物理理解方面达到了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，机器人一直难以像人类那样理解物理世界。虽然一个孩子能学会如果把杯子从桌子上推下去它会掉下去，或者通过拉扯毛巾的角来折叠毛巾，但机器人往往需要成千上万个特定的示例才能学习这些最简单的规则。这种困难源于大多数机器人学习系统都是基于单一类型的机器数据进行训练的。拥有长而细手臂的机器人与拥有抓取器或人手的机器人对物理规律的学习方式不同，这造成了一道障碍，使得一个机器获得的知识无法轻易地与另一个共享。为了克服这一问题，科学家们开始转向视频生成模型，即能够想象场景中接下来会发生什么的计算机程序。如果机器人能够观看视频并预测物体的未来运动，它就可以在无需实际尝试之前规划其动作。然而，这些预测模型在历史上一直局限于单一类型的机器人，阻碍了它们从互联网上丰富的、多样化的真人及机器人视频库中学习。
普林斯顿大学的一个研究小组开发了一个名为 CLAP 的新框架来弥补这一差距。他们的工作证明，一个单一的视频模型可以通过在包含人类和各种不同类型机器人的海量混合视频上进行训练，来学习通用的物理定律。其核心思想是，尽管人手、机械臂和抓取器看起来各不相同，但它们在移动物体时都遵循相同的物理规则。通过教计算机去预测场景的未来，而不论是谁或什么在执行动作，研究人员创建了一个能够理解世界底层机制而非仅仅理解单一机器特定运动的系统。这种方法使模型既能从没有指令提供的互联网无标签视频中学习，也能从详细的机器人数据中学习，从而创造出对事物如何移动和交互的更丰富的理解。
研究人员面临着一个重大障碍，因为他们想要使用的数据是杂乱且不一致的。人类活动的视频并没有关于手部如何运动的指令，而且不同的机器人使用不同的方式来描述其运动。为了解决这个问题，团队创建了一种方法，将所有这些不同的运动语言转化为一种通用的格式。他们使用了三种主要工具：机器人手的精确位置、简单的运动文本描述，以及一种由计算机自行领悟的隐藏式学习动作表示。最有效的策略涉及一个循序渐进的学习过程。首先，模型通过观察使用隐藏动作表示的无标签视频，学习基本的物理规则。一旦理解了基础动力学，研究人员便利用来自具有标注运动的机器人的精确数据来精炼其知识。这种两阶段方法使得系统能够利用海量的互联网视频进行规模化扩展，同时仍能保持足够精确以控制真实的机器人。
这项工作的成果表明，这种新系统表现得与仅针对单一类型机器人进行训练的最佳现有模型一样好，甚至往往更好。在具有挑战性的测试环境中，该模型能够高精度地预测视频的未来帧，正确模拟物体是如何掉落、滑动或被操纵的。至关重要的是，该系统能够在无需为每种新机器人重新训练的情况下，将这种知识泛化到现实世界的任务中。当在单臂机器人上进行测试时，该系统成功帮助机器人规划动作去抓取各种物体（如胶带、鱼或龙虾），其表现优于标准的机器人策略。更令人印象深刻的是，尽管从未在这些特定机器的数据上进行过训练，该系统仍可应用于双臂机器人和具有不同身体结构的类人机器人。通过仅仅调整模型的最后一层以匹配新机器人的运动，该系统保留了其深层的物理理解，并能继续做出准确的预测。
这项研究表明，通往更强大机器人的路径并不需要为每一台新机器构建一个独特的“大脑”。相反，通过在多样化的数据上进行训练，一个单一的模型可以学习适用于几乎任何智能体的通用物理原则。研究人员发现，虽然描述变化而非位置的相对运动非常适合基于文本的指令，但绝对位置对于精确控制机械臂是必要的。他们还发现，虽然人类视频对于教授模型物理基础非常有效，但来自实际机器人的数据对于将这种知识转化为成功的现实世界行动至关重要。这项工作为训练机器人建立了一种新方式，从孤立的、单一用途的系统转向一种更统一的方法，在这种方法中，从一种形态的学习可以直接造福于另一种形态。虽然该系统并不完美，有时会在预测中出错，但它代表了在教机器通过观察和想象来理解物理世界方面迈出的重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。