💻 computer science

WorldContact: A Contact-Centric World Model for Scalable Robot Learning

该论文介绍了 WorldContact，一种以接触为中心的世界模型，它能高效地为可变形物体操控生成高质量训练数据，实现了比源模拟器快 10 倍的速度，并显著将现实世界机器人策略的成功率从 65% 提升至 95%。

原作者： Caoliwen Wang, Mengdi Wang, Heng Zhang, Shixun Huang, Siyuan Chen, Chao Liu, Anpei Chen, Zhendong Wang, Peter Yichen Chen, Huamin Wang

发布于 2026-09-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Caoliwen Wang, Mengdi Wang, Heng Zhang, Shixun Huang, Siyuan Chen, Chao Liu, Anpei Chen, Zhendong Wang, Peter Yichen Chen, Huamin Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够处理现实世界中混乱且不可预测性质的机器人面临着一个根本性的障碍：它们需要学习物体在被触摸、推动或提起时是如何表现的。与动作模式固定的国际象棋棋子不同，购物袋、衬衫或一块面团会不断改变形状，而这些变化会改变它们与周围一切事物的交互方式。为了安全且快速地学习这些技能，研究人员通常依赖于计算机模拟，让机器人在不损坏任何东西的情况下进行数千次的练习。然而，模拟柔软的可变形物体是非常缓慢且困难的，因为计算机必须实时计算每一个微小的褶皱和拉伸的物理过程，这一过程往往需要将时间分解为极其微小的、甚至可以说是痛苦的细微分数，以避免出错。

一个研究团队开发了一种名为 WorldContact 的新方法，这是一种专门设计的计算机模型，旨在预测软性物体在机器人与其交互时如何移动和变形。该模型并没有计算物理模拟中的每一个微观步骤，而是通过学习一小组高质量的示例，来预测一段较长时间内的动作结果。通过专门关注机器人、物体与环境相互接触的地方，该系统生成训练数据的速度比传统模拟器快了十倍。在对真实机器人进行测试时，这种方法使得机器人在学习一项复杂任务——提起购物袋——时，比仅依赖原始、更慢的模拟数据时要有效得多。

教导机器人操纵软性物体的核心挑战在于其中涉及的物理机制极其复杂。当机器人抓取一个袋子时，织物会折叠、在自身之间滑动并挤压桌面，产生一个每毫秒都在变化的交互网络。传统的模拟器通过在时间轴上采取极小的步长来处理这个问题，在每个瞬间检查碰撞并计算力，以确保袋子不会穿过桌面或机器人的手。虽然这种方法很精确，但计算成本极高，导致生成机器人学习新技能所需的大量实践数据变得非常缓慢。WorldContact 的研究人员意识到，尽管物理过程很复杂，但预测软性物体未来状态的最关键因素是理解接触点：即织物在哪里接触夹持器，在哪里接触桌面，以及织物的不同部分之间在哪里相互接触。

为了解决速度问题，该团队构建了一个跳过传统模拟中微小增量步骤的模型。相反，它学习在较大的时间间隔内（大约是源模拟器所用步长的二十倍）预测物体的整个形状变化。该模型是在一组有限的高质量轨迹（即从精确的物理模拟或现实世界交互中记录下来的运动路径）上进行训练的。它通过分析这些示例，来理解物体上特定点周围的局部几何形状和运动是如何影响整体的。通过专注于这些接触区域，该系统可以预测物体的变形和移动，而无需像标准物理引擎那样解析每一个微观交互。

研究人员使用包含十六种不同购物袋操纵任务的数据集对该方法进行了测试，涵盖了从简单碰撞到复杂的抓取和提起等场景。他们使用一个自动化代理来生成初始训练数据，确保每一次运动在物理上都是有效的，并且没有出现物体穿透彼此等错误。模型训练完成后，它被用于生成大量的额外实践数据。结果显示，WorldContact 生成状态展开（即预测物体如何随时间移动）的速度比原始模拟器快十倍，且未计入渲染图像或保存文件所需的时间。这种加速使得团队能够为训练机器人的控制策略（即机器人决定下一步行动的规则集）创建规模大得多的数据集。

这种方法的真正考验在于研究人员将其应用于现实世界的任务：教机器人提起购物袋。他们首先使用预训练的机器人策略，然后利用模拟数据对其进行微调。当机器人在仅使用二十五条模拟轨迹的原始有限数据集进行训练时，其在第一次尝试中成功提起袋子的概率为 65%。然而，当相同的策略使用由 WorldContact 生成的扩展数据集进行微调后，成功率跃升至 95%。这种显著的提升证明了由新模型高效生成的额外数据，为机器人提供了更丰富的理解，使其在处理袋子时不会掉落或抓取失败。

该系统的工作原理是将物体分解为数千个点（或顶点），并对每个点如何与其邻居及环境相关联的信息进行编码。它特别关注四种类型的接触：物体不同部分之间的空间接触、连接在物体结构上的点之间的拓扑接触、与机器人手臂和夹持器的可控接触，以及与桌面等表面的环境接触。通过将这些局部细节与场景的全局理解相结合，该模型能够高保真地预测整个物体的未来状态。在视觉对比中，其他方法往往无法维持夹持器与袋子之间的连接，导致袋子掉落，或者产生物理上不可能实现的变形。相比之下，WorldContact 在整个提起过程中能保持稳定的接触和真实的运动。

这项工作为可扩展的机器人学习开辟了一条新路径，即瓶颈不再是数据的可用性，而是生成数据的效率。通过使用以接触为中心的模型来放大一小组高质量的经验，研究人员可以快速使机器人的策略适应新的任务和物体。虽然目前的成功是在模拟环境中以及针对特定的提袋任务进行的，但该方法指向了一个未来：机器人可以从有限的现实世界交互中学习复杂的操纵技能，并利用智能模型来填补其中的空白。研究人员指出，挑战依然存在，特别是如何确保模型在现实世界与训练数据存在差异时仍能完美运行，但其结果提供了一个令人信服的证据，证明高效的数据生成可以显著提升机器人在物理世界中行动的能力。

技术摘要：WorldContact

问题陈述

使机器人适应新物体和新任务（特别是在变形物体操控领域）需要大量的交互经验，而这些经验在现实世界中获取成本极高。虽然世界模型可以预测机器人与物体之间的交互结果以提供这种经验，但构建此类模型具有挑战性，因为变形物体（如织物）具有复杂的、不断变化的物理行为。这些物体表现出动态几何、材料属性以及物理交互（摩擦、滑动、抓取），这些特性在不同配置下都难以进行可靠建模。此外，现有的数值模拟器虽然精确，但需要极小的积分步长来解决快速运动并防止相互穿透，这使得生成用于机器人策略学习的大规模数据集在计算上非常昂收。

方法论

作者提出了 WorldContact，一种以接触为中心（contact-centric）的神经常见世界模型，旨在从有限的高质量交互轨迹中高效地预测物体动力学。该系统作为一个学习到的模拟器，弥合了高保真物理模拟与可扩展数据生成之间的差距。

1. 状态表示

该模型使用两个组件来表示场景：

物体状态 ( $S_t$ )： 描述所有待预测动力学的物体，包括顶点位置 ( $X_t$ )、速度 ( $V_t$ )、静止拓扑结构 ( $E$ ) 以及属性 ( $C$ )（如物体身份和静止状态坐标）。
指令状态 ( $B_t$ )： 指定外部输入，包括指令的机器人关节旋转和夹爪开合度 ( $a_t$ )、固定运动学结构 ( $G$ ) 以及采样的环境几何体 ( $X^E_t, V^E_t, C^E_t$ )。

模型学习转换函数 $F_\theta$ ，在给定当前物体状态和未来指令状态的情况下预测状态变化 ( $\Delta X_t, \Delta V_t$ )：
$(\Delta X_t, \Delta V_t) = F_\theta(S_t, B_{t+\Delta t})$

2. 以接触为中心的顶点分词器 (Vertex Tokenizer)

其核心创新在于基于每个顶点的四种不同接触类型来编码局部几何和运动：

空间接触 (Spatial Contact)： 所有物体在欧几里得空间中的邻居（例如，包带接触包身）。
拓扑接触 (Topological Contact)： 同一物体在静止状态拓扑（UV 空间）中的邻居。
可控接触 (Controllable Contact)： 来自机器人连杆、夹爪和被牢固持有的物体的邻居（捕捉直接和间接接触）。
环境接触 (Environmental Contact)： 来自环境几何体（如桌面）的邻居。

这些接触通过学习到的紧凑支撑核（compact-support kernels）进行聚合，形成将局部状态与接触信息相结合的顶点分词（vertex tokens）。

3. 分层架构

为了处理变形物体中的长程耦合问题（例如，拉伸布料会影响远处的顶点），同时避免对所有顶点进行全自注意力机制带来的计算开销，WorldContact 采用了分层方法：

分层分词编码器 (Hierarchical Token Encoder)： 使用基于余弦相似度的分词合并策略（token-merging strategy）来减少参与全局自注意力的分词数量。这创建了一组紧凑的全局分词，用以总结局部几何和接触信息。
全局分词解码器 (Global Token Decoder)： 全局分词通过自注意力机制捕捉长程依赖关系。随后，这些分词通过交叉注意力机制用于细化原始顶点分词，使每个顶点能够在保留局部细节的同时检索相关的全局上下文。
输出： 点向多层感知机 (Pointwise MLP) 预测状态修正值 ( $\Delta x, \Delta v$ )。

4. 训练与稳定性

该模型在高质量轨迹（来自模拟或现实世界）上进行训练，采用自回归展开目标，最小化位置和速度误差。为了提高长时程稳定性，作者在预测循环中引入了可微拓扑投影 ( $P$ )。该投影平滑了预测的位移场并限制了拓扑边畸变，确保生成的轨迹在自回归生成过程中保持物理上的合理性。

5. 数据生成流水线

WorldContact 的运行时间步长比源数值模拟器大 20 倍（0.04s vs. 0.002s）。它直接预测这些较大间隔下的状态变化，从而绕过了对小积分步长的需求。预测的状态轨迹随后被渲染为观测模态（RGB 视图），并与条件机器人动作配对，以创建用于微调视觉-语言-动作 (VLA) 策略的数据集。

核心贡献

WorldContact 模型： 一种以接触为中心的、由有限高质量数据构建的世界模型，它编码了局部几何和多种类型的接触（空间、拓扑、可控、环境），以预测机器人动作下的物体动力学。
可扩展数据流水线： 一个能够渲染预测轨迹并将其与条件动作配对的流水线，从而实现通过策略微调来扩展演示数据的规模。
实证验证： 在 16 个购物袋操控任务中的全面研究表明，与源模拟器相比，该模型实现了 10 倍的状态展开生成加速，并提升了真实机器人的性能。

结果

作者在 16 个购物袋操控任务（包括提举、支撑和碰撞场景）上评估了 WorldContact。

计算效率： 在单块 NVIDIA H100 GPU 上，WorldContact 生成状态展开的速度比源数值模拟器快 10 倍（不包括渲染和磁盘 I/O）。
动力学保真度： 与基准模型（RoboCraft, RoboCook, AdaptiGraph）相比，WorldContact 在位置（0.0002 vs. ~0.03–0.06）和速度的平均均方误差 (MSE) 上显著降低，且穿透率大幅下降（0.35% vs. 10–25%）。
真实机器人性能： 在一个提包任务中，仅在 25 条源模拟轨迹上进行微调的 VLA 策略实现了 65% 的成功率（13/20 次试验）。当同一策略在由 WorldContact 生成的 150 条轨迹扩展数据集上进行微调时，成功率提升至 95%（19/20 次试验）。

意义与主张

论文声称 WorldContact 为将机器人控制策略适配到新的操控设置提供了实用的解决方案。通过利用以接触为中心的公式化表达和更大的时间步长，该模型能从有限的源数据中生成高质量的训练经验，从而在不承担运行完整物理模拟的高昂成本下，有效地扩展数据集规模。

作者强调，他们的方法将动力学验证与观测生成分离，在进行物理检查（如穿透）时保持显式的顶点状态，同时为策略训练渲染观测结果。他们得出结论，该方法支持机器人策略向新物体和新任务的迁移，但也承认，分布偏移下的预测误差以及渲染观测与真实观测之间的差异仍是未来的挑战。