💻 computer science

DeformGen: Dynamics-Based Topology Augmentation for Deformable Manipulation Policy Learning

DeformGen 是一个基于动力学的增强框架，它通过利用物理仿真生成拓扑相干状态，并利用变形场扭曲来传递轨迹，从而克服了现有方法在可变形操控中的局限性，进而通过高性价比且符合物理真实性的数据扩增来增强策略学习。

原作者： Zili Lin, Wenyao Zhang, Yuyang Zhang, Zekun Qi, Junyan Lin, Hanxin Zhu, Jiaolong Yang, Zhibo Chen, Yao Mu, Xiaokang Yang, Xin Jin, Wenjun Zeng

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zili Lin, Wenyao Zhang, Yuyang Zhang, Zekun Qi, Junyan Lin, Hanxin Zhu, Jiaolong Yang, Zhibo Chen, Yao Mu, Xiaokang Yang, Xin Jin, Wenjun Zeng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何折叠一件衬衫、系鞋带，或者将一个软绵绵的玩具装进盒子里。这些任务非常棘手，因为机器人触摸物体时，物体的形状会发生变化。

这篇论文介绍了一种名为 DeformGen 的新方法，旨在帮助机器人更快、更好地学习这些任务。以下是其工作原理的解释，通过简单的类比展开。

问题所在：“刚性”错误

传统上，当科学家想要在不录制大量新视频的情况下教机器人更多任务时，会使用一种叫做“数据增强”的技术。他们获取一段人类完成任务的视频，然后从数学上旋转或扭曲整个场景，从而创造出许多“虚假”的视频。

类比： 想象你有一段人拿着一个硬木块的视频。如果你将视频旋转 10 度，木块仍然是一个木块，只是位置变了。机器人可以很容易地从这个新角度中学习。
失败之处： 现在，想象同样的视频，但物体是一个湿粘土。如果你只是简单地旋转视频，粘土并不仅仅是移动了，它还会挤压、拉伸并改变形状。如果你试图用这些经过“旋转”处理的粘土视频来教机器人，机器人会感到困惑。它认为粘土应该保持一个刚性的形状，但实际上，粘土是松软且不可预测的。

该论文指出了旧有的“刚性”方法之所以对软质物体失效的两个主要原因：

形状问题： 你不能仅仅旋转一个软质物体；你必须以符合物理逻辑的方式对其进行真正的“形变”。
路径问题： 如果物体改变了形状，机器人手部移动的路径也必须随之改变。对于圆球有效的直线路径，对于被压扁的饼干可能就不再适用了。

解决方案：DeformGen

DeformGen 是一个通过使用物理学和智能映射来解决这两个问题的系统。

1. 创建真实的“软态”（状态挑战）

DeformGen 不仅仅是旋转视频，它更像是一个虚拟物理实验室。

类比： 想象你有一个由数千个微小磁铁（粒子）组成的数字木偶。系统不是旋转整个木偶，而是用隐形的双手轻轻推拉木偶的特定部分。
工作原理： 它模拟物理定律（如重力、摩擦力），观察物体如何自然地弯曲、折叠或拉伸。这确保了它创建的每一个新的“训练视频”所展示的物体状态在物理上是可能的，而不是仅仅在数学上被扭曲的混乱状态。它创造了机器人可能会遇到的各种各样的形状（拓扑结构）。

2. 调整机器人的路径（轨迹挑战）

一旦系统创建了一个新的、被挤压后的形状，它需要告诉机器人如何移动它的手来与那个特定的形状进行交互。

类比： 想象你在用记号笔在一张橡胶片上画一条路径。如果你拉伸橡胶片，墨水线条也会随之拉伸。DeformGen 在数学上也是如此。
工作原理： 它观察物体的每一个微小粒子是如何从原始形状移动到新形状的。然后，它创建一个“形变场”（描述空间如何扭曲的地图）。它将此地图应用于机器人原始的运动计划。如果物体向左拉伸，机器人的路径也会自动向左拉伸，以保持与物体的接触。这确保了机器人的手能与物体新的、奇特的形状保持对齐。

结果

研究人员在三个任务上测试了该方法：

绳索布线： 将绳索穿过夹子。
玩具装箱： 将毛绒玩具放入容器中。
布料折叠： 将一块织物折叠成三角形。

他们发现，使用 DeformGen 训练的机器人比仅使用原始视频训练的机器人，或者使用旧有的“刚性”旋转方法训练的机器人，在处理这些软质物体时表现得好得多。机器人学会了泛化能力，这意味着它们能够处理物体的新颖、未见过的形状，因为它们已经接受了各种具有物理真实感的形变训练。

总结

简而言之，DeformGen 不再把软质物体当作硬木块对待。它利用物理模拟来创建物体真实的、多样的形状，并自动调整机器人的动作以匹配这些新形状。这使得机器人能够更快、更有效地学习涉及软质材料的复杂任务。

技术摘要：DeformGen

问题陈述

虽然模仿学习和视觉运动策略学习在刚体机器人操控领域取得了显著成功，但将这些方法扩展到可变形物体操控仍是一个瓶颈，原因在于收集多样化演示数据的成本高且难度大。现有的数据增强范式依赖于等变性假设（即认为材料点之间的欧几里得距离在刚性变换下是不变的），这在可变形设置中从根本上失效了。

作者确定了破坏“刚体配方”的两个核心挑战：

状态空间挑战： 可变形物体具有高自由度（DoF）和动态内部约束。与仅需 6-DoF 位姿的刚体不同，可变形物体表现出丰富的形状和拓扑变化。朴素的几何扰动往往会导致物理上不合理的形态（例如，不连贯的粒子或不可能出现的形状），因为有效的配置存在于高维状态空间中的受限流形内。
轨迹迁移挑战： 可变形物体中的材料点不是等变的；它们不会进行刚性同步运动。对演示轨迹应用全局刚性变换会导致末端执行器与物体的局部几何结构失配（例如，无法抓取折叠布料上的特定点），并且无法补偿局部变形，从而导致接触失配。

方法论：DeformGen

DeformGen 是一种基于动力学的拓扑增强框架，旨在合成物理有效的可变形状态，并以感知变形的方式迁移操控轨迹。它由两个主要部分组成：

1. 基于动力学的拓扑状态增强

为了解决状态空间挑战，DeformGen 避免了离开有效物理流形的朴素几何扰动。相反，它采用了前向模拟方法：

过程： 从一个已知的有效状态（ $s_0 \in S_{real}$ ）开始，系统对物体施加局部外部作用力（ $f$ ）。
模拟： 物理模拟器（ $\Phi_{sim}$ ）在前向模拟一个时间步（ $\Delta t$ ）内的动力学过程，以生成新状态： $s_{aug} = \Phi_{sim}(s_0, f, \Delta t)$ 。
原理： 由于状态是通过模拟器自身的动力学演化的，生成的态始终保持在物理上合理的子空间（ $S_{real}$ ）内，无需进行事后修复。这种方法生成了刚性变换无法捕捉的多样化拓扑变化（如弯曲、扭转、折叠）。

2. 用于轨迹增强的变形场扭曲

为了解决轨迹迁移挑战，DeformGen 使用连续的变形场而非刚性变换来为增强后的状态合成有效的操控轨迹。

位移计算： 系统计算源物体状态与目标（增强）状态之间的逐粒子位移（ $\delta_i$ ）。
场构建： 利用 K-最近邻（KNN）反距离插值，将这些位移提升为工作空间上的连续空间函数（变形场 $D(x)$ ）。
轨迹扭曲：
- 位置： 对于源轨迹中的每个路标点 $x_t$ ，通过聚合 $K$ 个最近粒子的位移来计算位置偏移。一个随时间衰减的因子（ $\alpha_t$ ）允许轨迹最初跟随局部变形，随后逐渐回归原始路径。
- 朝向： 通过最小二乘拟合估计局部雅可比矩阵（ $J_t$ ），将原始局部向量映射到变形后的向量。诱导旋转被投影到 $SO(3)$ 流形上，最终朝向通过原始旋转与诱导旋转之间的**球面线性插值（SLERP）**计算得出。
自适应： 该方法在抓取姿态时使用较小的 $K$ 值（侧重于局部几何），在操控阶段使用较大的 $K$ 值（覆盖总点数，捕捉全局变形）。

核心贡献

问题形式化： 本研究正式指出，有效的可变形操控增强需要物理有效的状态合成以及感知变形的轨迹迁移，从而超越了刚性风格增强的局限性。
动力学一致性流水线： 作者提出了一个新颖的流水线，通过局部扰动、物理演化和稳定化处理，生成具有拓扑连贯性的可变形资产。该流水线同时通过变形场扭曲合成操控轨迹，确保末端执行器与变形后的几何结构保持对齐。
实证验证： 在高保真基准测试上的广泛实验表明，与仅使用原始演示数据训练或使用刚性风格增强基线相比，DeformGen 显著提高了策略学习的效果。

实验结果

该框架在三个可变形操控任务上进行了评估：绳索布线（rope routing）、玩具装箱（toy packing）和布料折叠（cloth folding），使用了四种策略架构（ACT、Diffusion Policy、SmolVLA 和 $\pi_0$ ）。

性能提升： DeformGen 在大多数策略架构中都实现了最高的平均成功率。例如，在绳索布线任务中，DeformGen 在使用 $\pi_0$ 时达到了高达 99.0% 的成功率，而单源训练为 0%，刚性风格增强（SoftMimicGen*）为 56.0%。
消融实验洞察：
- 状态多样性： 将 DeformGen（拓扑状态增强）与 SoftMimicGen*（刚性状态增强）进行对比显示，更广泛的可变形配置覆盖对于泛化至关重要。
- 轨迹迁移： 将 DeformGen 与使用局部刚性迁移的变体（DeformGen*）进行对比，证明了变形场扭曲通过更好地使轨迹与局部几何对齐，提供了互补性的增益。
泛化能力： 使用 DeformGen 训练的策略成功泛化到了未见的测试状态，包括那些轨迹合成本身未能产生有效演示的状态，这表明模型学习到了可迁移的操控策略，而非仅仅是记忆。
刚性场景： 在仅限刚性的测试场景中，DeformGen 依然保持了竞争力，这表明在拓扑多样化数据上进行训练并不会实质性地损害在简单任务上的表现。

重要性与主张

论文声称，DeformGen 为可变形操控中的数据获取提供了一种高性价比的解决方案，它能将单个演示扩展为一组多样化且物理有效的状态及相应的轨迹。

作者断言，其结果表明可变形物体增强的方法论正在发生根本性转变：有效的增强必须是动力学一致的（生成尊重物理约束的状态）且感知变形的（迁移能够适应局部几何的轨迹）。这种方法克服了刚性风格增强的局限性，后者无法捕捉可变形物体的高维状态空间和非等变特性。该研究证明，合成此类数据可以使策略获得更高的成功率以及对未见可变形配置更好的泛化能力。