💻 computer science

Correspondence-Free, Function-Based Sim-to-Real Learning for Deformable Surface Control

本文介绍了一种基于函数的无对应关系（correspondence-free）的从仿真到现实（sim-to-real）学习框架，该框架利用神经网络来学习形变函数和置信度图，从而在无需完整对应关系的情况下，通过使用 3D 点云或不完整的标记数据，实现对多种可变形软体机器人的鲁棒控制。

原作者： Yingjun Tian, Guoxin Fang, Renbo Su, Aoran Lyu, Neelotpal Dutta, Weiming Wang, Simeon Gill, Andrew Weightman, Charlie C. L. Wang

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yingjun Tian, Guoxin Fang, Renbo Su, Aoran Lyu, Neelotpal Dutta, Weiming Wang, Simeon Gill, Andrew Weightman, Charlie C. L. Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

核心问题： “视频游戏”与“现实世界”之间的差距

想象一下，你正在学习玩一款视频游戏，你控制着一个巨大的、软绵绵的、充气式机器人。在游戏中（即模拟环境），物理法则非常完美。如果你按下按钮让某个特定的腔室充气，机器人就会完全按照数学计算出的方式进行弯曲。

但当你尝试在真实机器人上执行同样的操作时，情况却出错了。真实的橡胶拉伸程度不同，空气会有轻微泄漏，机器人的弯曲程度也不像视频游戏版本那样精准。这种差异被称为**“模拟与现实的差距”（Sim-to-Real gap）**。

对于简单的机器人，这不算什么大问题。但对于具有自由形状表面（例如一个巨大的、变形的人体模型或柔性薄膜）的软体机器人来说，这个问题非常巨大。这些机器人拥有无限种弯曲的方式。如果你的计算机模型稍有偏差，机器人可能会错过目标点，甚至因为“认为”自己的形状与实际形状不符而撞到物体。

旧方法：“给驴子贴尾巴”难题

以前，科学家们试图通过在机器人上放置标记物（如小贴纸或反光点）来弥补这一差距。他们会对真实机器人进行拍照，观察贴纸的位置，并将其与模拟环境中贴纸“应该”在的位置进行对比。

这种方法存在三个主要缺陷：

过于稀疏： 你只能在机器人上贴很少的贴纸。如果机器人的弯曲方式没有覆盖到贴纸所在的区域，你就无法得知空白区域发生了什么。
“缺失环节”问题： 如果你使用 3D 扫描仪（它可以拍摄整个机器人而不使用贴纸），计算机并不知道真实机器人上的某个点对应模拟环境中的哪一个点。这就像是在试图匹配两张没有街道名称的城市地图。
“遮挡”问题： 如果机器人弯曲幅度很大，贴纸可能会被褶皱遮挡（遮挡现象）。计算机看到贴纸丢失，就会陷入恐慌，认为数据已失效。

新方案：“神奇翻译官”

这篇论文介绍了一种新的方法，它扮演着**“神奇翻译官”的角色。它不再依赖贴纸或匹配特定点，而是学习一个函数**（数学规则），直接将“视频游戏形状”转化为“现实世界形状”。

以下是其工作原理，分步骤说明：

1. “柔软的蓝图”（B-样条曲线）

研究人员并没有尝试追踪机器人表面数百万个微小的点，而是将机器人的形状简化为一个平滑的数学蓝图（称为 B-样条曲面）。这可以理解为将一个精细的粘土雕塑变成一个仅由几个关键控制点组成的简易线框模型。这使得数据处理起来更加容易。

2. “扭曲透镜”（RBF 空间扭曲）

他们发明物的核心是一个空间扭曲函数。想象一下，你正透过一个特殊的、神奇的透镜在观察视频游戏中的机器人。

如果真实机器人在某个地方过于“鼓胀”，透镜会将视频游戏的图像进行拉伸以匹配。
如果真实机器人在另一个地方过于“扁平”，透镜则会将图像进行挤压。

这个透镜是利用**径向基函数（RBF）**构建的。你可以把它们想象成放置在机器人表面的隐形磁铁。通过调节这些磁铁的强度，系统可以平滑地扭曲模拟图像，使其看起来与现实完全一致。

3. “置信度图”（智能过滤器）

这是最聪明的部分。系统知道有时数据会缺失（例如贴纸被遮挡或 3D 扫描仪漏掉了某些点）。

它使用一个**置信度图（Confidence Map）**来充当智能过滤器。
如果系统看到数据清晰的机器人部分，它会说：“我对这里非常有信心，让我们修正形状！”
如果数据缺失或模糊，它会说：“我对这部分不太确定；让我们暂时忽略它，专注于我能看到的部位。”

这使得系统即使在机器人部分被遮挡或扫描仪漏掉某些点的情况下，也能进行学习。它不需要模拟与现实之间存在完美的、一一对应的关系。

结果：一个快速的“自我修正”机器人

一旦这个“神奇翻译官”训练完成，它就创建了一个无缝的流程：

你告诉机器人：“我想看起来像一只人类的手。”
计算机根据模拟环境计算出所需的空气压力。
神奇翻译官会立即修正该计算，以补偿现实世界的物理特性。
机器人充气后，实际上看起来就像一只人类的手，而不仅仅是模拟版本中的样子。

为什么这很重要（根据论文所述）

作者在四种不同的软体机器人上测试了该方法：

可变形薄膜（类似于一个巨大的、充气式的蹦床）。
软体机械臂（可以弯曲和扭转的手臂）。
机器人人体模型（一个柔软的人形物体）。
可压缩机械臂（可以挤压和拉伸的手臂）。

他们证明了无论使用以下哪种方式，该方法都有效：

3D 扫描仪： 提供没有贴纸的点云（无对应关系）。
动作捕捉系统： 使用贴纸，但在机器人弯曲时经常会丢失一些贴纸。

底线是：
这篇论文为软体机器人提供了一种“第六感”，让它们能够理解数字大脑与物理身体之间的差异。通过学习一种将数字形状扭曲为现实形状的数学规则，它们可以高精度地控制这些柔软且复杂的机器人，即使在数据混乱或不完整的情况下也是如此。

论文中提到的实际应用：
作者特别展示了将机器人人体模型作为模具的使用方法。他们使机器人变形以匹配客户的体型，在上面覆盖生物降解材料，加热，然后制作出定制服装。这证明了该机器人可以保持精确的形状用于制造业。

技术摘要：面向变形表面控制的无对应关系、基于函数的 Sim-to-Real 学习

1. 问题陈述

具有自由形状表面的软体机器人系统由于其弹性体特性而拥有高自由度（DoF），这使得通过逆运动学（IK）进行形状控制变得极其复杂。虽然数值模拟可以预测变形，但由于硬件不确定性和建模简化，模拟形状与物理变形之间存在显著的几何差异（“现实差距”）。

现有的 Sim-to-Real 迁移方法面临三个主要局限性：

空间覆盖范围有限： 它们通常依赖于稀疏的标记点（例如，仅修正末端执行器），导致其余部分无法得到修正。
对对应关系的依赖： 传统方法需要模拟数据与采集数据之间存在完整的点对点对应关系，这使得它们无法兼容非结构化的 3D 扫描器点云。
缺乏对遮挡的鲁棒性： 当发生大幅度局部变形时，基于标记点的系统会失效，导致受影响的帧无法用于训练。

本文旨在解决一种无对应关系的 Sim-to-Real 学习方法的需求，该方法能够利用 3D 扫描器数据（无对应关系的点云）或动作捕捉（MoCap）数据（容忍丢失的标记点）来修正形状误差。

2. 方法论

所提出的方法建立了模拟变形响应与真实变形响应之间的基于函数的映射，并将其集成到神经网络（NN）流水线中，以实现高效的 IK 计算。

A. 紧凑形状表示

为了避免处理完整点云带来的冗余，自由表面 $S$ 由 B-样条曲面 表示。

曲面是参数化的，提取控制点（ $S_c$ ）作为紧凑的形状描述符。
任何点 $p$ 均通过 B-样条解码器重建： $p = B(u, v, S_c)$ 。
这降低了学习网络的输入维度。

B. 基于函数的空间扭曲

Sim-to-Real 迁移的核心是一个基于**径向基函数（RBF）**的空间扭曲函数 $\Phi(p)$ ，它将模拟点 $p$ 映射到修正后的点 $p^*$ ：
$p^* = \Phi(p) = \alpha_0 + Ap + \sum_{i=1}^{N} \beta_i e^{-c\|p - q_i\|^2}$

核中心 ( $q_i$ )： 固定在 UV 参数域中，但通过 B-样条控制点映射到 3D 空间。
函数预测网络 ( $N_{rbf}$ )： 该网络不是直接为每个形状学习扭曲，而是根据输入的控制点 $S_c$ 预测 RBF 系数 $\gamma = [\alpha_0, \dots, \beta_i]$ 。这使得系统能够为任何模拟形状生成连续的扭曲函数。

C. 可微对齐与联合训练

为了在没有显式点对应关系的情况下训练系统，作者引入了**置信度加权倒角距离（Chamfer distance）**作为主要的损失度量。

置信度图 ( $N_{conf}$ )： 第二个网络为每个点预测一个标量置信度值 $w_c(p) \in [0, 1]$ ，代表在采集数据中找到可靠对应关系的概率。
损失函数： 训练过程最小化预测修正形状 $S^*$ 与采集到的物理形状 $S_p$ 之间的加权倒角距离。置信度图会降低缺失数据或低可靠性区域的权重。
正则化： 三个额外的损失项确保了鲁棒性：
1. 置信度正则化： 防止置信度图塌陷为零。
2. 法向量兼容性： 确保预测形状的表面法向量与采集到的形状法向量一致。
3. 几何正则化： 对 RBF 系数实施兼容性条件（例如 $\sum \beta_i = 0$ ），以防止在核数量有限或差异较大时出现“异常”形状。

D. 逆运动学（IK）流水线

训练好的网络构成了一个端到端的、解析可微的流水线：

正运动学： 网络 $N_{fk}$ 根据驱动参数 $a$ 预测 B-样条控制点 $S_c$ 。
Sim-to-Real 迁移： $N_{rbf}$ 预测 RBF 系数， $\Phi$ 将形状扭曲到物理域。
优化： 通过梯度下降求解 IK 问题，最小化预测物理形状与目标形状 $S_t$ 之间的距离。整个链条的可微性允许进行高效的梯度计算。

3. 核心贡献

具有韧性的 Sim-to-Real 流水线： 一个利用基于 RBF 的空间扭曲函数空间来弥合现实差距的框架，能够处理无组织的点云和部分遮挡。
无对应关系训练： 一种使用学习到的置信度图和加权倒角距离的微分对齐方法，消除了对预定义点对应关系的依赖。
高效的基于神经网络的 IK： 通过利用通过 Sim-to-Real 迁移的解析梯度，为软体变形机器人高效地求解逆运动学问题的计算流水线。

4. 实验结果

该方法在四种具有不同复杂度的气动驱动软体机器人上进行了验证：

变形薄膜： 9 个腔室，大幅度膨胀变形。
软体机械臂： 两段式，6 个腔室，纯弯曲。
机器人人体模型： 15 个腔室，9 个自由度，复杂的自由形状表面。
可压缩机械臂： 3x3 结构，具备压缩、膨胀和弯曲能力。

性能指标：

准确度： 与仅靠模拟或直接学习（从驱动到形状的映射）相比，所提出的 Sim-to-Real 方法使变形薄膜的平均形状误差降低了 63.3% 至 75.5%，并在人体模型和机械臂上显著提升了性能。
数据效率： 该方法仅需 40 帧训练数据即可达到较低的误差水平，而直接学习需要 400 帧才能达到类似性能。
鲁棒性： 系统成功处理了包含高达 21% 缺失样本点（3D 扫描器）和 9.8% 缺失标记点（MoCap）的数据集。
应用场景：
- 3D 打印： 用作可重构模具；Sim-to-Real 修正减少了打印头与模具之间的间隙，实现了精确的材料沉积。
- 运动规划： 使软体机械臂能够在避开障碍物的情况下进行无碰撞轨迹规划，而在仅靠模拟预测时会导致碰撞。
- 人体模型控制： 实现从 CAESAR 数据集快速收敛（约 15 次迭代）到目标人体形状。

5. 重要性与主张

本文声称通过以下方式推进了变形自由形状表面形状控制的最前沿技术：

消除了对完整对应关系的依赖，从而能够使用密集的 3D 扫描器和即使在有遮挡时也鲁棒的 MoCap 系统。
提供了一个统一的、可微的框架，将 Sim-to-Real 修正直接集成到 IK 解算器中，从而实现实时、基于梯度的控制。
证明了在多种驱动原理（纯膨胀、弯曲、压缩）和结构复杂度下的泛化能力。

局限性与未来工作：
作者承认该方法在很大程度上依赖于训练数据集的质量和覆盖范围。此外，由于 RBF 的固有平滑性，该方法在处理具有尖锐特征的表面时效果较差。未来的工作包括将变形人体模型作为可持续服装制造的可重构模具，以及测试软体机械臂在拾取任务中的表现。