💻 computer science

ParCo-SDF: Learning Prior-Free Partial-to-Complete Signed Distance Fields of Deformable Objects

本文介绍了 ParCo-SDF，这是一个两阶段框架，通过利用时序几何编码和 FiLM 条件化的符号距离场预测，克服了现有依赖先验方法的泛化局限性，从而实现了从点云观测对可变形物体进行无先验、高保真的从部分到完整的重建。

原作者： Deokmin Hwang, Minseok Song, Daehyung Park

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Deokmin Hwang, Minseok Song, Daehyung Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图弄清楚一根完整的橡皮筋长什么样，但在任何给定时刻，你只能看到它的一小块杂乱无章的部分。也许你的手遮住了它的一部分，或者橡皮筋缠绕得太紧，导致某些部分被其他部分遮挡。这就是机器人在尝试操作像橡皮筋、绳索或布料这样柔软、易变形的物体时所面临的问题。

这篇论文介绍了一种名为ParCo-SDF的新工具，它能帮助机器人“填补空白”，从而看到整个物体，即使大部分都被遮挡了。

以下是其工作原理，使用简单的类比来说明：

问题： “缺失拼图的谜题”

通常，当机器人观察一根橡皮筋时，它只能看到未被自身手部或物体自身褶皱遮挡的部分所形成的散乱点云（就像空气中的尘埃）。

旧方法：之前的尝试就像试图通过记忆某张特定拼图的照片来猜测拼图的形状。如果橡皮筋以机器人从未见过的某种方式扭曲，机器人就会感到困惑。它们依赖于“作弊条”（形状先验），假设物体呈现出某种特定形态，但这无法应对狂野、不可预测的运动。

解决方案：ParCo-SDF

作者构建了一个不需要“作弊条”的系统。相反，它就像一个观察电影而非单张照片的侦探。

1. “穿越时空的侦探”（时序几何编码）

ParCo-SDF 不是只看一个冻结的瞬间，而是观察一段橡皮筋移动的短视频。

类比：想象你试图猜测藏在灌木丛中的蛇的形状。如果你只看到它一秒钟的尾巴，你可能会以为那是一根树枝。但如果你观察它扭动了五秒钟，你就会意识到：“啊，这是一条蛇！”
工作原理：该系统采用一系列部分视图（时间滑动窗口）。它利用一种特殊的“注意力”机制将这些片段拼接在一起。它学习到，即使某个部分此刻被遮挡，它在一秒前是可见的，或者在一秒后将会可见。这使得它能够在无需记忆物体“应该”是什么样子的情况下，重建出完整的形状。

2. “变形黏土”（FiLM 条件化 SDF）

一旦系统从视频中收集了所有线索，它就需要构建 3D 模型。

类比：想象一台标准的 3D 打印机，它只能打印一种特定的形状。要打印不同的形状，通常需要一台全新的机器。而 ParCo-SDF 就像一块神奇的黏土，可以根据“遥控器”信号瞬间改变其纹理和形状。
工作原理：该系统使用一个源自“穿越时空的侦探”步骤的“遥控器”（称为潜在代码）。这个信号告诉黏土（神经网络）如何精确地塑造成橡皮筋当前的形状。
为何更优：旧方法试图每次都预测黏土的整个蓝图，这既缓慢又不稳定。ParCo-SDF 只是向黏土发送几个“调节旋钮”（偏移参数）。这使得系统保持快速、稳定，并且能够处理复杂的扭曲而不会崩溃。

结果：穿透迷雾

研究人员在计算机模拟中扭曲和拉伸橡皮筋的数据集上测试了该系统。

挑战：橡皮筋经常被机器人的手或其自身的线圈严重遮挡（严重遮挡）。
结果：即使橡皮筋有 80% 被遮挡，ParCo-SDF 也成功重建了其完整、平滑的形状。
对比：与之前的最佳方法（INR-DOM）相比，ParCo-SDF 的错误更少。旧方法经常试图根据固定模板进行猜测，从而错误地“粘合”橡皮筋的各个部分。ParCo-SDF 通过观察运动，知道拓扑结构（环状结构）是完整的，因此不会创建虚假的连接。

nutshell

ParCo-SDF 是一种机器人视觉系统，它通过观察物体随时间的运动而非盯着单张快照，解决了“缺失部分”的问题。它使用一种灵活、可调整的 3D 模型，能够根据过去几秒钟所见的内容瞬间重塑自身，从而即使物体完全被遮挡，也能看到整个物体。

技术摘要：ParCo-SDF

问题陈述
可变形物体操作（DOM）面临重大挑战，这源于可变形物体（DOs）固有的无限自由度和连续几何变化。这些特性经常导致严重的自遮挡和机器人诱导遮挡，从而掩盖了控制所需的关键状态信息。虽然近期方法利用隐式神经表示（INRs）来建模连续表面，但它们通常依赖特定于物体的形状先验（例如预定义模板或对称性）来稳定训练并从部分观测中推断完整几何结构。此类先验限制了对未见变形场景的泛化能力。此外，现有的条件机制，如输入拼接或超网络，在处理多样化实例和连续变形状态时，在可扩展性、表征能力或训练稳定性方面存在困难。核心问题在于：在不依赖显式形状先验的情况下，从部分、时间有序的点云观测中重建可变形物体的完整、高保真度有符号距离场（SDF）。

方法：ParCo-SDF
作者提出了ParCo-SDF，这是一个专为无先验的“部分到完整”SDF 重建设计的两阶段框架。该架构基于从部分观测滑动窗口 $\{P_{t-T+1}, \dots, P_t\}$ 导出的潜在代码，对共享隐式网络进行条件化。

时序几何编码（阶段 1）：
编码器将观测值转换为紧凑的潜在空间，而不是聚合对不规则采样敏感的原始点集。
- 点级特征提升： 使用可学习的傅里叶特征映射将原始坐标映射到更高维空间，以增强空间表达能力。
- 局部几何编码： 动态图卷积神经网络（DGCNN）处理每个提升后的观测值，生成置换不变且感知几何的潜在代码（ $\tilde{z}_i$ ），以捕捉局部部分结构。
- 时序聚合： 自注意力机制聚合观测级代码序列，以推断时间 $t$ 的变形状态，生成最终潜在代码 $z_t$ 。这使得模型能够在无需显式先验的情况下捕捉序列间的结构相似性。
FiLM 条件化 SDF 预测（阶段 2）：
潜在代码 $z_t$ 通过特征线性调制（FiLM）对共享隐式 SDF 网络（基于 SIREN 架构）进行条件化。
- 仅偏移调制： 为了提高优化稳定性并避免放大正弦预激活，调制器预测逐层偏移参数（ $\beta^{(\ell)}$ ），而非缩放因子。
- 参数效率： 与预测整个权重矩阵（导致参数呈二次增长）的超网络不同，该方法预测随网络宽度线性缩放的偏移参数。这使得在训练稳定的同时拥有更大的隐式网络容量。
- 训练目标： 模型使用三个损失的加权和进行训练：
  - 表面监督（ $L_{surface}$ ）： 使用焦点损失（Focal loss）公式强制零水平集一致性和正确的表面法线，以处理稀疏且高度变形配置中的类别不平衡问题。
  - Eikonal 正则化（ $L_{eik}$ ）： 在表面外点强制 SDF 属性 $\|\nabla f_\theta(x)\| = 1$ 。
  - 潜在空间正则化（ $L_z$ ）： 惩罚潜在代码的欧几里得范数，以防止无界增长并提高泛化能力。

主要贡献

无先验重建： 该方法实现了稳健的“部分到完整”几何重建，无需依赖特定于物体的形状先验，从而能够泛化到不可预见的结构和变形。
时序几何编码： 通过自注意力聚合一系列部分观测，该框架捕捉了单帧中模糊的遮挡所必需的结构信息。
稳定且富有表现力的条件化： 引入基于 FiLM 的仅偏移调制机制，允许使用更大的共享隐式网络并保持训练稳定，克服了基于超网络的条件化在可扩展性和稳定性方面的问题。
对遮挡的鲁棒性： 该框架专门设计用于处理可变形物体操作中常见的严重自遮挡和机器人诱导遮挡。

实验结果
该方法在 Isaac Sim 生成的橡皮筋操作数据集上进行了评估，涉及拉伸、弯曲和扭曲的序列。模型在四个序列上训练，并在一个包含未见变形轨迹的保留序列上进行评估。

指标： 使用 Chamfer 距离（CD）衡量几何保真度，使用拓扑成功率（TSR）衡量拓扑正确性（亏格保持）。
对比： ParCo-SDF 优于最先进（SOTA）的基线 INR-DOM（使用超网络和骨架损失）。
- 与 INR-DOM 相比，ParCo-SDF 将 CD 降低了23.6%，并将 TSR 提高了21.9%。
- 基线（INR-DOM）在重建误差中表现出更高的方差，表明其在不同遮挡模式下的不稳定性，而 ParCo-SDF 表现出显著更低的方差。
消融实验： 移除时序聚合层（ParCo-SDF-T）导致性能差距，证实了时序线索在从部分观测推断完整拓扑中的关键作用。
定性分析： 在严重遮挡的情况下，ParCo-SDF 成功重建了橡皮筋的环面拓扑，而基线经常产生虚假连接和表面伪影。

意义与主张
本文主张 ParCo-SDF 为无先验可变形几何重建提供了有前景的基础。通过利用时序几何编码和基于 FiLM 的条件化，该方法在严重遮挡和先前未见过的变形状态下实现了稳健、高保真的重建。作者指出，虽然当前实验仅限于仿真和单一物体类别（橡皮筋），但该框架解决了现有基于 INR 的方法中泛化和稳定性方面的根本局限性。未来的工作被确定为研究跨多样化可变形物体和真实世界机器人操作场景的泛化能力。