技术摘要：缝合嵌入 (Stitched Embeddings, StEm)

问题陈述

尽管通过参数化人体模型（如 SMPL）进行的 3D 人体数字化技术已取得了显著进展，但服装的重建与操控仍然是一个挑战，这归因于其巨大的拓扑变异性和非刚性变形。传统的服装建模依赖于 2D 缝制样板 (2D sewing patterns)——即由离散面板组成的参数化 CAD 正式化表示，这些面板由参数化曲线（如贝塞尔曲线）和缝合约束定义，并作为物理制造和逼真动画的蓝图。

目前，连接 2D 样板与 3D 几何形状的鸿沟通常需要依赖基于物理的模拟器（例如弹簧-质量系统）来将面板“缝合”在一起。这种对模拟器的依赖带来了三个关键局限性：

1. 计算成本高： 模拟器速度缓慢，阻碍了实时应用。
2. 不可微性： 大多数模拟器是不可微的，这阻碍了端到端的学习与优化（例如通过反向传播进行预测精细化）。
3. 缺乏灵活性： 现有方法难以支持在不重新运行复杂模拟的情况下，对缝制样板的数量和类型进行测试时自适应或编辑。

此外，虽然最近的研究探索了使用无符号距离场 (UDF) 等隐式表示来处理 3D 服装，但这些方法缺乏下游裁剪应用所需的语义结构。

方法论：缝合嵌入 (Stitched Embeddings, StEm)

作者提出了 Stitched Embeddings (StEm)，这是一个统一的潜在空间，能够共同表示 3D 服装及其对应的 2D 缝制样板。其核心框架 StEm-Net 是首个端到端、全可微且无需模拟器的连接这些表示的方法。

1. 核心表示：BoxMesh

为了在不使用模拟器的情况下将 2D 样板与 3D 几何形状对齐，作者引入了 BoxMesh。

• 概念： BoxMesh 是一种 3D 表示法，其中 2D 缝制样板被排列在围绕人体模型的 3D 空间中（类似于一种“预模拟”状态）。
• 功能： 它作为一个空间代理，根据其语义功能（例如袖子、前片）将 2D 面板对齐到规范的 3D 配置中。
• 拓扑： BoxMesh 保持了缝制样板的精确拓扑，但在 3D 体积中占据空间。当对 BoxMesh 应用布料模拟时，会产生最终的悬垂服装网格。
• 对齐： 通过将 BoxMesh 作为与模拟服装网格并行的输入模态，网络可以获得与最终输出在拓扑上对齐的 3D 空间先验。

2. 网络架构 (StEm-Net)

该架构基于经过修改的 Hunyuan3D 2.1 VAE 框架，该框架经过适配以使用 无符号距离场 (UDF) 来表示非水密、开放流形的几何体（这对于领口和开放式下摆至关重要）。

• 编码器：

  • 服装编码器 ($E_g$)： 处理带有法向量 ($N$) 的 3D 服装点云 ($P$)。
  • BoxMesh 编码器 ($E_{bm}$)： 处理预模拟的 BoxMesh 几何形状。
  • 对齐策略： 为了确保潜在空间对输入模态（BoxMesh 与模拟网格）具有不变性，模型利用了两者之间已知的 1:1 对应关系。在训练期间，从两种几何形状中采样对应点，从而将相同的物理位置映射到相同的潜在区域。
  • 输出： 两个编码器都映射到一个共同的潜在集 $z \in \mathbb{R}^{256 \times 64}$。

• 解码器：

  • 3D 解码器 ($D_{3D}$)： 重建 3D 服装的 UDF 场。
  • 缝制样板解码器 ($D_{SP}$)： 回归定义缝制样板的 122 个设计参数（来自 GarmentCode 空间）。这些参数包括连续值（尺寸）、布尔标志（如袖子是否存在）和类别值（服装类型）。一个带有可学习每面板查询 (per-panel queries) 的解码 Transformer 将潜在集映射到这些参数。

3. 训练与损失函数

模型使用复合损失函数进行端到端训练：
$$\mathcal{L} = \mathcal{L}_{UDF} + \lambda_1 \mathcal{L}_{SP} + \lambda_2 \mathcal{L}_{KL}$$

• 3D 重建损失 ($\mathcal{L}_{UDF}$)： 最小化预测距离场与真实值之间的均方误差 (MSE)，涵盖了 BoxMesh 和服装两种输入。它使用分层采样来捕捉高频细节和全局结构。
• 缝制样板损失 ($\mathcal{L}_{SP}$)： 一个处理 122 个异构参数的多任务损失：
  • 用于连续维度的 MSE。
  • 用于布尔标志的二元交叉熵 (BCE)。
  • 用于类别值的交叉熵 (CE)。
• 潜在对齐损失 ($\mathcal{L}_{KL}$)： 通过将潜在空间正则化为标准正态分布，并最小化 BoxMesh 编码 ($z_B$) 与服装编码 ($z_G$) 之间的 KL 散度，从而强制两种输入模态之间的一致性。

4. 推理与测试时自适应

• 3D 转 2D： 给定一个 3D 点云，模型将其编码到潜在空间并解码出缝制样板参数。
• 测试时优化： 为了精细化对未知几何形状的预测，可以通过反向传播迭代更新潜在向量 $z$，以最小化预测 UDF 与输入表面之间的重建误差。由于潜在空间是共享的，这种优化能同时精细化 3D 几何形状和离散的缝制样板参数。
• 2D 转 3D (编辑)： 用户可以修改 2D 样板参数，网络（充当“神经模拟器”）会立即预测更新后的 3D UDF 场，而无需进行物理模拟。

核心贡献

1. StEm-Net： 首个端到端、全可微且无需模拟器的统一 3D 服装实现与 2D 缝制样板的共同潜在空间的方法。
2. 达到最先进性能 (SOTA)： 该方法在从 3D 点云预测缝制样板方面达到了新的 SOTA 水平，与最接近的竞争对手 (NeuralTailor) 相比，误差降低了高达 15%。
3. 测试时自适应与编辑： 该框架实现了基于 2D 样板的直接服装编辑，并通过反向传播进行预测精细化，且无需物理模拟。

实验结果

作者在两个数据集上评估了 StEm-Net：NeuralTailor（拓扑较简单）和 GarmentCodeData（包含多达 75 个面板的复杂拓扑）。

• 与 NeuralTailor 的比较： 在 NeuralTailor 测试集上，StEm-Net 在几乎所有指标上都优于 NeuralTailor，包括面板 L2 误差、边缘检测和缝合精度。值得注意的是，NeuralTailor 在更复杂的 GarmentCodeData 上无法收敛，而 StEm-Net 则成功完成了任务。
• 与基于图像方法的比较： 在 GarmentCodeData 测试集上与 ChatGarment（一种最先进的基于图像的方法）对比时，基于 3D 点云运行的 StEm-Net 在参数回归方面表现出了更高的准确性，证明了 3D 几何线索比单纯的 2D 视觉纹理能提供更确定的信息用于模式推断。
• 泛化能力： 该模型有效地泛化到了来自 4DDress 和 CloSe 数据集的真实世界扫描数据，尽管是在合成数据上训练的，但在 Chamfer Distance 指标上显著优于 NeuralTailor。
• 编辑功能： 该框架成功演示了基于 2D 样板修改（例如改变服装长度、移除袖子或将裤子更换为裙子）的无缝 3D 编辑。

意义与主张

论文将 Stitched Embeddings 定位为连接 神经 3D 视觉 与 物理服装制造流程 之间的重要里程碑。

• 无需模拟的高效性： 通过消除对可微物理模拟器的需求，该方法为服装重建和编辑提供了一种计算高效的替代方案。
• 统一表示： 它解决了在单一可学习潜在空间内同时表示连续 3D 几何形状和离散 2D 制造蓝图的基础性挑战。
• 实际应用价值： 能够进行测试时自适应和直接编辑的能力，使该工具对于视觉与图形学社区具有极高的实用灵活性，有望简化数字制造流水线。

作者承认，虽然其结果尚未完全达到高保真物理模拟的水平，但这项工作为未来研究多层服装、变化材质以及精细化服装细节奠定了可扩展的基础。