技术摘要：让物体部件动起来（ATOP）

问题陈述

本文旨在解决基于文本提示为静态 3D 对象生成合理且准确的 3D 部件运动（articulations）的挑战。尽管数字 3D 资产库（如 Objaverse、ShapeNet）呈指数级增长，但这些模型绝大多数仅存在于其静止（未运动）状态。现有的带有运动标注的数据集（如 PartNet-Mobility 和 Shape2Motion）规模有限（仅数千个模型），且依赖昂贵的人工标注，因此不足以训练具有泛化能力的模型。

当前方法面临三大主要障碍：

1. 缺乏运动感知能力：最先进的（SOTA）视频扩散模型（如 WAN2.1）能生成高质量的视觉内容，但无法尊重日常物体的分段刚性，常产生物理上不可能发生的形变。
2. 控制粗糙：纯文本提示过于模糊，无法控制特定物体部件的精确运动。替代的“拖拽”交互方法在识别要动画化的部件方面存在歧义，导致运动错误（例如，抬起椅子座面而非折叠它）。
3. 2D 到 3D 转移困难：将单视图运动提升为多视图一致性极具挑战性。现有的结合图像到视频（I2V）和视频到多视图（V2MV）生成器的流程，往往导致结构扭曲和几何不一致，阻碍了准确的 3D 运动估计。

作者提出在少样本（few-shot）设置下解决此问题，旨在仅利用少量参考运动样本，为未见过的物体生成准确的 3D 运动参数，而无需依赖大规模标注的 3D 运动数据集。

方法论

所提出的框架 ATOP（Articulate That Object Part） 分为两个主要阶段：

1. 用于个性化多视图运动生成的少样本微调

第一阶段涉及调整预训练的多视图图像生成器（ImageDream），使其成为一个可控的、具有部件感知能力的多视图运动扩散模型。

• 模型架构：作者采用“膨胀”的 U-Net 架构，将 2D 卷积块扩展为 3D（时空）以处理视频数据。
• 关键模块：
  • 对应感知空间注意力：为确保多视图间的几何一致性，自注意力机制被修改为在每个帧索引处聚合跨视图信息，从而保留目标物体的 3D 结构。
  • 用于外观注入的交叉注意力：通过 CLIP 图像编码器对物体静止状态的多视图图像进行编码，并将其与潜在空间融合。这确保生成的运动保留目标物体的特定外观和结构。
  • 可控部件运动模块：为实现空间控制，模型接受要运动的部件的二值掩码。自适应仿射变换基于该掩码调制潜在特征，使模型能够学习特定于该掩码区域的时序运动模式。
• 训练：模型在少量参考多视图运动视频（少样本）上进行微调。扩散模型被冻结，仅训练新添加的可控运动模块。
• 推理：给定目标静态网格，系统渲染多视图图像和部件掩码。这些与文本提示一起输入微调后的模型，以“幻觉”出个性化的多视图运动视频，其中特定部件运动而物体其余部分保持刚性。

2. 3D 运动轴优化

第二阶段将生成的 2D 多视图运动转移回 3D 空间，以估计运动参数（运动轴和原点）。

• 可微渲染：输入网格被参数化为一组 3D 高斯点。可微渲染器将这些高斯点投影到扩散模型的潜在空间中。
• 分数蒸馏采样（SDS）：系统通过最小化渲染潜在值与个性化扩散模型（由文本提示和掩码引导）预测的噪声之间的差异，来优化 3D 表示。这将 3D 几何与合理的 2D 运动先验对齐。
• 算法优化：为处理重建稀疏点云中的噪声，作者提出了一种运动轴估计的算法方法。与其进行连续回归，不如用定向包围盒（OBB）近似运动部件，并搜索一组离散的潜在轴原点和方向（源自 OBB 的主成分）。通过最小化与运动点云的 Chamfer 距离来选择最佳拟合。

主要贡献

1. 首个无标注框架：ATOP 被呈现为首个能够从文本提示生成静态 3D 物体上合理且准确的部件运动的无标注学习框架，无需人工标注的 3D 部件运动数据。
2. 通过少样本微调实现运动个性化：本文提出了一种方法，利用少量参考样本将运动感知能力注入扩散模型。该方法在保持多视图一致性的同时，将运动生成个性化到特定物体形状。
3. 部件级空间控制：通过利用部件掩码作为输入条件，该方法克服了纯文本或拖拽式控制的歧义，实现了对特定物体部件的精确动画控制。
4. 鲁棒的 2D 到 3D 转移：个性化多视图生成与基于 SDS 的优化相结合，使得运动能够从 2D 视频忠实转移到 3D 参数估计，性能优于两阶段流程（I2V + V2MV）。

结果

作者在 PartNet-Mobility 和 ACD 数据集上对 ATOP 进行了评估，并在 Objaverse 上进行了定性评估。

• 定量性能：在 PartNet-Mobility 上，ATOP 在平均角度误差（MAE）和平均位置误差（MPE）方面显著优于 Shape2Motion（S2M）和 OPD 等基线。例如，平均 MAE 从 S2M 的约 7.04 和 OPD 的约 12.15 降至 ATOP 的 2.63。
• 视频生成质量：在多视图视频生成中，ATOP 在 FVD（938.97 对比基线的 >1300）、PSNR（20.87 对比约 11-12）和 LPIPS（0.128 对比约 0.49）方面取得了更优的分数，表明其具有更好的时序连贯性、文本对齐度和空间一致性。
• 泛化能力：该方法在包含训练期间未见过的结构不同物体的 ACD 数据集上表现出强大的零样本泛化能力。尽管与训练样本存在显著的结构差异，它仍能成功估计衣柜和床头柜等物体的运动参数。
• 消融实验：实验证实，算法优化（离散搜索）比直接连续优化产生更准确的结果。此外，该方法在配合数据增强训练时，对噪声掩码具有鲁棒性。

意义与主张

本文声称，ATOP 代表了向动画化海量现有静态 3D 资产迈出的重要一步。通过利用扩散模型的生成先验并通过少样本学习对其进行个性化，该方法规避了对大规模、昂贵 3D 运动数据集的需求。

作者强调，他们的方法不同于生成新运动化资产（如 CAGE、NAP）的工作；相反，ATOP 通过推断动态属性来增强现有的静态网格。虽然当前方法仅限于旋转关节和棱柱关节，且不建模复杂的层级运动学链，但它为可扩展的、文本驱动的 3D 动画奠定了基础。作者指出，许多 3D 模型中存在的“内部缺失”问题仍然是一个挑战，但该方法成功处理了各种形状的外部运动。