SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

1. 研究背景与问题 (Problem)

核心痛点：
尽管基于流匹配（Flow Matching）和 Transformer 的原生 3D 生成模型（如 Trellis）在生成速度和几何/纹理保真度上取得了显著进展，但它们缺乏精确的结构控制能力。

• 现有方法的局限性：
  • 文本/图像提示： 难以精确描述复杂的 3D 关节 articulation（如“膝盖弯曲 60 度”）或非典型解剖拓扑。
  • 2D 投影策略（如 SKDream）： 现有的骨架控制方法通常采用"2D 提升”策略，即将 3D 骨架投影到 2D 平面作为多视图扩散模型的条件。这种方法存在维度不匹配问题：将内在的 3D 结构压缩到 2D 会导致深度信息丢失、自遮挡引起的空间歧义，且多阶段重建（2D 转 3D）往往导致纹理质量下降和几何伪影。
• 目标： 需要在原生 3D 空间内直接引入骨架作为控制信号，实现精确的结构控制，同时保持基础模型的生成质量和多样性。

2. 方法论 (Methodology)

作者提出了 SK-Adapter，一个轻量级、高效的框架，用于在原生 3D 生成过程中实现骨架引导。其核心设计包括：

A. 总体架构

• 骨干网络： 基于冻结参数的预训练 3D 生成模型 Trellis（包含 VAE 和 Diffusion Transformer）。
• 适配器策略 (PEFT)： 仅训练轻量级的适配器模块（骨架编码器和交叉注意力层），冻结骨干网络参数，以防止灾难性遗忘并保留基础模型的生成先验。

B. 核心组件

1. 拓扑感知编码 (Topology-Aware Encoding)：

   • 将输入的 3D 骨架 $S=\{J, G\}$（关节坐标 $J$ 和拓扑图 $G$）视为稀疏的空间 Token。
   • 引入 图相对位置编码 (GRPE)，不仅编码关节的空间坐标，还显式建模关节间的拓扑距离（Topological Distance）和关系类型（如父子、兄弟、末端执行器）。
   • 通过可学习的嵌入矩阵，将拓扑信息注入到注意力机制中，使模型理解骨架的层级结构。

2. 骨架交叉注意力机制 (Skeletal Cross-Attention)：

   • 在 Flow Transformer 的每个 Block 中，引入交叉注意力层。
   • Query (Q)： 来自冻结骨干的体素特征（Voxel Features）。
   • Key (K) & Value (V)： 来自 GRPE 编码后的骨架特征。
   • 作用： 允许 3D 体素动态地“关注”最相关的骨架关节，将拓扑约束直接映射到 3D 坐标网格上，实现空间上的精确对齐。

3. 非侵入式融合：

   • 交叉注意力的输出通过一个零初始化线性层（Zero-initialized Linear Layer）与骨干网络的原始输出相加。
   • 这种设计确保训练初期模型输出“零信号”，保持原有分布稳定，随着训练逐渐学习骨架引导。

4. 训练目标：

   • 采用 Latent Flow Matching (LFM) 范式，在预训练的 3D 体素 VAE 的潜在空间中进行监督训练。
   • 损失函数为预测的速度场与目标速度场之间的均方误差。

C. 编辑能力

• 利用 SLaT（Structured Latent）的局部性，结合 Repaint 算法和骨架提示，实现了区域特定的 3D 编辑（如添加部件、重姿态），无需重新训练。

3. 关键贡献 (Key Contributions)

1. 首个原生 3D 骨架控制框架： 提出了 SK-Adapter，直接在原生 3D 域内处理骨架条件，避免了 2D 投影带来的空间歧义和重建伪影。
2. Objaverse-TMS 数据集： 构建了包含 24,000 个 高质量“文本 - 网格 - 骨架”三元组的大规模数据集。该数据集由人类专家标注骨架，解决了结构引导 3D 生成中数据稀缺和自动生成的骨架缺乏物理合理性的问题。
3. 灵活的编辑能力： 证明了该方法不仅能生成，还能基于骨架提示对现有资产进行精确的局部编辑（添加、替换、重姿态）。
4. 性能突破： 在结构对齐度、文本一致性和视觉保真度上均显著优于现有基线。

4. 实验结果 (Results)

实验在构建的 TMS-eval 测试集（140 个样本，涵盖人形、动物、物体）上进行，对比了 SKDream（2D 提升法）和 SpaceControl（训练-free 空间引导法）。

• 结构对齐度 (Structural Alignment)：
  • 提出了 ReRigging Score（重新绑定分数），通过测量生成网格自动绑定后的骨架与输入骨架的 Chamfer 距离来评估。
  • 结果： SK-Adapter 的 ReRigging Score 为 0.2228，显著优于 SKDream (0.2818) 和 SpaceControl (0.2740)，表明其生成的几何结构严格遵循输入骨架。
• 文本对齐度 (Textual Alignment)：
  • 使用 CLIP Score 评估。SK-Adapter 取得了最高的整体分数 (26.16)，证明轻量级适配器未破坏文本到 3D 的语义对齐。
• 视觉保真度 (Visual Fidelity)：
  • PickScore (人类偏好)：SK-Adapter 最高 (21.01)。
  • KD-DINO (分布差异)：SK-Adapter 最低 (0.7778)，表明其生成的纹理和几何细节最接近真实分布，且无多阶段重建带来的伪影。
• 效率：
  • 生成速度极快，单样本生成时间 <15 秒，远快于 SKDream 的 ~40 秒。

5. 意义与影响 (Significance)

• 范式转变： 将 3D 生成中的结构控制从"2D 投影 + 重建”的间接路径，转变为“原生 3D 空间直接注入”的直接路径，解决了维度不匹配带来的根本性难题。
• 工业应用潜力： 生成的 3D 资产具有明确的拓扑结构和关节定义，可直接用于动画和游戏管线（如通过 Anymate 进行蒙皮和驱动），填补了从抽象语义生成到可动画化资产之间的空白。
• 数据与社区贡献： 开源的 Objaverse-TMS 数据集为未来结构可控的 3D 生成研究提供了宝贵的基准。
• 可解释性与可控性： 通过骨架这一明确的控制信号，使得 3D 生成过程更加可解释、可预测，推动了 3D 内容创作向更可控、更实用的方向发展。

总结： SK-Adapter 通过轻量级的适配器设计和拓扑感知的编码机制，成功解锁了原生 3D 生成模型对精确骨架结构的控制能力，在保持高质量生成的同时，实现了前所未有的结构灵活性和编辑能力。