技术摘要：面向高效图像到形状扩散 Transformer 的活力感知压缩技术

问题陈述

近期，图像到 3D 形状生成的进展已转向扩散 Transformer (DiT) 架构，这类架构实现了极高的几何保真度，但代价是巨大的计算和内存需求。最先进的模型仅参数量就往往超过 2.5 GB，这使得它们在资源受限或实时环境中难以应用。

现有的针对 2D 图像或视频生成开发的压缩策略（例如，标记稀疏化、标准剪枝）在直接应用于 3D 形状合成时会失效。正如论文中所展示的，这些方法优先考虑视觉质量指标（如 DINO 距离），但这并不能保证几何保真度。直接应用会导致严重的结构性伪影，包括拓扑崩溃、网格畸变以及细节丢失。此外，先前的 3D 高效化方法主要侧重于推理加速（例如，减少采样步数），而非压缩骨干模型本身，这导致 DiT 的内存占用问题仍未得到解决。

方法论

作者提出了一种专门为“图像到形状”DiT 量身定制的活力感知压缩 (Vitality-Aware Compression) 框架。该方法基于这样一个观察：在 3D DiT 中，并非所有层对最终几何输出的贡献都是相等的。该流水线由三个主要阶段组成：

1. 层级活力分析 (Layer-Wise Vitality Analysis)

作者没有使用图像域指标，而是引入了一种基于推土机距离 (Earth Mover's Distance, EMD) 的指标来量化每个 DiT 层的“活力”。

• 过程： 对于每一层 $l$，作者进行了一项消融实验，即从模型中移除该层。给定相同的输入图像，他们分别生成全量模型和层消融模型的点云。
• 指标： 这两个点集之间的 EMD 衡量了几何差异。高 EMD 表示该层是关键的“活力”层，对几何连贯性至关重要；低 EMD 则表示该层是“非活力”层。
• 核心发现： 分析揭示了层间重要性的非均匀分布。至关重要的是，双块 (double-block) 和 单块 (single-block) 模块表现出截然不同的敏感性模式，因此在压缩过程中需要分别处理。

2. 结构化剪枝与自适应量化 (Structured Pruning and Adaptive Quantization)

基于活力评分，作者应用了两步压缩策略：

• 结构化剪枝： 根据不同的阈值（双块为 $\tau_d$，单块为 $\tau_s$）对层进行剪枝。这防止了在两种模块类型上应用统一阈值时观察到的结构崩溃现象。
• 自适应量化： 对剩余层进行混合精度量化。高活力的层被分配 8 位 (8-bit) 精度以保留几何细节，而低活力的层则被更激进地压缩至 4 位 (4-bit)。此操作分别应用于双块和单块，以避免性能下降。

3. 有针对性的微调 (Targeted Fine-Tuning/Distillation)

为了恢复压缩过程中损失的性能，采用了有针对性的微调策略。

• 选择性更新： 该方法并非微调所有参数，而是仅更新每个块内最不具活力的保留层 (Min-vital)。
• 目标： 学生模型通过蒸馏损失函数来模仿全量“教师”模型的流匹配轨迹，该损失函数旨在最小化在有条件和无条件输入下速度预测（$v^c$ 与 $v^f$）之间的差异。这种方法可以在不过度修改关键结构层的情况下，使压缩后的模型趋于稳定。

核心贡献

1. 首个针对 3D DiT 的系统性压缩方案： 本文提出了第一种能够物理上减少 3D 图像到形状 DiT 参数量和位宽的方法，解决了现有 2D 压缩方法无法保持 3D 几何的问题。
2. 基于 EMD 的活力指标： 引入了一种使用推土机距离来识别层重要性的几何感知指标，证明了 3D DiT 具有不同于 2D 对应模型的非均匀层贡献特性。
3. 基于块类型的特定压缩： 证明了双块和单块层需要不同的剪枝和量化阈值，才能同时维持全局连贯性和局部细节。
4. 选择性微调： 一种仅更新最不具活力层的蒸馏策略，为恢复接近原始的性能提供了一条高效路径。

实验结果

该框架在三个最先进的模型上进行了验证：Step1X-3D、Hunyuan3D 2.0 和 Hunyuan3D 2mini。

• 模型大小缩减： 该方法实现了高达 66% 的模型大小缩减（例如，Step1X-3D 减少了 65.63%，Hunyuan3D 2.0 减少了 66.37%）。
• 质量保持： 定量指标（Uni3D-I 和 OpenShape-I）显示，与全量模型相比，性能降级极小。例如，压缩后的 Hunyuan3D 2mini 取得了几乎与原版一致的分数（0.3608 vs. 0.3614）。
• 效率： 峰值显存 (VRAM) 使用量降低了约 2.5 倍，且推理延迟显著降低。
• 对比： 压缩后的模型在几何保真度方面优于其他轻量级基准模型（如 TripoSR、LGM），同时比其他基于 DiT 的模型（如 TRELLIS、Craftsman3D）拥有更小的占用空间。
• 泛化能力： 该方法成功应用于 TRELLIS 模型的稀疏结构流 (Sparse Structure Flow)，在仅性能下降 1.6% 的情况下，将其大小缩减了约 70%。

重要性与主张

作者将这项工作定位为一种即插即用 (plug-and-play) 的高效 3D 形状生成解决方案。他们声称，通过分析层活力，可以识别并消除 DiT 架构中的结构冗余，而不会损害生成的网格的几何完整性。

论文强调，这是第一个系统性解决用于 3D 几何合成的 DiT 物理模型压缩的方法。它指出，虽然压缩后的模型继承了原始架构固有的局限性（例如，处理扁平或风格化输入的难度），但该框架成功地使这些高保真模型能够在资源受限的环境中运行。作者指出，虽然他们实现了 4 位量化，但由于硬件限制，尚未探索更极端的设置（如 1-2 位），未来的工作将集中在自动化阈值选择和扩展框架至纹理生成领域。