GAP3D: Generative Alignment of VLM Latents to Patch-Level Embeddings for 3D Generation

GAP3D 技术摘要：将 VLM 潜在变量生成式对齐至补丁级嵌入以用于 3D 生成

问题陈述
近期将视觉 - 语言模型（VLM）作为生成模型提示编码器的尝试面临显著局限。标准方法通常依赖昂贵的端到端重训练，或将 VLM 特征映射到压缩的池化表示（例如 CLIP 或 T5 嵌入）。这些压缩向量丢弃了对几何感知任务（如 3D 资产生成）至关重要的密集、补丁级空间结构。因此，现有方法在细粒度属性绑定、复杂组合结构以及精确几何控制方面表现不佳。虽然紧密耦合的框架提供了多模态推理能力，但它们缺乏与冻结预训练系统的兼容性，且需要大规模特定领域数据集。相反，将 VLM 与冻结扩散模型对齐的模块化方法通常仅针对池化 token，无法提供高保真 3D 生成所需的空间详细条件信号。

方法：GAP3D
作者提出了 GAP3D（用于 3D 生成的 VLM 潜在变量至补丁级嵌入的生成式对齐），这是一种模块化的、基于扩散的方法，旨在无需重训练下游生成模型的情况下，弥合 VLM 与密集图像编码器空间之间的表示差距。

• 基于整流流的生成式对齐：与确定性回归不同，GAP3D 采用基于整流流（Rectified Flow）框架的扩散 Transformer（DiT）。选择这种生成式方法是因为将 VLM 的抽象语义特征映射到密集视觉表示涉及合成文本提示中未明确呈现的几何和外观细节，使得该任务具有非确定性。
• 目标空间：该模型将 VLM 生成的潜在变量直接对齐到预训练图像编码器（具体为 DINOv2）的完整特征空间。该目标空间包括：
  • 编码局部外观和几何结构的密集 2D 补丁嵌入网格（$x_p$）。
  • 用于高层语义的全局类 token（$x_{cls}$）。
  • 用于聚合中间全局上下文的注册 token（$x_{reg}$）。
• 架构：
  • 输入：冻结的 VLM（Qwen2.5-VL-3B）对用户提示进行编码。可训练的“软 token"被附加到 VLM 输入端，以生成一系列潜在语义特征（$C$）。
  • 生成器：DiT 接收补丁网格、CLS token 和注册 token 的噪声状态。它利用交叉注意力注入 VLM 潜在变量（$C$），并预测将输入去噪至目标 DINOv2 嵌入空间所需的流速场。
  • 训练目标：模型通过流匹配进行训练，以最小化预测流速场与连接噪声和真实 DINOv2 嵌入的真实向量场之间的差异。
• 下游集成：生成的密集嵌入作为冻结的 TRELLIS 图像到 3D 生成模型的条件信号。这有效地将文本到 3D 任务转化为伪图像到 3D 问题，利用了图像编码器的空间先验。
• 领域适应：为解决自然图像（训练数据）与合成 3D 渲染（目标领域）之间的分布偏移，作者采用了两阶段课程：
  1. 预训练：在大规模通用图像 - 文本对（BLIP3-o 数据集）上进行，以学习语义与视觉特征之间鲁棒的映射。
  2. 微调：在较小的 3D 资产渲染数据集（Objaverse-XL）上进行，以使特征分布与冻结 TRELLIS 模型的预期对齐，从而减少伪影。

主要贡献

1. 密集生成式表示对齐：本文证明了 VLM 特征可以通过流匹配对齐到预训练图像编码器的高维、补丁级嵌入空间，超越了压缩语义向量。
2. 模块化 3D 资产生成：该方法实现了文本到 3D 生成和涌现的多模态条件控制，而无需对 3D 骨干网络进行端到端重训练，将基于 VLM 的条件控制扩展到了图像领域之外。
3. 领域适应见解：研究强调，特定领域的微调对于弥合自然图像与合成 3D 渲染之间的差距至关重要，能显著减少模块化流水线中的伪影。

实验结果
在 Toys4K 数据集上进行 3D 资产生成评估，并在 MS-COCO 上进行通用对齐评估：

• 对齐质量：GAP3D 实现了文本提示与 DINOv2 补丁嵌入之间的有意义对齐。虽然微调模型在 3D 渲染（Toys4K）上表现出更优的对齐效果，但在通用自然图像（MS-COCO）上表现出“灾难性遗忘”，表明领域特异性与泛化能力之间存在权衡。
• 3D 生成：微调后的 GAP3D 模型显著优于预训练版本，并接近原生 TRELLIS 文本到 3D 基线的性能。它成功抑制了背景伪影（例如融合的接地平面），并捕捉到了特定的提示细节，如配色方案（“黄色和黑色”）和物体形状。然而，几何保真度和细粒度属性绑定（例如复杂形状上的特定颜色）仍低于原生图像到 3D 基线。
• 涌现的多模态能力：尽管仅在文本上进行训练，该模型仍展现出多模态提示的零样本能力。当提供图像和文本指令（例如“把它变成红色”）时，模型成功提取语义概念并应用更改，尽管它主要充当语义翻译器而非结构保持编辑器，通常会生成与语义对齐的新几何体，而非严格编辑输入图像。

意义与主张
作者将 GAP3D 定位为迈向基础模型模块化集成的重要一步。通过证明 VLM 潜在变量可以通过生成式对齐映射到密集的、具有空间结构的嵌入空间，这项工作提出了一条在不进行昂贵重训练的情况下连接独立预训练模型的路径。论文声称，尽管目前在细粒度细节和几何保真度方面存在局限，但该方法成功弥合了 VLM 与图像编码器之间的表示差距。作者强调，他们的方法优先考虑高层语义，并确立了在高维空间中连接基础模型的可行性，为可扩展、通用的生成系统铺平了道路，在这些系统中，编码器和生成器可以独立升级。