GAP3D: Generative Alignment of VLM Latents to Patch-Level Embeddings for 3D Generation

GAP3D の技術的概要：3D 生成のための VLM 潜在空間からパッチレベル埋め込みへの生成的アライメント

問題定義
視覚言語モデル（VLM）を生成モデルのプロンプトエンコーダとして統合しようとする最近の取り組みは、重大な限界に直面しています。標準的なアプローチは、高価なエンドツーエンドの再学習に依存するか、VLM 特徴を圧縮されたプーリング表現（CLIP や T5 埋め込みなど）にマッピングすることに依存しています。これらの圧縮ベクトルは、3D アセット生成のような幾何学的意識タスクに不可欠な、高密度でパッチレベルの空間構造を破棄してしまいます。その結果、既存の手法は、微細な属性バインディング、複雑な構成的構造、そして精密な幾何学的制御において困難に直面しています。密結合フレームワークはマルチモーダル推論を提供しますが、凍結された事前学習済みシステムとの互換性が欠如しており、大規模なドメイン固有データセットを必要とします。一方、VLM を凍結された拡散モデルにアライメントするモジュール式アプローチは、通常、プーリングされたトークンのみを対象とし、高忠実度の 3D 生成に必要な空間的に詳細な条件付け信号を提供できていません。

手法：GAP3D
著者は、下流の生成モデルを再学習することなく、VLM と高密度画像エンコーダ空間の間の表現ギャップを埋めるために設計された、モジュール式かつ拡散ベースのアプローチであるGAP3D（3D 生成のための VLM 潜在空間からパッチレベル埋め込みへの生成的アライメント）を提案します。

• 整流フローによる生成的アライメント: 決定論的回帰とは異なり、GAP3D は整流フロー（Rectified Flow）フレームワークに基づく拡散トランスフォーマ（DiT）を採用しています。この生成アプローチが選択された理由は、VLM からの抽象的な意味特徴を高密度な視覚表現にマッピングする際、テキストプロンプトに明示的に存在しない幾何学や外観の詳細を合成する必要があるため、タスクが非決定論的になるからです。
• ターゲット空間: 本モデルは、VLM によって生成された潜在空間を、事前学習済みの画像エンコーダ、具体的にはDINOv2の完全な特徴空間に直接アライメントします。このターゲット空間には以下が含まれます：
  • 局所的外観と幾何学を符号化する高密度な 2D グリッドのパッチ埋め込み（$x_p$）。
  • 高レベルの意味論のためのグローバルクラストークン（$x_{cls}$）。
  • 中間的なグローバル文脈を集約するためのレジスタートークン（$x_{reg}$）。
• アーキテクチャ:
  • 入力: 凍結された VLM（Qwen2.5-VL-3B）がユーザープロンプトを符号化します。学習可能な「ソフトトークン」が VLM 入力に付加され、潜在意味特徴のシーケンス（$C$）を生成します。
  • ジェネレーター: DiT は、パッチグリッド、CLS トークン、およびレジスタートークンのノイズ状態を受け入れます。これはクロスアテンションを用いて VLM 潜在空間（$C$）を注入し、入力ノイズをターゲット DINOv2 埋め込み空間へノイズ除去するために必要な速度場を予測します。
  • 学習目的: モデルはフローマッチングを通じて訓練され、予測された速度場と、ノイズから真の DINOv2 埋め込みへ接続する真のベクトル場との差を最小化します。
• 下流統合: 生成された高密度埋め込みは、凍結されたTRELLIS画像から 3D への生成モデルに対する条件付け信号として機能します。これにより、テキストから 3D へのタスクは、画像エンコーダの空間的事前知識を活用する疑似画像から 3D への問題へと実質的に変換されます。
• ドメイン適応: 自然画像（訓練データ）と合成 3D レンダリング（ターゲットドメイン）の間の分布シフトに対処するため、著者は 2 段階のカリキュラムを採用します：
  1. 事前学習: 大規模な一般画像テキストペア（BLIP3-o データセット）を用いて、意味論と視覚特徴の間の堅牢なマッピングを学習します。
  2. 微調整: 3D アセットレンダリングのより小規模なデータセット（Objaverse-XL）を用いて、凍結された TRELLIS モデルの期待値と特徴分布をアライメントし、アーティファクトを低減します。

主要な貢献

1. 高密度生成表現のアライメント: 本論文は、VLM 特徴を、圧縮された意味ベクトルを超えて、フローマッチングを通じて事前学習済み画像エンコーダの高密度でパッチレベルの埋め込み空間にアライメントできることを実証しています。
2. モジュール式 3D アセット生成: この手法は、3D バックボーンのエンドツーエンド再学習なしでテキストから 3D への生成と、出現するマルチモーダル条件付けを可能にし、VLM ベースの条件付けを画像ドメインを超えて拡張します。
3. ドメイン適応に関する洞察: この研究は、自然画像と合成 3D レンダリングの間のギャップを埋めるためにドメイン固有の微調整が重要であることを強調しており、モジュール式パイプラインにおけるアーティファクトを大幅に低減します。

実験結果
Toys4K データセットを用いた 3D アセット生成と、一般アライメントのための MS-COCO による評価：

• アライメントの質: GAP3D は、テキストプロンプトと DINOv2 パッチ埋め込みの間の意味のあるアライメントを達成します。微調整されたモデルは 3D レンダリング（Toys4K）において優れたアライメントを示しますが、一般的な自然画像（MS-COCO）では「破滅的忘却」を示し、ドメイン特異性と一般化の間のトレードオフを示しています。
• 3D 生成: 微調整された GAP3D モデルは、事前学習済みバージョンを大幅に上回り、ネイティブな TRELLIS テキストから 3D へのベースラインの性能に近づきます。これは、背景のアーティファクト（例：融合した地面平面）を効果的に抑制し、「黄色と黒」のような色調や物体の形状といった特定のプロンプト詳細を捉えることに成功しています。ただし、幾何学的忠実度や複雑な形状における特定の色などの微細な属性バインディングは、ネイティブな画像から 3D へのベースラインよりも低いままです。
• 出現するマルチモーダル能力: テキストのみで訓練されているにもかかわらず、モデルはマルチモーダルプロンプトに対するゼロショット能力を示します。画像とテキスト指示（例：「赤くして」）が提供されると、モデルは意味概念を抽出し変化を適用しますが、構造を保持するエディタというよりは主に意味翻訳機として機能し、入力画像を厳密に編集するのではなく、意味論に整合した新しい幾何学を生成することが多いです。

意義と主張
著者は、GAP3D を基盤モデルのモジュール統合に向けた重要な一歩として位置づけています。VLM 潜在空間が生成的アライメントを通じて高密度で空間的に構造化された埋め込み空間にマッピングできることを実証することで、この研究は高価な再学習なしに独立して事前学習されたモデルを接続する道筋を示唆しています。論文は、微細な詳細や幾何学的忠実度に関する現在の限界が存在するものの、このアプローチが VLM と画像エンコーダの間の表現ギャップを成功裡に埋めていると主張しています。著者は、彼らの手法が高レベルの意味論を優先し、高次元空間における基盤モデルの接続の実現可能性を確立しており、エンコーダとジェネレーターを独立してアップグレード可能なスケーラブルで多用途な生成システムの道を開くと強調しています。