Seeing Before Generating: Object Perception Enhances Single-View 3D Reconstruction

技術要約：生成する前に見る：物体知覚による単一視点3D再構成の強化

問題提起
単一視点からの3D物体再構成は、本質的に不良設定（ill-posed）な問題であり、モデルは限られた入力から未知の幾何構造を推論し、新しい視点を合成する必要があります。拡散モデルやNeural Radiance Fields (NeRF) を含む現代的な手法は、優れた視覚的忠実度を実現していますが、これらは主に幾何学的または生成的モデリングのタスクとして再構成を扱っています。これらの手法は、データ駆動型の事前知識やテキスト/画像による条件付けに依存することが多いものの、物体そのものに対する構造化された知覚的理解を組み込む明示的なメカニズムを欠いています。その結果、入力画像に曖昧さや遮蔽が含まれる場合、意味的一貫性、構造的な妥当性、および視点のコヒーレンス（整合性）の維持に苦慮することが頻繁にあります。著者らは、再構成を純粋に生成の問題として扱うことは不十分であり、これらの曖昧さを解消するために物体の知覚に基づかせるべきであると主張しています。

手法
本論文は、学習済み知覚モデルからの知覚信号を再構成プロセスに明示的に注入する、モデルに依存しないフレームワークを提案しています。核心となる革新技術は、既存の単一視点3D再構成パイプライン（具体的にはWonder3DおよびEra3Dでテスト）へのプラグアンドプレイ型の拡張として機能する**生成・知覚アライメントモジュール（GPAM）**です。

手法の仕組みは以下の通りです：

1. 知覚信号の抽出: 本フレームワークは、基盤となる大規模モデルを活用して、入力画像 $y$ から2種類の知覚情報を抽出します。
   • 意味的知覚（Semantic Perception）: ビジョン言語モデル（Qwen2.5VL-7B）を使用して、物体の形状、幾何学、および構造を詳細に記述するテキストキャプションを生成します。このキャプションは、T5-baseエンコーダーを用いて768次元の埋め込みへとエンコードされます。
   • 幾何学的知覚（Geometric Perception）: 単眼深度推定モデル（DepthAnything-V2）を使用して、最終的な深度マップではなく、中間的な特徴マップ（具体的には refinenet3 レイヤー）を抽出します。これにより、高レベルの幾何学的および様式的情報を捉えます。
2. 生成・知覚アライメント (GPAM): このモジュールは、生成プロセス（拡散モデルのU-Net）から学習された特徴を、抽出された知覚信号と整合させます。
   • 特徴集約: 凍結されたU-Netのデコーダブロックからの中間活性化を、コンパクトなマルチビュー表現へと集約します。
   • 知覚マッピング: 集約された特徴は、ターゲットとなる知覚空間へと投影されます。意味的モダリティの場合、特徴は物体レベルのベクトルへとプーリングされ、MLPを介してマッピングされます。幾何学的モダリティの場合、正面、左前方、右前方の視点からの特徴が結合され、軽量な畳み込みデコーダを通じて処理されます。
3. ガイド付きサンプリング: 推論時、知覚信号は拡散プロセス（具体的にはDDIM）におけるノイズ予測ステップをガイドします。標準的なノイズ予測 $\epsilon_\theta$ は、知覚信号 $s$ と整列された生成特徴 $u$ の間の類似性を測定する損失関数 $L(s, u)$ の勾配を差し引くことによって調整されます。
   • 意味的アライメントには、コサイン類似度損失が使用されます。
   • 幾何学的アライメントには、正面視点に対するスケール・シフト不変なMSE損失と、サイドビュー間の幾何学的整合性を強制するためのCentered Kernel Alignment (CKA) 損失を組み合わせた複合損失が使用されます。

主な貢献

• 新規フレームワーク: 学習済みの知覚モデルを利用して単一視点3D物体再構成を駆動する、モデルに依存しないフレームワークを提案しました。
• 体系的な統合: 多様な知覚信号（意味的および幾何学的）を、異なる単一視点3D再構成パラダイムに統合することを体系的に研究しました。
• プラグアンドプレイ設計: ベースとなる生成モデルの再学習を必要としません。生成モデルと知覚モデルを凍結したまま、軽量なGPALのみを訓練することで、様々なパイプラインへの柔軟な統合を可能にします。

実験結果
本手法は、Google Scanned Objects (GSO) データセットを用い、最先端の2つのパイプラインであるWonder3DおよびEra3Dで評価されました。

• 定量的な改善: 知覚の組み込みにより、Chamfer Distance (CD) が一貫して減少し、その他の指標（IoU, PSNR, SSIM）も向上しました。
  • Wonder3D において、意味的および深度の両方の知覚を組み合わせることで、ベースラインと比較してCDが 9.0% 減少しました。
  • Era3D において、両方を組み合わせたアプローチはCDを 32.7% 減少させ、そのうち深度モダリティ単体で 30.4% の減少に寄与しました。
• 定性的分析: 本手法は、ベースラインモデルが失敗するような微細な幾何学的詳細の復元や、形状の崩壊（例：帽子、アラーム、玩具など）の修正能力を示しました。知覚によるガイダンスは、ベースラインが再構成に苦戦している物体に対して最も強く作用し、効果的に「救済」を行うことが観察されました。
• アブレーション研究: 実験により、最終的な深度マップを使用するよりも中間的な深度特徴を使用する方が優れていることが確認されました。さらに、幾何学的アライメントにはVGG損失よりもCKA損失の方が効果的であること、また、意味的モダリティと深度モダリティの重み付き結合（具体的には $\lambda_d=0.85, \lambda_s=0.15$）が最適であることを明らかにしました。

意義と主張
本論文は、物体知覚が3D再構成のための強力な知識源となり、単一視点の状況における曖昧さを解消するための鍵が知覚であることを検証しています。著者らは、本手法が知覚と生成の架け橋となる、一般的かつ柔軟なフレームワークを提供することを強調しています。大規模な事前知識に暗黙的に依存する手法とは異なり、本アプローチは、制御可能な信号として知覚的理解を明示的に導入します。結果は、異なる知覚モダリティが生成的な事前知識に対して非冗長な補正を提供することを示唆しており、本フレームワークは、学習済みの知覚モデルが存在する他の生成的な設定にも拡張可能です。著者らは、本研究を、生成システムのための一般的な事前知識として知覚を利用することへの一歩として位置づけており、今後の展望として単一画像からの3Dシーン再構成を挙げています。