技術要約: VolFill: ボリューム・フロー・マッチングを用いた単一視点アモーダル3Dシーン再構成

1. 問題の定式化

本論文は、単一のRGB画像からアモーダル（amodal）な3Dシーン再構成を行うという課題に取り組んでいます。可視表面のみを復元する従来のピクセル整合型手法（例：深度マップやポイントマップ）とは異なり、本研究の目的は、前景オブジェクトによって遮蔽された表面を含む、観測された視錐台内の完全な3D幾何構造を予測することです。

このタスクは、隠れた構造に関する視覚的証拠が欠如しているため、本質的に不良設定（ill-posed）な問題です。既存のアプローチには以下のような重大な限界があります：

• ピクセル整合型手法（例：MoGe2、DepthPro）は可視表面に限定されており、遮蔽領域を推論することができません。
• 最適化ベースの手法は、高密度なマルチビューキャプチャと、1シーンあたり数時間の計算時間を必要とします。
• オブジェクト中心の生成モデルは、複雑で無制限なシーンの扱いに苦慮します。
• シーンレベルのアモーダル・ベースライン（例：LaRI、NOVA3R）は、非構造的な表現や固定されたレイヤー制約により、断片化したメッシュ、層状のアーティファクト（「多重壁」効果）、またはノイズの多い、バラバラなポイントクラウドを生成しがちです。

2. 手法

VolFillは、決定論的な回帰に頼るのではなく、単一の画像から完全な**切断された符号なし距離関数（Truncated Unsigned Distance Function: TUDF）**のボクセルグリッドを予測する生成フレームワークです。そのアーキテクチャは、以下の3つのコアコンポーネントで構成されています。

A. TUDF表現

シーンの幾何構造は、連続的なスカラー場 $V(p)$ として表現されます。これは、最大値 $\tau$ までに切断された、最近接表面（遮蔽されたものを含む）への距離として定義されます。

• 符号なしの定式化: 屋内シーンはしばしば非 watertight（例：片面だけの壁）であるため、符号付き距離関数（SDF）は幾何学的に曖昧になる可能性があります。そのため、符号なし距離関数が使用されます。
• 動的離散化: 本手法は、視覚的な幾何学のバウンディングボックスに基づいて動的かつ等方的なボクセルサイズを計算する、視錐台整合型の離散化戦略を採用しており、グリッドが直近のキャプチャされたシーンに集中することを保証します。

B. ハイブリッド3D VAE

高解像度のTUDFグリッド（$256^3$）と、生成モデリングに必要な潜在空間との間のギャップを埋めるために、**ハイブリッド疎・密3D VAE（Hybrid Sparse-Dense 3D VAE）**が提案されています。

• エンコーダ: 疎なTUDF入力を疎な3D畳み込みを用いて処理し、グリッドを $16\times$ 圧縮してコンパクトな密な潜在空間（$16^3 \times C$）へと変換します。
• デコーダ: ハイブリッドな密・疎デコーディング・スケジュールを利用します：
  1. 密なアップサンプリング: 転置畳み込みを用いて、潜在変数を $64^3$ までアップサンプリングします。
  2. 構造予測: バイナリ占有（occupancy）ヘッドがマスクを予測して特徴マップを疎にし、空の領域を破棄します。
  3. 疎なアップサンプリング: 疎な畳み込みを用いて、特徴を最終的な $256^3$ 解像度までアップサンプリングします。
• 損失関数: VAEは、活性化されたボクセルに対するL1距離、占有に対するBCEおよびDice損失、および潜在変数の正則化のためのKLダイバージェンスを含む複合損失を用いて訓練されます。

C. フロー・マッチングを用いた潜在拡散トランスフォーマー

生成の中核となるのは、**整流化フロー・マッチング（rectified flow matching）の目的関数で訓練された拡散トランスフォーマー（Diffusion Transformer: DiT）**です。これは、ノイズをシーンのTUDF潜在分布へと輸送することを学習します。

• デュアル・コンディショニング戦略: 強固な汎用性と物理的な妥当性を確保するため、DiTは2つのソースに基づき条件付けられます：
  1. グローバルな幾何学的事前知識: 高レベルの空間的コンテキストを提供するために、凍結された幾何学基盤モデル（MoGe2）からの特徴がクロスアテンションを介して注入されます。
  2. 可視潜在インペインティング: MoGe2からの可視ポイントマップが「可視潜在変数（$z_{vis}$）」としてエンコードされ、ゼロ初期化されたMLPを介してノイズを含む潜在変数と融合されます。これにより、生成が観測された幾何学に固定されると同時に、遮蔽領域の補完がガイドされます。
• 推論: モデルは、Eulerステップを用いて $t=0$ から $t=1$ までの学習されたODEを統合し、続いてVAEによるデコーディングを経て、最終的なTUDFグリッドを生成します。

3. 主な貢献

1. VolFillフレームワーク: ピクセル整合型の回帰を超え、ボリューメトリック・フロー・マッチングを利用して単一視点画像から完全なシーンレベルの幾何構造を復元する生成フレームなるフレームワーク。
2. ハイブリッド3D VAE: 高解像度のTUDFグリッドをコンパクトな潜在空間へ効率的に空間圧縮することを可能にし、複雑なアモーダル構造の高精度な再構成を促進するアーキテクチャ。
3. デュアル・コンディショニング戦略: 高レベルの画像トークンと明示的な可視幾何学を統合するために、幾何学基盤モデル（MoGe2）を活用する新しいアプローチであり、アモーダルな推論を観測データに接地させる。

4. 実験結果

本手法は SCRREAM および NRGB-D データセットで評価され、現在のベースライン（LaRI、NOVA3R、およびTRELLISやTripoSGのようなオブジェクト中心モデルを含む）を上回りました。

• 定量的性能: VolFillは、特に遮蔽された部分および完全な幾何構造において、Chamfer Distance (CD) および F-score (FS) メトリクスで最先端の結果を達成しています。SCRREAMにおいて、完全なシーンに対してCD 3.03、FS0.02 54.83を達成し、NOVA3R (CD 3.43, FS 45.12) や LaRI (CD 5.19, FS 30.85) を大幅に上回りました。
• メトリック・スケール: メトリック・スケールの評価においても、VolFillはF-scoreにおいてベースラインを大きく上回り（44.90 vs 22.23 for NOVA3R）、忠実なメトリック・スケールの再構成を実証しました。
• 定性的品質: 視覚的な比較により、VolFillは鋭く高精度な幾何学を生成し、滑らかでトポロジー的に一貫したメッシュを作成することが示されました。対照的に、LaRIは層状のアーティファクトや穴が発生し、NOVA3Rはノイズの多い、構造化されていないポイント散布を生じさせます。
• アブレーション研究:
  • ハイブリッドVAEのデザインは、密（dense）のみ、または疎（sparse）のみのデコーダと比較して、再構成品質、レイテンシ、メモリ使用量の最適なバランスを提供します。
  • デュアル・コンディショニング（MoGe2の特徴と可視潜在変数の組み合わせ）は、シングル・コンディショニング戦略よりも大幅に優れた性能を示しました。
  • MoGe2は、DINOv2やVGGTと比較して、コンディショニングのための優れた基盤モデルであることが特定され、一般的なセマンティック特徴よりも明示的な3D空間アンカーの重要性が強調されました。

5. 意義と主張

本論文は、再構成を決定論的なピクセル整合推定から構造化された生成多様体へとシフトさせることで、VolFillが包括的な空間理解のための強固な基盤を提供すると主張しています。

• 構造化された表現: 非構造的なポイントクラウドではなく、TUFTグリッドを予測することで、VolFillはアイソサーフェシング（等値面抽出）による直接的な表面抽出を可能にし、ノイズの多い後処理（例：ポアソン再構成）を必要としない、クリーンでアーティファクトのないメッシュを実現します。
• スケーラビリティ: ボリューム的なアプローチは、シーンの複雑さに適応してスケールし、レイヤーベースの手法とは異なり、復元可能な遮蔽レイヤーの数に制約を与えません。
• 物理的な妥当性: 強力な幾何学的事前知識に導かれた生成フレームワークは、視覚的証拠が存在しない決定論的に不十分な領域に対して、物理的に妥当な補完を合成します。

限界: 著者らは、視覚的証拠の欠如により、未観測領域に小さな穴が時折残る可能性があること、また、反復的な生成プロセスにより、推論が回帰ベースのベースラインよりも遅い（RTX 4090で1.4秒）ことを認めています。今後の課題として、モデル容量の拡大とデータの多様化を通じてトポロジーのギャップに対処することが示唆されています。