LaS-Comp: 潜在空間 - 空間一貫性を用いたゼロショット 3D 形状補完の技術的概要

本論文は、LaS-Comp（Latent–Spatial Consistency Completion）と題された、3D 形状補完タスクに対する新しいゼロショット（学習不要）かつカテゴリに依存しないアプローチを提案しています。大規模な事前学習済み 3D ファウンデーションモデルが持つ豊富な幾何学的事前知識を活用し、多様な部分的観測データから高精度な完全な 3D 形状を復元することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

3D 形状補完は、ロボティクス、自動運転、AR/VR などの分野で重要な課題です。従来の手法には以下のような限界がありました。

• 教師あり手法: 部分形状と完全形状のペアデータが必要であり、未見のカテゴリや複雑な欠損パターンへの汎化が困難。
• 既存のゼロショット手法（生成事前知識利用）: 2D 画像レンダリングを介したアプローチ（例：ComPC, SDS-Comp）が多く、入力された部分形状が「少なくとも 1 つの視点から完全な形状としてレンダリング可能」という仮定に依存しています。しかし、任意の視点からも欠損部分が露出している場合（例：図 1(c) のような欠落）、この仮定が崩れ、結果の品質が劣化します。

また、最近の 3D ファウンデーションモデルは潜在空間（Latent Space）で生成を行うため、**「部分入力と完全形状の重なり領域において、空間的な幾何形状は同一でも、その潜在符号（Latent Codes）が著しく異なる」**という「ドメインギャップ」が存在します。これを単純に潜在空間内で補完を行うと、入力形状の忠実性が失われるという課題がありました。

2. 提案手法：LaS-Comp

LaS-Comp は、この潜在空間と空間的な幾何空間のギャップを埋めるために、**「明示的置換（Explicit Replacement）」と「暗黙的整列（Implicit Alignment）」**の 2 段階設計を採用しています。

2.1. 全体アーキテクチャ

3D ファウンデーションモデル（VAE エンコーダ/デコーダと拡散/フローマッチングモデル）の事前学習済み重みをそのまま利用し、追加学習なしで動作します。

1. 入力: 部分 3D 形状 $S_p$。
2. プロセス: ガウシアンノイズから開始し、部分形状 $S_p$ のガイダンスのもとで潜空間特徴 $x_t$ を反復的に精製（デノイジング）します。
3. 出力: 補完された形状 $S_c$。

各デノイジングステップ $t$ において、以下の 2 つの段階を補完的に実行します。

2.2. 明示的置換ステージ (Explicit Replacement Stage: ERS)

入力された部分形状の幾何情報を潜在表現に直接注入し、入力への忠実性を保証する段階です。

• クリーンブランチ: 現在の潜在特徴からノイズフリーの形状を推定し、デコードして空間領域の形状 $S_{0|t}$ を得ます。
• 空間的置換: 入力形状 $S_p$ をボクセル化し、観測された領域を示すマスク $M$ を作成します。生成された形状 $S_{0|t}$ と $S_p$ をマスク $M$ を用いて結合し（$S'_ {0|t} = S_p \odot M + S_{0|t} \odot (1-M)$）、観測領域を厳密に保持した形状を作成します。
• エンコード: 修正された形状を再度エンコードし、観測領域の幾何情報が明示的に埋め込まれた潜在特徴 $x^*_t$ を得ます。
• ノイズスケジューリング (PNS): 観測領域は安定させ、欠損領域は多様性を確保するため、ノイズの注入強度を領域ごとに制御する「部分認識ノイズスケジューリング」を導入しています。

2.3. 暗黙的整列ステージ (Implicit Alignment Stage: IAS)

ERS によって生じうる境界付近の不連続性やアーティファクトを解消し、滑らかな接続を実現する段階です。

• 幾何整列損失: ERS 後の潜在特徴をデコードした形状と、元の部分入力 $S_p$ の観測領域との間におけるバイナリ交差エントロピー（BCE）損失を計算します。
• 勾配ベースの最適化: モデルパラメータを更新するのではなく、潜在特徴そのものに対して 1 ステップの勾配降下を行い、損失を最小化する方向に潜在特徴を微調整します。
• これにより、観測領域と合成領域の境界が滑らかに整列され、一貫性のある潜在特徴 $x_{t-dt}$ が次のステップへ渡されます。

3. 主要な貢献

1. LaS-Comp フレームワークの提案:
   • 3D ファウンデーションモデルの強力な生成事前知識を、ゼロショットかつカテゴリ非依存で活用する新しい枠組み。
   • 明示的置換（忠実性の確保）と暗黙的整列（境界の滑らかさの確保）を組み合わせることで、ドメインギャップを克服し、高忠実度な補完を実現。
2. 学習不要かつ効率的:
   • 追加の学習を必要とせず、既存の 3D ファウンデーションモデル（TRELLIS, Direct3D-S2 など）と互換性がある。
   • 1 形状あたりの推論時間が約 20 秒であり、既存のゼロショット手法の 3 倍以上高速。
3. Omni-Comp ベンチマークの導入:
   • 既存のベンチマーク（単一視点スキャンに限定など）の限界を克服するため、実世界スキャンと合成データを組み合わせ、多様な欠損パターン（ランダムクリップ、単一スキャン、意味的部分欠損）を含む新しい評価基準を提案。

4. 実験結果

• ベンチマーク: Redwood, Synthetic, KITTI, ScanNet, および提案する Omni-Comp において評価。
• 定量的評価:
  • Redwood データセット: 既存のゼロショット手法（ComPC, GenPC など）を大幅に上回る性能。Chamfer Distance (CD) で 27.2%、EMD で 29.0% 改善。
  • Omni-Comp: 多様な欠損パターンに対してロバストであり、ComPC に対して CD で 49.6%、EMD で 39.4% の改善を達成。
  • 忠実性 (Fidelity): KITTI や ScanNet のような実世界のノイズの多いデータでも、観測された形状を歪めずに正確に保持。
  • 多様性 (Diversity): 同一入力から複数の合理的な補完形状を生成可能（MMD, TMD 指標でも良好）。
• 定量的評価:
  • 葉の構造やゴミ箱の縁など、微細な幾何形状の復元において、既存手法が歪めたり滑らかにしすぎたりするのに対し、LaS-Comp は正確な表面幾何とトポロジーを維持。
  • 極端なノイズや部分的な観測に対しても、大まかな構造を復元できる。

5. 意義と結論

LaS-Comp は、3D 生成モデルの潜在空間における「ドメインギャップ」を、空間的な幾何情報の明示的な注入と最適化によって解決した画期的な手法です。

• 実用性: 学習データに依存せず、実世界の複雑なスキャンデータ（LiDAR や深度カメラ）に対して即座に適用可能。
• 汎用性: 単一視点だけでなく、ランダムな欠損や意味的な部分欠損など、多様なシナリオに対応可能。
• 評価基準の革新: Omni-Comp の導入により、より現実的で包括的な 3D 形状補完の評価が可能になりました。

本研究は、3D 生成モデルを単なる生成ツールとしてだけでなく、部分的な観測からの高精度な形状復元のための強力な推論エンジンとして活用する新たな道を開き、ロボティクスや AR/VR などの実世界アプリケーションへの展開を加速させる可能性があります。