InHabit: 画像基盤モデルを活用したスケーラブルな 3D 人間配置の技術的サマリー

本論文「InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement」は、2 次元（2D）のインターネット規模で学習された基盤モデル（Foundation Models）の知識を 3 次元（3D）領域へ転移し、大規模かつ自動的な「3D 人間 - 場面相互作用（Human-Scene Interaction; HSI）」データ生成を実現する手法と、それによって作成された大規模データセット「InHabitants」を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

embodied AI（具現化された AI）やロボティクスにおいて、人間が 3D 空間をどのように認識し、意味のある相互作用を行うかを理解させるためには、多様な環境と人間が相互作用する大規模なデータが必要です。しかし、現状には以下の課題が存在します。

• 実データのスケーラビリティ不足: 実世界でのモーションキャプチャは高コストであり、制御された環境に限定されるため、大規模な自然な相互作用データの収集は困難です。既存のキャプチャデータセットは数十シーン程度に留まります。
• 合成データの文脈欠如: 既存の合成データ生成手法は、衝突回避や接触点の最適化といった幾何学的ヒューリスティクスに依存しており、シーンが「何を affordance（行為の機会）しているか」という意味論的な文脈を無視しています。その結果、物理的には可能でも不自然な配置（例：ソファの上に立っている、壁に浮かんでいるなど）が生成されがちです。
• 2D モデルの未活用: 2D 画像生成モデルやビジョン・言語モデル（VLM）は、インターネット規模のデータから人間と環境の相互作用に関する豊富な常識知識を暗黙的に獲得していますが、これを 3D 空間へ体系的に転移する手法は不足していました。

2. 手法 (Methodology)

提案手法 InHabit は、「レンダリング（Render）→ 生成（Generate）→ 3D 化（Lift）」という 3 段階のプロセスに基づいて、完全に自動でスケーラブルな HSI データを生成します。

3.1 2D における文脈認識型人間の挿入 (Render & Generate)

1. シーンレンダリング: 既存の 3D 室内シーン（HM3D など）からカメラ視点を選択し、RGB/深度画像をレンダリングします。
2. ** affordance 駆動型プロンプト生成:** 視覚言語モデル（VLM）を使用して、レンダリングされたシーン画像を分析させ、その空間で自然に行われる可能性のある行動（例：キッチンなら調理、ソファなら座る）を提案させます。
   • 単なる「人を追加」という指示ではなく、VLM の世界知識を活用して、オブジェクトの機能や典型的な行動に基づいた意味論的に適切なアクションを生成します。
   • 多様性を確保するため、事前定義されたアクション（立つ、届く、寄りかかる等）を VLM に文脈化させる「アクション駆動型」戦略も併用します。
3. 画像編集モデルによる生成: 生成されたテキストプロンプトを元に、画像編集モデル（Image Editing Model）を用いて、シーンに整合した人間を画像内に合成します。このモデルは、局所的な文脈に合わせて姿勢、比例、配置を調整し、物理的な整合性を持たせながら人間を生成します。

3.2 3D 空間への lifting (Lift)

2D 画像に生成された人間を、既知の 3D 幾何学構造に整合した物理的に妥当な 3D 人体（SMPL-X メッシュ）として復元します。

• 最適化ベースのアプローチ: PhySIC や PROX などの先行研究に触発され、既知の完全なシーンメッシュ（SDF）を利用します。
• 最適化パラメータ: 姿勢（$\theta$）、形状（$\beta$）、カメラ相対的な位置（$t$）、およびスケール（$s$）を最適化します。
  • スケールパラメータ $s$ の導入: 従来の手法ではスケールを形状パラメータで調整する必要がありましたが、InHabit は明示的なスケールパラメータを導入することで、形状とメトリックサイズを分離し、収束性と物理的整合性を向上させています。
• 損失関数: 2D 再投影損失、深度整合損失、接触損失（シーン表面との接触）、貫通損失（シーンとの干渉）、正則化損失の合計を最小化します。

3.3 スケーリングと品質管理

• 大規模生成: HM3D データセット（約 800 件の建物規模のシーン）に対して、自動的なマルチビュー生成とバッチ処理を適用します。
• 視点フィルタリング: 床が見えない、または部屋が狭すぎるなど、人間挿入に適さない視点を深度ヒューリスティックで排除します。
• ポストリコンストラクションフィルタリング: 生成された 3D データから物理的に不整合なサンプルを除去するため、以下の 3 つのフィルタを適用します。
  1. 可視性フィルタ: 鏡やガラスへの反射、または切断された人体を検出・排除。
  2. 深度ベースの境界フィルタ: 編集によって生成された不自然な家具や深度の不一致を検出・排除。
  3. 体積フィルタ: 子供や絵画・彫刻などを誤検知して成人モデル（SMPL-X）にフィットさせた結果、異常に圧縮された体積を持つメッシュを排除。

3. 主要な貢献 (Key Contributions)

1. 完全自動化されたスケーラブルな生成手法: VLM による affordance 推論、生成画像モデルによる視覚化、最適化ベースの 3D 復元を組み合わせ、人手を介さずに意味論的に意味のある 3D 人間 - 場面相互作用を生成するパイプラインを確立しました。
2. InHabitants データセット: 約 800 の建物規模のシーンにまたがる、78,000 件以上のフォトリアルな HSI サンプルを含む世界初の大規模データセットを公開します。各サンプルには完全な 3D 幾何学、SMPL-X 人体メッシュ、RGB 画像が含まれます。
3. 性能向上の実証: 合成データが接触推定（Contact Estimation）や HSI 再構成（Reconstruction）のタスクにおいて、既存のデータセットや手法よりも優れた性能をもたらすことを定量的および定性的に証明しました。

4. 結果 (Results)

定性的評価

• ユーザー調査: GenZI や POSA++ などの既存手法と比較したユーザー調査において、InHabit によって生成された相互作用は 78.1% のケースで最も好まれました。特に、物理的な妥当性（浮遊や衝突のなさ）とポーズの自然さにおいて優れています。
• 多様性: 稀なオブジェクト（虎の像、暖炉など）や、触れずに相互作用する行動（地図を見るなど）を含む、多様なコンテキストでの自然なポーズを生成できます。

定量的評価

• 接触推定 (DECO): DAMON ベンチマークにおいて、InHabitants データで学習させた接触推定モデルは、実世界のモーションキャプチャデータ（TRUMANS）を併用した場合よりも高い精度を達成しました。これは、InHabit がより多様なシーンとアクションをカバーしているためです。
• HSI 再構成 (Human3r, GRAFT):
  • Human3r: PROX ベンチマークにおいて、既存の BEDLAM データで学習した場合と比較して、ポーズ精度（PA-MPJPE）と接触精度（F1 スコア、V2S）が大幅に向上しました。
  • GRAFT: PROX データのみで学習したベースラインと比較して、ポーズと接触メトリクスが改善されました。さらに、屋内データのみで学習した GRAFT が、屋外データ（RICH）に対しても良好な汎化性能を示しました。

5. 意義と結論 (Significance)

InHabit は、高コストな 3D モーションキャプチャに代わる、スケーラブルで実用的な代替手段として、インターネット規模の 2D 基盤モデルの知識を 3D 空間理解に応用する可能性を示しました。

• データ不足の解決: 物理的に整合性があり、かつ意味論的に豊かな 3D 相互作用データの大規模生成を可能にし、embodied AI の学習におけるボトルネックを解消します。
• 一般化能力: 生成されたデータは、接触推定や 3D 再構成タスクにおいて、既存の手法やデータセットよりも優れた汎化性能をもたらすことが示されました。
• 将来展望: 現在は静的なシーンとポーズを対象としていますが、この「レンダリング - 生成 - 3D 化」のパラダイムは、将来的には動画生成や動的なシーンへの拡張も可能であり、ロボットや VR/AR 分野における人間中心の AI 開発に大きく寄与すると期待されます。

要約すれば、InHabit は「2D の常識知識」を「3D の物理的整合性」に変換する架け橋となり、大規模な 3D 人間 - 環境相互作用データの生成を自動化した画期的な研究です。