PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World

技術サマリー：PhysForge

問題定義
3D 生成モデルの急速な発展により、高忠実度の幾何学的アセットの合成が可能となったが、具象化 AI（Embodied AI）やインタラクティブな仮想世界においては、物理的基盤に根ざした生成の欠如という決定的なボトルネックが残っている。既存の手法は主に「中空の殻」のようなアセットを生成する。すなわち、物理的相互作用に必要な機能的特性、材質定義、運動学パラメータを欠いた静的な幾何学とテクスチャである。その結果、これらのアセットはシミュレーション環境におけるエージェントによって把持、押し付け、操作することができない。現在の部品認識を考慮した生成手法は、機能的論理よりも視覚的な分解に焦点を当てることが多く、一方で物理ベースの生成手法は、事前に定義されたコンテンツリポジトリに依存するか、正確な関節構造を持つ新規物体カテゴリへの汎化に苦しんでいる。

手法：PhysForge フレームワーク
これらの限界に対処するため、著者は機能論理と階層的な物理に根ざした 3D アセットを生成するために設計された、分離された 2 段階フレームワーク「PhysForge」を提案する。このシステムは、新たに構築された大規模データセット「PhysDB」によって支えられている。

1. PhysDB（データ基盤）：
   著者は、Objaverse、PartNet-Mobility、Infinite-Mobility から収集された 15 万個のアセットからなるデータセット PhysDB を紹介する。これは、以下の 4 段階の注釈システムを特徴とする。

   • ホリスティック層： グローバルな属性（現実世界のスケール、使用シーン）。
   • 静的属性層： 部品レベルの属性（セマンティックラベル、材質、質量）。
   • 機能層： 内在的な機能（例：「収容する」）と状態機械（例：[開、閉]）。
   • インタラクティブ層： 関節の種類（回転、直動、固定）、親子関係、および正確なパラメータ（軸原点、方向、制限）を含む運動学的定義。

2. 段階 1：VLM ベースの計画（「物理アーキテクト」）：
   最初の段階では、計画者として機能する視覚言語モデル（VLM）、具体的には微調整された Qwen2.5-VL を利用する。幾何学を直接生成するのではなく、VLM は単一の入力画像、オプションの 2D マスク、3D ボクセル特徴を入力として受け取り、「階層的物理ブループリント」を生成する。

   • このブループリントは、すべての部品のバウンディングボックス配置と、それらの詳細な物理的属性を定義する。
   • モデルは、空間的範囲 alongside 物理的制約（材質、機能）を共予測するように訓練される。著者は相乗効果を観察している：物理的制約を提供することは、モデルが部品粒度の曖昧性を解決するのを大幅に助け、2D マスクのガイダンスがなくても一貫した部品分解を可能にする。
   • 出力には、階層的部品構造、親ノード、関節タイプ、および量子化されたバウンディングボックス座標が含まれる。

3. 段階 2：拡散モデルベースの生成（「実現」）：
   2 段階目は、ブループリントに基づいて高忠実度の幾何学、テクスチャ、および正確な運動学パラメータを合成する拡散モデルを採用する。

   • KineVoxel 注入（KVI）： 原点、軸、制限などの関節パラメータを特別な「KineVoxel」表現に符号化する核心的な革新。
   • この KineVoxel は、標準的な幾何学的潜在変数とともに拡散パイプラインに注入される。システムは、独立した運動学エンコーダとデコーダを使用して、運動学データを、中央のトランスフォーマー内で幾何学的潜在変数と共有される統一された潜在空間にマッピングする。
   • VLM の計画から導き出された関節タイプ埋め込みが KineVoxel に追加され、拡散プロセスを誘導し、生成された幾何学が計画された機能制約（例、「回転」関節が回転を可能にすること）と整合するようにする。
   • モデルは、運動学パラメータの精度を重く評価する複合損失関数を用いた条件付きフローマッチング（CFM）で訓練される（$\lambda_{kine} = 10$）。

主要な貢献

• 定式化とフレームワーク： 高レベルの物理的計画と低レベルの幾何学的実現を分離する、新しい「VLM 計画＋拡散生成」パラダイムの提案。
• PhysDB データセット： 微細な 4 段階の物理注釈を備えた大規模（15 万件のアセット）の部品認識データセットの作成。この分野における重要なデータギャップを埋める。
• KineVoxel 注入： 統一された拡散フレームワーク内で幾何学と正確な運動学パラメータの相乗的な生成を可能にするメカニズム。
• 検証： 部品構造計画と物理的基盤生成の両方において最先端のパフォーマンスを実証する広範な実験。

実験結果
本論文は、PhysXNet、PartObjaverse-Tiny、および PhysDB のカスタム分割を含むいくつかのベンチマークで PhysForge を評価する。

• 部品構造計画： PartObjaverse-Tiny データセットにおいて、PhysForge は OmniPart や PartField などのベースラインと比較して、優れた BBox IoU（42.95%）および Voxel IoU（53.74%）を達成する。注目すべきは、モデルが 2D マスク入力なしでも堅牢に機能し、SAM 生成マスクに依存するベースラインを上回っており、物理誘導計画の有効性を検証している点である。
• 物理的性質生成： PhysXNet および PhysDB において、PhysForge は幾何学的品質（低い Chamfer 距離、高い F1 スコア）および予測された物理的性質（材質、アフォーダンス、機能）の精度において、ベースライン（TRELLIS、PhysXGen）を上回る。
• 運動学パラメータ精度： 関節付き物体の生成において、PhysForge は Articulate Anything や URDFormer などの最先端手法と比較して、関節軸エラー（Singapo の 0.241 に対して 0.101）および関節ピボットエラー（0.153 に対して 0.071）を大幅に削減する。
• アブレーション研究： 関節タイプ埋め込みまたは専用運動学エンコーダを除去すると、関節精度が著しく低下し、2 段階の相乗効果と KVI メカニズムの必要性を確認する。

意義と応用
著者は、PhysForge がインタラクティブな 3D コンテンツのための堅牢なデータエンジンを提供すると主張する。生成されたアセットは「シミュレーション対応」であり、以下に直接展開可能である。

• ロボティクスシミュレータ： 機能部品と相互作用するエージェントによる現実的な操作タスクを可能にする（例：RoboTwin）。
• インタラクティブな仮想世界： 手動のリギングなしに、ゲームエンジン（例：Unity、Unreal Engine）で複雑な物理ベースの相互作用を可能にする。
• エージェント - 環境相互作用： 具象化エージェントが操作タスクを計画するために物理的ブループリントを取得できる自然言語クエリを容易にする。

本論文は、包括的な形状生成から物理中心の合成へと焦点を移すことで、PhysForge が静的な 3D アセットと具象化 AI の動的な要件との間のギャップを埋めると結論づけている。