技術要約：3D Gaussian Splattingを用いたシーンレベルのヘテロジニアス物理シミュレーション

1. 問題提起

3D Gaussian Splatting (3DGS) は、最先端（SOTA）のフォトリアルなレンダリング能力を備えているにもかかわらず、これらのアセットは物理的なインタラクティブ性の観点からは依然として「死んでいる」状態にある。根本的な**表現のギャップ（representation gap）**が存在する：

• 3DGSの表現： 共分散 ($\Sigma$)、球面調和関数 ($C$)、および不透明度 ($\sigma$) によって定義される。これらはレンダリングには最適化されているが、プロダクショングレードの物理エンジンとは互換性がない。
• 物理エンジンの限界： Unreal EngineやHoudiniなどの産業用エンジンは、粒子、メッシュ、および剛体を用いて、ヘテロジニアス（異種混合）なソルバー（MPM、SPH、PBDなど）で動作する。これらは3DGSをネイティブに理解することはできない。

このギャップを埋めるための先行研究は、「サイロ化された（siloed）」パラダイムに従い、3DGS専用のモノリシックな独自の物理ソルバーを作成してきた。これらのアプローチには、2つの決定的な欠陥がある：

1. 均質性（Homogeneity）： これらはGS粒子のみが存在する閉鎖的なシステムを作成するため、標準的なコンピュータグラフィックス（CG）アセット（メッシュ、流体、剛体など）との相互作用を妨げる。
2. 孤立性（Isolation）： これらは空虚な空間や理想的な平面上で動作するため、実世界のシーンキャプチャから派生した複雑で既存の3D静的衝突ジオメトリをサポートできない。

その結果、先行手法は「トイ（玩具）」レベルのシナリオに限定されており、スケーラブルなシーンレベルのヘテロジニアス物理シミュレーションを実現できていない。

2. 手法：表現抽象化フレームワーク (RAF)

著者らは、多様なアセットを、物理ソルバーを再発明することなく単一の物理シミュレーションコンテキストへと統合する架け橋となる、新しい**表現抽象化フレームワーク（Representation Abstraction Framework: RAF）**を提案している。パイプラインは以下の3つのステージで構成される。

ステージ1：アセットの準備と抽象化

目的は、ヘテロジニアスな入力を、2つの統一されたコンポーネント、すなわち静的衝突メッシュ ($M_{static}$) と統一粒子リストへと変換することである。

• 静的世界 ($M_{static}$): キャプチャされた実世界のデータ（Gaussianセグメンテーション、オブジェクト・シーン復元、および表面再構成を通じて処理されたもの）と、オプションのインポートアセットから組み立てられた複合メッシュ。これが動かない衝突境界を定義する。
• 動的世界（統一粒子リスト）: すべての動的アセットは、単一の粒子集合 ($X$) に抽象化される：
  • キャプチャされた3DGS: 連続的な不透明度場をサンプリングすることで、物理粒子 ($X_{gs}$) に変換される。各粒子 $p_j$ は、運動学的状態 ($x, v, m$)、モデルタイプ、および構成パラメータ（例：ヤング率）を保持する。視覚データ ($\Sigma_{rest}, C, \sigma$) は別途キャッシュされる。
  • 仮想メッシュ: Poissonディスクサンプリングによって「粒子化」される。テンプレートメッシュを粒子にバインドするために、重心座標重みが事前計算される。
  • 外部粒子/流体: 指定されたソルバータイプ（例：SPH）と共に、初期位置として直接ロードされる。
  • キネマティック・アセット: ユーザー定義のトランスフォームを持つ剛体として扱われる。これらは一方向の衝突体として機能する。

ステージ2：統一シミュレーションカーネル

モジュール式でソルバーに依存しないカーネルが、統一粒子リストと $M_{static}$ を処理する。

• ヘテロジニアス・ソルバー: カーネルは、特殊なソルバー（軟体用のMPM、流体用のSPH、布用のPBD、剛体、および関節駆動体ダイナミクス）とインターフェースを持つ。
• 結合メカニズム（Coupling Mechanism）: コアとなる能力は、異なるソルバー間および静的ジオメトリ間の相互作用を堅牢に管理することである。
  • 連続結合（Continuous Coupling）: 力の交換（例：軟体への流体圧）を処理する。
  • 離散結合（Discrete Coupling）: 反発係数 ($e$) とクーロン摩擦 ($\mu$) を用いて、あらゆるエンティティ（粒子-メッシュ、剛体-剛体など）間の衝突と摩擦を解決するための、統一されたインパルスベースのメカニズムを使用する。
• 実行: ソルバーは特定の順序（Rigid/Articulated $\to$ MPM $\to$ SPH $\to$ PBD）で反復的に実行され、単一のタイムステップ内で制約を解決するために、更新された状態をソルバー間で伝播させる。

ステージ3：ヘテロジニアスな再結合とレンダリング

疎な物理結果が、高忠実度の視覚アセットへと「逆翻訳」される。

• 3DGSアセット: 新しい粒子の位置 $x'_j$ がガウス中心を更新する。物理的な変形勾配 $F'$ が、キャッシュされたレスト状態の共分散 ($\Sigma_{rest}$) に適用され、新しい共分散 ($\Sigma' = F' \Sigma_{rest} F'^T$) が計算される。$F'$ からの回転が球面調和係数を更新する。
• メッシュアセット: 更新された粒子位置に対して、事前計算された重心座標重みを適用することで、新しい頂点位置が計算される。
• レンダリング: シリアライズされたアセット（.splat, .abc, .pbd）が Unreal Engine 5 にロードされる。フレームワークは、Lumenグローバルイルミネーションやレイトレーシングシャドウを含むUE5のネイティブ機能を活用して、共シミュレーションされたシーンをレンダリングする。

3. 主な貢献

1. 初のシーンレベル・ヘテロジニアスフレームワーク: 3DGSアセットが、標準的なCGアセットと共にシーンレベルのマルチソルバー物理シミュレーションに参加することを可能にした最初のシステム。
2. 表現抽象化レイヤー: 多様な動的アセット（3DGS、メッシュ、流体）と複雑な静的シーンを、単一の物理的粒子コンテキストへと変換し、双方向の相互作用を可能にする新しいレイヤー。
3. エンドツーエンドのパイプライン: Unreal Engine 5でフォトリアルな忠実度をもってレンダリングされる、複雑な相互作用（例：デフォーマブルな3DGSへの液体の飛散、キャプチャされた彫像への布のドレーピング）を示す完全なパイプライン。
4. 「サイロ化」の限界の克服: 隔離された理想的な平面上のシミュレーションを超え、複雑な既存の3D静的ジオメトリとヘテロジニアスなアセット結合をサポートする。

4. 結果と評価

本フレームワークは、従来の「サイロ化された」手法では不可能であった5つの複雑なシナリオで検証された：

• 仮想メッシュ上の流体: インポートされたメッシュのボウルと、静的な3DGSガーデンシーンの間で相互作用するSPH流体。
• GS軟体上の流体: 高粘度のSPH流体がキャプチャされた3DGS軟体ドーナツ（MPM）と結合し、双方向の変形を示す。
• 関節ダイナミクス: キネマティックに駆動されるロボットアームが、テーブル上の剛体を操作する。
• 複雑なジオメトリとの相互作用: 非凸な形状を持つキャプチャされた3DGSの彫像の上に、PBDの布がリアルにドレープし、滑る様子。
• 3DGSコンテナ内の剛体: キャプチャされた3DGSのバスケット内での剛体の相互作用。

アブレーション研究（Ablation Studies）:

• 統一カーネル: 結合メカニズムを除去すると、流体と軟体が互いを通り抜けてしまい、ヘテロジニアス・ソルバー・インターフェースの必要性が確認された。
• シーンレベルのジオメトリ: 静的衝突メッシュ ($M_{static}$) を除去すると、布のシミュレーションが「理想的な平面」にデフォルト設定され、キャプチャされたオブジェクトを通り抜けてしまった。
• 表現抽象化: 再結合ステップを除去すると、疎なシミュレーション粒子のみが表示され、フォトリアルな外観が失われた。

フォトグラメトリとの比較:
メッシュ抽出のための標準的なフォトグラメトリ（KiriEngine）と比較した際、著者らの3DGSベースのパイプラインは、メッシュのベースラインで失われたり「ぼやけたり」していた鋭い幾何学的詳細（例：ブルドーザーの履帯、テーブルの板）を保持しつつ、物理シミュレーションを可能にしていた。

5. 重要性と主張

本論文は、3DGSを「受動的なレンダリング対象」から「物理的なサンドボックスにおける能動的な参加者」へと根本的に変革することを主張している。表現のギャップを埋めることで、本研究は以下を実現する：

• デュアル・フィデリティ（二重の忠実度）: 統一された環境において、高忠実度の視覚的レンダリング（3DGSおよびUE5経由）と複雑な物理シミュレーション（産業用ソルバー経由）の両方を達成する。
• スケーラビリティ: 孤立した「トイ」環境を超えて、複雑な現実世界のシーン構成へと移行する。
• プロダクションへの適合性: シミュレーションの正確性と視覚的な忠実度が優先される、オフラインのシネマティック品質のプロダクションをターゲットとしている。

著者らは、現在のシステムはまだリアルタイムではなく、オフラインレンダリングに焦点を当てていることを認めている。今後の課題として、リアルタイムのインタラクティブなシナリオや、複雑なキャプチャシーンにおけるオブジェクトレベルの分離の改善が示唆されている。本研究は、すべての物理的課題を解決することを目的としているのではなく、特に3DGSを既存の強力なヘテロジニアス物理エコシステムに統合することに対処している。