技術要約：ロボットプランニングのための構造化4D潜在予測モデル

問題提起

現在のロボットプランニングのパラダイムは、汎用性と空間推論において重大な限界に直面している。エンドツーエンドのポリシーベースのエージェント（観測から行動を直接マッピングするもの）は、限定的な計測環境下では優れた性能を発揮するが、照明の変化、視点の変化、あるいはタスク構成の変化といった分布シフトに対して脆弱である。一方で、長期的プランニングのための有望な代替案として浮上しているビデオベースの予測モデルは、本質的に2Dピクセル空間で動作する。この2Dという性質は、現実の3D世界との物理的な不整合を引き起こし、正確な空間理解やマルチビューの一貫性の欠如を招く。3Dの手がかり（例：RGBと共に深度や法線ベクトルを予測する）を取り入れようとする既存の試みも、多くの場合表面的な投影にとどまっており、遮蔽（オクルージョン）や視点の変化に対して脆弱である。従来の3D表現（ポイントクラウド、メッシュ）は、意味理解に必要な豊かな視覚的詳細を欠いており、一方でフォトリアリスティックな表現（NeRFや3D Gaussian Splatting）は計算負荷が高く、動的なモデリングが困難である。解決すべき核心的な課題は、世界の動的な3D構造を本質的にシミュレートし、精密かつ3D整合性のあるロボットプランニングを可能にするモデルを構築することである。

手法

1. 構造化3D潜在表現

著者らは、ピクセル空間ではなく構造化された潜在空間で動作する構造化4D潜在予測モデルを提案している。

• 表現: シーンは一連の**疎なボクセルグリッド（sparse voxel grids）**へとエンコードされる。各アクティブなボクセル $p_i$ は、局所的な幾何構造と色彩をエンコードするコンパクトな特徴ベクトル $f_i$ を保持する。これは、構造的な情報と潜在的な圧縮のバランスを取るものであり、$64^3$ 個の要素を必要とする高密度グリッドに対し、約8,000個のアクティブなボクセルと8次元の特徴量を使用する。
• エンコーディング: マルチビューRGB-D観測は、カメラ幾何学を用いてアンプロジェクション（逆投影）され、3Dポイントクラウドを形成した後、ボクセル化される。学習済みDINOv2エンコーダは画像からパッチレベルの埋め込みを抽出し、これらをアンプロジェクションしてボクセルグリッド内で平均化することで、構造化された3D潜在変数 $z_t$ を生成する。
• デコーディング: 潜在デコーダは、ボクセル特徴量を3D Gaussians（ガウス分布）の集合へとマッピングする。これらのGaussiansは、任意の視点から画像へとレンダリングしたり、明示的なポイントクラウドへと変換したりすることができ、生の視覚的知覚と内部の3D状態との架け橋となる。

2. 予測モデルアーキテクチャ

モデルは、現在の状態 $z_t$ とテキスト指示 $c$ に条件付けされた、3Dシーンの進化（$z_{t+1}, \dots, z_{t+T}$）を予測する。これは2段階のパイプラインを採用している。

• 単一ダイナミクスモデル (SD): 粗い幾何学的変化に焦点を当てる。条件付きフローマッチング（conditional flow matching）とトランスフォーマー・バックボーンを用いて、次の状態の疎なボクセル位置を予測する。入力として現在の潜在変数とテキスト指示を受け取る。
• 潜在生成器 (LG): 外観と視覚的詳細に焦点を当てる。SDによって予測されたボクセル位置に基づき、フローマッチングフレームワークを使用して、それらのボクセルの特徴ベクトルを補完する。
• 学習: 両コンポーネントは、条件付きフローマッチングモデルとして独立して学習される。学習目的関数は、クリーンなデータとガウスノイズの間の補間における、予測された速度場と真のノイズベクトルの間の距離を最小化する。

3. プランニング・パイプライン

予測モデルはハイレベルなプランナーとして機能し、実行可能な行動へと翻訳される未来の3D状態を生成する。これには**目標条件付き逆ダイナミクスモジュール（Goal-Conditioned Inverse Dynamics Module）**が用いられる。

• 潜在から行動へ: モデルは一連の潜在的なサブゴールを予測する。逆ダイナミクスモジュールは、現在の状態と次のサブゴールを、短期間の行動チャンク（関節位置）へとマッピングする。
• 実装オプション:
  1. 学習済み逆ダイナミクス: 潜在変数をポイントクラウドにデコードし、ピラミッド型畳み込みバックボーンでエンコードした後、拡散ヘッドを用いて行動を予測する。
  2. 学習フリーのポーズ推定: 予測されたサブゴールをポイントクラウドにデコードし、FPFH、RANSAC、およびICPを用いて、ロボットグリッパーのテンプレートを予測されたグリッパーの幾何形状に整合させる剛体変換を推定し、ターゲットポーズをモーションプランナーに渡す。
• 実行: システムはオープンループ（予測された行動を実行）またはクローズドループ（新しい観測に基づいて各ステップで再プランニング）のいずれでも動作可能である。

主な貢献

1. 構造化4D潜在予測モデル: 観測とテキストに条件付けられた未来の3D構造を予測する新しいモデルであり、ピクセル空間ではなく構造化された潜在空間で動作することで、高い視覚品質、3D整合性、および堅牢な視点汎用性を達成した。
2. プランニング・フレームワーク: 詳細な3D予測を幾何学的に豊かな目標として活用するプランニング・フレームワークを提供し、逆ダイナミクスモジュールを通じて、精密かつ空間認識に基づいた操作を可能にした。
3. 経験的な優位性: 生成品質とダウンストリームのロボットタスク性能の両面において、既存のビデオベース・プランナー（UniPi、TesserActなど）を凌駕する性能を実証した。これには、視覚的変化に対する強力なゼロショット汎用性と、実世界のプラットフォームにおける有効性が含まれる。

実験結果

4D生成品質

• 指標: 画像品質（PSNR, SSIM, LPIPS）および3D整合性（Chamfer Distance, 深度誤差, マルチビューPSNR/SSIM/LPIPS）で評価。
• 性能: 提案手法は、Wan-2.1、TesserAct、OpenSora-1.3などのベースラインと比較して、優れた3D整合性とマルチビューの一貫性を達成した。例えば、Chamfer Distanceにおいて、ベースラインが約42〜44であるのに対し、提案手法は5.95を達成した。また、マルチビューcPSNRにおいても、ベースラインの約16〜17に対し、27.42を記録した。
• 視覚的忠実度: 生成されたシーケンスは、複数のカメラビューにわたって時間的一貫性と高い視覚的忠実度を維持した。

ロボットプランニング性能

• シミュレーション (ManiSkill3 & RLBench): StackCube、ToolPull、PegInsertionなどのタスクにおいて、提案手法はManiSkill3で平均成功率**61.3%**を達成し、UniPi (29.3%) や TesserAct (24.7%) を大幅に上回り、特化した模倣学習ポリシーに迫る結果となった。RLBenchのタスクでは、平均成功率75.3%を達成し、UniPi (55.0%) や TesserAct (61.7%) を上回った。
• ゼロショット汎用性: モデルは、未知の視覚条件（照明変化、ノイズ、背景の変化）や新しい視点（最大10°の回転）に対して堅牢性を示し、ベースラインが大幅に低下する場面（例：照明変化によりDPが7%まで低下）でも78%以上の成功率を維持した。
• 実世界での検証: ブロックをバスケットに入れる実世界のタスク（50エピソード）において、提案手法は80%の成功率を達成し、Diffusion Policyのベースライン（62%）を上回った。

アブレーション研究

• 入力表現: デコードされたポイントクラウドが逆ダイナミクスモジュールの入力として最も効果的であることが判明した。これは、生のボクセルや完全な3D潜在変数と比較して、幾何学的忠実度と計算効率のバランスが取れているためである。
• 視点数: より多くの視点（40ビュー）で学習することで3D整合性が向上したが、クローズドループの再プランニングを用いることで、少ない学習視点（4ビュー）でもモデルは効果的に機能し、成功率を大幅に向上させた。

意義と主張

本論文は、2Dビデオベースのアプローチを超えて構造化された4D潜在空間へと移行することで、現在のビデオ生成プランナーに見られる固有の物理的不整合と空間推論の欠如を克服できると主張している。その意義は以下の点にある：

• 包括的な3D理解: 完全な3Dシーン構造をエンコードおよび予測する能力により、マルチビューの一貫性と物理的な整合性を保証する。
• 汎用性: 再学習なしに新しい視覚条件や視点へと汎用できる能力は、実世界への展開において極めて重要な要件である。
• モジュール化されたプランニング: 予測モデル（プランニング）と逆ダイナミクスモジュール（制御）の分離により、異なるロボット構成やタスクへの柔軟な統合と転移が可能になる。
• 実世界への適用可能性: シミュレーションから実世界のロボットプラットフォームへのスムーズな移行は、複雑な操作タスクへの実用的な展開の可能性を示している。

著者らは、現在の実装は初期の再構成においてキャリブレーション済みのマルチビュー入力を前提としているが、より制約の強い入力設定への拡張が今後の課題であると述べている。