技術的概要：RoboFlow4D

問題定義

実世界の 3 次元環境におけるロボティクス操作には、効果的に計画し行動する能力が求められます。最近の学習ベースのアプローチは、エンドツーエンドの「観測から行動へ」のパラダイムを確立することに成功していますが、未知の失敗に対処する際に苦労し、実行前の堅牢な計画が不足しています。計画を組み込んだ既存のソリューションは、通常、3 次元運動フローを導き出すために複数のサブモデル（例：動画生成、深度推定、ポイント追跡）を積み重ねるモジュラーパイプラインに依存しています。これらのモジュラーアプローチは、以下の点で欠陥があります：

1. 高い計算オーバーヘッド: 複数の専門モジュールを積み重ねることは、顕著な遅延とメモリ負荷を生み出し、リアルタイム展開を実用的でなくしています。
2. 限られた 3 次元認識: 多くのアプローチは、3 次元空間での衝突回避や物理的実現可能性を確保するために必要な幾何学的理解が欠如している、2 次元ピクセルレベルのフローまたは疑似 3 次元フロー（2 次元＋深度）に依存しています。
3. 非効率性: 現在の最先端のフロープランナーは、大規模な動画生成専門モデルへの依存により、単一の計画を生成するのに数分を要することが多いです。

手法

著者らは、知覚と計画を統合するために設計された軽量なエンドツーエンドのフロー世界モデルRoboFlow4Dを提案します。このシステムは、リアルタイム性能を達成するためにスロー・ファストの二重システムアーキテクチャ内で動作します。

1. RoboFlow4D（プランナー）

RoboFlow4D は、積み重ねられた専門モジュールの必要性を回避し、RGB 画像とテキスト指示から直接マルチフレーム 3 次元フロー（4 次元時空軌道）を予測する統合ネットワークです。

• 入力: 過去の RGB 画像のシーケンス、任意の 2 次元クエリポイント（例：グリッパ位置）、およびテキストタスク指示。
• アーキテクチャ:
  • エンコーダ: トークンを抽出するために、ビジョン（DINO v2、SigLip）、ポイント、およびテキストエンコーダを使用します。
  • 3D Perceiver: 2 次元観測から 3 次元幾何学的認識を注入するために、モデルは Resampler とアライメント損失を使用して、事前学習された 3 次元基盤モデル（VGGT）から知識を蒸留します。これにより、3 次元認識条件特徴が生成されます。
  • FlowDiT: 条件付きノイズ除去を行う拡散ベースのトランスフォーマー（DiT）です。これはマルチモーダル特徴とタイムステップ情報を受け取り、将来の 3 次元フロー軌道を予測します。
• 出力: 適応的な時間地平にわたるキーポイント（例：グリッパ）の運動を表す 3 次元フローのシーケンス。

2. フロー条件付き方策学習

予測された 3 次元フローは、下流の行動方策に対する明示的なガイダンス信号として機能します。

• フローはエンコードされ、グローバルなフロー条件に集約されます。
• この条件は、ベース状態（ビジョン、言語、固有受容感覚）と連結され、行動方策（Diffusion Policy および Diffusion Transformer Policy でテスト済み）を調節します。
• RoboFlow4D モデルは、安定したフロー計画を確保するために、方策学習中に凍結されます。

3. クローズドループ制御（スロー・ファストの協調）

このフレームワークは、クローズドループ制御戦略を実装します：

• スロープランナー（RoboFlow4D）: 低い頻度で動作します。現在の観測に基づき、原子タスク全体（または重要な地平）に対する目標指向の計画を生成します。
• ファストエグゼキュータ（行動方策）: 高い頻度で動作します。プランナーが提供する単一ステップのフロー計画に条件付けられた複数の行動チャンクを実行します。
• 再計画: タスクが完了しない場合やエラーが発生した場合、ループはリセットされ、RoboFlow4D は是正フローを再計画し、失敗（例：把持失敗）からの回復を可能にします。

4. 学習とデータ

• データ生成: モデルは、実世界およびシミュレーション環境の両方からのデータで学習されます。パイプラインには、接地されたグリッパの 3 次元フローを追跡し、動画を原子タスクにセグメント化するプロセスが含まれます。
• 目的: 3 つの損失成分を持つ条件付きノイズ除去拡散モデルとして学習されます：
  1. 拡散ノイズ除去損失: 物理的に妥当な軌道を回復するため。
  2. アライメント損失: 2 次元から 3 次元への知覚を VGGT 基盤モデルと整合させるため。
  3. 平滑化損失: 予測された軌道における時間的整合性を確保するため。

主要な貢献

1. エンドツーエンドのフロー世界モデル: RoboFlow4D は、統合ネットワーク内で 2 次元画像とテキストから直接 4 次元（3 次元空間＋時間）フローを予測することにより、モジュラーパイプラインの高い計算コストを排除します。
2. 効率的なプラグアンドプレイパラダイム: 標準的な行動方策が重厚なアーキテクチャ変更なしに明示的な 3 次元運動事前知識を活用することを可能にする、軽量な 3 次元フローガイダンス方策学習アプローチを導入します。
3. スロー・ファストのクローズドループ操作: 低頻度の目標指向計画と高頻度の制御を調整し、遅延を削減するとともに、環境の偏差に対する堅牢性を向上させます。
4. 実証的検証: 広範な実験により、シミュレーション（LIBERO、ManiSkill3）および実世界の設定全体で、成功率と効率の一貫した向上が実証されました。

実験結果

シミュレーションベンチマーク

• LIBERO: RoboFlow4D は、軽量方策の成功率を大幅に向上させました。
  • Diffusion Policy (DP): 平均 6.2% の向上を達成（空間タスクでは最大 8.2%）。
  • Diffusion Transformer (DiT): 平均 4.0% の向上を達成（長期タスクでは最大 6.4%）、大規模なビジョン・言語・行動（VLA）モデルと競争力のある性能に到達。
• ManiSkill3: 困難な単一ビュー設定において、RoboFlow4D はプッシュ、ピック、スタックタスク全体で DP を平均 9.7%、DiT を 11.0% 向上させました。

実世界実験

• プラットフォーム: JODELL グリッパを備えた 6 自由度 ROKAE ロボットアームでテスト。
• タスク: ピック＆プレイス、スタック、組み立て、および引き出し操作。
• 性能:
  • RoboFlow4D 誘導 DP は、ベース DP と比較して平均成功率が 12.5% 高く、完了時間が 1.4 秒 短縮されました。
  • RoboFlow4D 誘導 DiT は平均成功率 43.8% を達成し、最先端の $\pi_0$（41.3%）および $\pi_0$-Fast を上回りました。
  • システムは、エラー（例：把持失敗）を検出し、タスクを回復するために是正フローを再計画する能力を実証しました。

効率性

• 遅延: 計画の生成に数分を要するモジュラーパイプライン（例：Dream2Flow、NovaFlow）とは異なり、RoboFlow4D（0.76B パラメータ）は単一のフォワードパスを通じて 1 秒未満 で 4 次元運動事前知識を予測します。
• 高速化: 論文は、モジュラーパイプラインに対して 120 倍 の高速化を達成し、他のフローモデルと比較してモデル規模を 24% 以上 削減したと主張しています。

意義と主張

この論文は、RoboFlow4D が、3 次元フローガイダンス計画のための低コストかつリアルタイムのインターフェースを提供することで、具現化された知能の分野を前進させると主張しています。知覚と計画を単一の軽量モデルに統合することで、以前のモジュラーアプローチの遅延と複雑性の障壁を克服します。著者らは、このアプローチにより、ロボットがより高い成功率とより高い効率で複雑な操作タスクを実行できるようになり、多様な産業およびサービスシナリオにおける信頼性の高いロボティクス展開がより現実的になると述べています。この研究は、2 次元軌道が不十分または曖昧であるシナリオにおいて、明示的な 3 次元フロー計画が堅牢な操作にとって不可欠であることを強調しています。