技術要約: EVE: 生成的方策のための生成器-検証器システム

問題提起

拡散モデルやフロー・マッチングなどの生成モデルに基づく視覚運動方策（visuomotor policies）は、ロボティクスにおいて強力な性能を示しているが、デプロイメント中の分布シフトや分布外（OOD）の状態に遭遇した際に重大な限界を示す。推論時の計算量スケーリングによる生成・検証フレームワークによって推論能力が革命的に向上した言語モデルとは異なり、身体化された方策（embodied policies）は通常、堅牢なリカバリメカニチズムを欠いている。堅牢性を向上させるには、通常、追加のインドメイン・データを用いたコストのかかるファインチューニングやリカバリ・シーケンスが必要となるが、これらは収集コストが高く、特定のデータの規模と品質に強く依存するモデルを生み出す原因となる。さらに、既存の検証器ベースのステアリング手法の多くは、検証器を一から訓練するか、潜在ダイナミクスモデルを学習する必要があり、ゼロショットでの適用性を制限している。

手法: EVEフレームワーク

著者らは、凍結された事前学習済み生成方策に、複数のゼロショット・視覚言語モデル（VLM）ベースの検証器エージェントを付加する、モジュール式の推論時フレームワークであるEVE (Embodied Verifier Ensembles) を提案する。EVEは、追加の方策訓練や検証器のファインチューニングを行うことなく動作する。

コア構成要素

1. ベース方策候補生成: 各タイムステップにおいて、凍結されたベース方策（$\pi_\theta$）は、現在の観測と状態に条件付けられた、$K$個の候補アクション・トラジェトリ（独立したノイズサンプルからデノイズされたもの）を生成する。
2. 検証器エージェント: EVEは、ゼロショットで動作する異種混合の検証器モジュール（$V = \{V_j\}$）のエンサンブルを採用している。本フレームワークは、入力モダリティに基づいて検証器を以下のように分類する：
   • 生成器非依存型検証器 (Generator-Agnostic Verifiers): これらは、ベース方策のアクション提案にアクセスすることなく、ロボットのセンサー観測（例：RGB画像）とタスク指示のみに基づいて動作する。これらは、定義済みのプリミティブのセットからリカバリ・アクションを提案する。
   • 生成器条件付き型検証器 (Generator-Conditioned Verifiers): これらは、ベース方策の候補アクション・トラジェトリを（観測に加えて）入力として受け取り、最適なトラジェトリの選択やテキストベースの修正などのフィードバックを提供する。
3. アクション集約: 多様な検証器の出力（トラジェトリの選択、プリミティブの提案、またはテキストによる修正など）は、共通のセマンティック空間に投影され、重み付き補間演算子を用いて単一の融合されたトラジェトリ信号（$\tilde{m}$）へと集約される。
4. 誘導拡散アクション組み込み器 (Guided Diffusion Action Incorporator): アクションを単純に平均化したり、ベース方策を上書きしたりするのではなく、EVEは誘導拡散 (Guided Diffusion) メカニズムを使用して、集約された検証器のフィードバックをベース方策のアクション分布と融合させる。
   • システムは、生成されたアクションと検証器のフィードバック間のL2ノルムの不一致に基づく整合性目的関数 $\xi$ を定義する。
   • 逆拡散プロセス中、ガイダンス係数（$\beta_k$）がこの目的関数の勾配をスケールさせ、事前学習された方策のプライアを維持しながら、検証器と整合した振る舞いへとデノイジング・プロセスを誘導する。
5. 介入検知: VLM推論による高い計算コストを軽減するため、EVEはすべてのステップで検証器を呼び出すのではなく、アクション分布の最大平均偏差 (MMD) に基づく失敗検知器を利用する。ロールアウトにおける偏差や失敗の可能性を示すMMDが閾値を超えた場合にのみ、検証器が呼び出される。

主な貢献

1. EVEフレームワーク: 異なる能力を持つゼロショットVLM検証器のエンサンブルを活用し、テスト時の性能を向上させる、身体化された方策のための新しい生成器-検証器システム。
2. 誘導拡散組み込み器: 分類器ガイダンス（classifier guidance）を用いて、集約された検証器のフィードバックをベース方策のアクション予測とシームレスに補間し、単純な平均化やハードな上書きの弊害を回避する特定のモジュール。
3. ゼロショットの優位性: EVEのアンサンブルが、多大なインドメイン訓練予算（例：17.5万件のデモンストレーションや2,000万件の合成サンプル）を必要とする最先端の身体化検証器ベースライン（RoboMonkeyやV-GPSなど）を凌駕することを実証した。
4. 体系的な分析: 検証器モデルのスケーリング、集約戦略、およびガイダンス係数の寄与を分離した広範なアブレーション研究を行い、スケーラブルな生成器-検証器システムを構築するための実践的なガイドラインを提供した。

実験結果

著者らは、多様なシミュレーションおよび実世界のロボットタスクとエンボディメント（形態）にわたってEVEを評価した：

• SimplerEnvベンチマーク: WidowXおよびGoogle Robotの7つのタスクにおいて、EVE-Ensembleは合計平均成功率72.2%を達成し、ベース方策（$\pi_0$, 67.1%）および訓練済み検証器ベースライン（RoboMonkey: 68.1%, V-GPS: 27.3%）を上回った。特筆すべきは、EVEが検証器に対してゼロの学習データでこれらの結果を達成したことである。
• 長期的タスク (ManiSkill-HAB): EVEは、移動操作タスク（例：冷蔵庫を開ける、物を置く）において一貫した改善を示し、特に実行の微妙な劣化からのリカバリを必要とするタスクで最大の利得が見られた。
• 複雑なエンボディメント (RoboTwin-2.0): EVEは、他のベースラインがゼロショット設定では適用できなかった複雑な両腕タスクにおける、バイマニュアル・アーム方策（$\pi_{0.5}$）の性能を向上させた。
• 実世界での検証: Franka Emika Pandaアームにおいて、EVEはインドメイン・タスクでの成功率を向上させ、OODタスク（オブジェクトの順序の変化や未知のオブジェクト）においてベースラインを大幅に上回り、実世界環境における堅牢性を実証した。
• レイテンシ: ステップごとの検証レイテンシはVLM推論により高くなるが、MMDによってトリガーされる介入戦略により、平均ロールアウト時間は、毎ステップ検証器を呼び出すベースラインと同等かそれ以下となった。

意義と主張

本論文は、EVEが身体化されたAIにおけるパラダイムシフトを象徴していると主張している。すなわち、凍結された事前学習済み生成方策は、テスト時にゼロショット検証器を用いることで大幅に改善できることを示しており、これは大規模言語モデルにおけるテスト時計算量スケーリングの成功を反映している。

著者らは、このアプローチが、方策の堅牢性を高めるために通常必要とされる高コストなデータ収集やファインチューニングのルーチンを排除することを強調している。異種混合のゼロショット検証器をオーケストレートし、誘導拡散を通じてそのフィードバックを統合することで、EVEは、再学習なしに失敗から回復し、新しいタスクやエンボディメントに汎化できる、スケーラブルでモジュール式の身体化制御ソリューションを提供する。この研究は、「生成-検証」のギャップが、オープンエンドな環境におけるロボットシステムの信頼性を向上させるための、実行可能かつ強力な手段であることを示唆している。