技術要約: SARM2 – 自己改善型ロボット操作のためのマルチタスク・ステージ認識報酬モデリング

1. 問題提起

Vision-Language-Action (VLA) モデルは、エンドツーエンドのポリシー学習をロボット操作における支配的なパラダイムとして確立してきました。しかし、これらのモデルは、ドメイン内データによる大規模なファインチューニングなしでは、ロングホライゾン（長期的）なタスクに苦戦する傾向があります。教師ありファインチューニング (SFT) は、コストのかかる高品質な人間のデモンストレーションに依存しており、分布外 (OOD) の失敗に対して脆弱なままです。強化学習 (RL) は自己改善への道を提供しますが、以下の2つの決定的なボトルネックに直面しています：

1. 疎な報酬 (Sparse Rewards): 既存のオンラインRL手法は、多くの場合、疎な終端報酬に依存しています。これは、ロングホライゾンで接触が豊富なタスクに必要な、ステップレベルの稠密な（dense）監督信号を提供するには不十分です。
2. 報酬モデルの限界: 現在の報酬モデリング手法は、以下の2つの不適切なカテゴリに分類されます：
   • タスク特化型モデル: 高精度ですが、新しいタスクごとにアノテーションと再学習が必要であり（例：SARM）、スケーラビリティを制限します。
   • 汎用VLMモデル: 幅広く適用可能ですが、ステップレベルでの粒度が粗く、ノイズが多い予測を行うため、微細な操作の進行度に対する稠密な監督信号としては不適切です。

本論文は、VLA-RLのスケーリングには、稠密（ステップごと）であり、かつ正確（タスクの進行に忠実）で、汎用的（再学習なしで多様なタスクに適用可能）な報酬モデルが必要であると主張しています。

2. 手法

著者らは、SARM2 (Multi-Task Stage Aware Reward Modeling) と SPIRAL (Self-Policy Improvement via Reward-Aligned Learning) を提案しています。

3.1 SARM2: マルチタスク・ステージ認識報酬モデル

SARM2は、タスクに依存しないステージ推定器と、特化したバリューヘッドを組み合わせることで、汎用性と精度のトレードオフを解決します。

• アクション・プリミティブ・ステージ推定器:

  • タスク固有のステージ・アノテーションの代わりに、モデルは中間表現として共有されたアクション・プリミティブ（例：「Pick」、「Place」、「Rotate」、「Erase」）の語彙を使用します。
  • 10,000時間以上の操作データの分析に基づき、著者らはタスク時間の90%以上をカバーする K=21 のアクション・プリミティブ（および不確実性のための「null」クラス）を特定しました。
  • この推定器は、マルチビュー画像（手首左、手首右、トップダウン）とプロプリオセプション（自己受容感覚）の状態を入力とする4層のコーザルTransformerです。現在のセグメントを K+1=22 のプリミティブ・クラスのいずれかに分類します。
  • この推定器は、100のタスクにわたる66時間のセグメントからなるバランスの取れたデータセットで訓練されており、ドメインを越えて汎化することができます。

• Multi-Gate Mixture-of-Experts (MMoE) バリューヘッド:

  • 稠密なバリュー推定（具体的には、完了までの正規化された残りステップ数）を生成するために、SARM2はMMoEデコーダを採用しています。
  • アーキテクチャ: 報酬モデルは、個別の6層コーザルTransformerバックボーンを使用します。これは、ステージ推定器と同じ視覚/プロプリオセプション入力に加え、タスク埋め込みと、ステージ推定器から予測されたプリミティブ埋め込みを受け取ります。
  • ルーティング・メカニズム: 予測されたプリミティブが、MMoE内の特定のゲートを選択します。各ゲートは、共有されたエキスパート・プール（3層MLP）にトークンをルーティングします。この設計により、モデルは特定のプリミティブ・グループの視覚的ダイナミクスや進行のシグネチャに特化しつつ、タスク間で容量を共有することが可能になります。
  • 目的関数: モデルは、進行状況を表す稠密な報酬 $r_t \in [-1, 0]$ を予測します。損失関数は、目標距離に対する平均二乗誤差 (MSE) と、ルーターの崩壊を防ぐためのゲート・バランスおよびエントロピーに関する補助損失を組み合わせたものです。

3.2 SPIRAL: 自己ポリシー改善フレームワーク

SPIRALは、SARM2の稠密な報酬を用いて「ロボット・データ・フライホイール」を構築するために設計された、オンポリシーの報酬誘導型フレームワークです。

• 残差RL基盤 (Residual RL Substrate): SPIRALはDICE-RLフレームワークに基づいて構築されており、ベースとなるVLAポリシーの出力を修正する残差ポリシーを使用する残差学習アプローチを採用しています。
• ハイブリッド目的関数:
  • 稠密成分: SARM2から提供されるステップごとの稠密な報酬を用いたTD3を使用します。
  • 疎成分: 最終的なタスク目標への整合性を確保するため、これを疎なエピソードレベルの報酬によるモンテカルロ (MC) 目的関数と組み合わせます。
• 自律ループ: フレームワークは以下のクローズドループで動作します：
  1. 初期化: 行動複製 (BC) を通じてベースとなるVLAポリシーをファインチューニングします。
  2. 一度限りの適応: 少量の人間によるアノテーション付きロールアウトを用いて、報酬モデルをポリシーのロールアウト分布に適応させます。
  3. 自己改善: システムは自律的にロールアウトを収集し、適応されたSARM2でそれらを再ラベル付けし、残差RLを通じてポリシーを更新します。このサイクルは、さらなる人間の介入なしに繰り返されます。

3. 主な貢献

1. SARM2: 一般化可能なアクション・プリミティブ・ステージ推定器と、マルチゲートMMoEバリューヘッドを結合させた、マルチタスク・ステージ認識報酬モデル。このアーキテクチャは、タスクごとの再学習を必要とせず、多様なロングホライゾン・タスクに対して正確で稠密な報酬を単一のモデルで生成します。
2. SPIRAL: 安価な自律的ロールアウトから継続的なポリシー洗練を可能にする、報酬整合型のオンポリシー残差RLフレームワークであり、自律的なロボット・データ・フライホイールを閉じるものです。
3. 実証的検証: 高品質な稠密報酬が安定した自己改善に不可欠であることを示し、実世界のタスクにおいて、疎な報酬およびVLMベースのベースラインに対して大幅な向上を実現しました。

4. 実験結果

著者らは、10個のタスク・ベンチマークと、2つの具体的な実世界ロングホライゾン・タスク（ショートパンツの折り畳みおよびホワイトボードの清掃）において、SARM2とSPIRALを評価しました。

報酬モデルの性能

• 精度: SARM2は、最強のベースライン（ReWiND, TOPReward, Robometer）と比較して、ホールドアウト・デモンストレーションにおける平均二乗誤差 (MSE) を80% 削減しました。
• 汎用性: 「ホワイトボードの清掃」タスク（T2）において、SARM2はロールアウト分類相関 ($\rho$) 0.667 を達成し、汎用VLMベースのモデル（過度な楽観主義により負の相関を示すことが多い）を大きく上回りました。
• アブレーション研究: ステージ推定器を除去するとデモ損失が約70%増加し、マルチゲート設計を除去すると損失が約30%増加しました。これにより、ステージ認識とMMOルーティングの両方が相乗効果を持つことが確認されました。
• ルーターの健全性: MMoEルーティングはバランスを維持しましたが（密度スコア ~0.10）、シングルゲート・バリアントはルーターの崩壊（密度 > 0.80）に陥りました。

ポリシー学習の性能 (SPIRAL)

• ショートパンツの折り畳み:
  • 平坦 (Flat): 初期状態のBC/RL-Denseの成功率は58% でしたが、SPIRALを3ラウンド実行した後、100% に向上しました。
  • くしゃくしゃ (Crumpled - より困難): 成功率は33% から 67% に向上しました。注目すべきは、疎な報酬ベースラインは、このタスクにおいて性能が低下（17%まで下落）したことであり、稠密な報酬の必要性が浮き彫りになりました。
• ホワイトボードの清掃:
  • 成功率は50% から 90% に向上しました。
  • 平均進行度スコアは0.813から0.975に増加しました。
• 比較: SPIRALとSARM2の組み合わせは、LoRAでファインチューニングされたVLM報酬モデル (Robometer-FT) や疎な報酬RLを含むすべてのベースラインを一貫して上回りました。この結果は、密度が必要であるだけでなく、報酬の「質」と「ステージ認識」こそが、効果的な自己改善のボトルネックであることを示しています。

5. 意義と主張

本論文は、SARM2 と SPIRAL が、高品質な稠密報酬が自己持続的なロボット・データ・フライホイールの「荷重を支える要因 (load-bearing factor)」であることを示していると主張しています。本研究は、汎用的なVLMが微細なロボット制御に十分であるという概念に異を唱え、正確な進行度推定には構造化されたプリミティブに基づくアプローチが必要であることを示しています。

著者らは、本手法が初期の適応フェーズの後、最小限の人間による介入で、ロングホライゾン・タスクにおける継続的なポリシー洗練を可能にすることを強調しています。ステージ推定（一般化可能なプリミティブ）とバリュー推定（特化したエキスパート）を分離することで、タスク間でスケーラブルでありながら、オンポリシーRLを導くのに十分な精度を持つモデルを実現しています。

著者が認める限界事項:

• エンボディメントの範囲: アクション・プリミティブの語彙は、バイマニュアル（両腕）のテーブルトップ・データから派生したものであるため、移動型操作（mobile manipulation）へ拡張するには、プリミティブのセットを再構築する必要があります。
• 残差RLの天井: 本フレームワークは、VLAの重みを更新するのではなく、残差学習を通じてポリシーを洗練するため、意図や高レベルのタスク分解レベルでのエラーを修正することはできません。
• サンプル効率: 自律的ではありますが、オンポリシーのロールアウト収集には、エピソード間の定期的なリセットのために依然として人間のオペレーターを必要とします。