技術サマリー: Robo-Dopamine 2.0

問題提起

Vision-Language-Action (VLA) モデルはロボット操作を進展させてきたが、そのポリシーは、累積誤差、未知のシーン変化、および軌道外の状態に対して脆弱なままである。強化学習（RL）はこれらのポリシーを洗練させる道筋を提供するが、その有効性は、高密度で情報量の多い報酬に依存している。現在の手法は、主に以下の3つのボトルネックに直面している：

1. 疎な報酬 (Sparse Rewards): 成功時のみの信号は、探索を非効率にする。
2. 脆い手動設計の報酬 (Brittle Handcrafted Rewards): 手動で設計された高密度な報酬は、コストが高く、タスク特有であり、かつ脆弱である。
3. 学習された報酬モデルの限界: 既存の視覚的報酬モデルは、多くの場合、静的な「前後」の観察に依存している。これは時間的な曖昧さ (temporal ambiguity) を引き起こす。すなわち、隠れた接触イベント、繰り返されるフェーズ、あるいはサブゴールの順序変更により、視覚的に類似した状態であっても、潜在的な進捗度が異なる場合がある。さらに、これらのモデルは、意味を保持するバリエーション（例：タスクの進捗に影響を与えない遮蔽）と、タスクとして無効な失敗（例：間違った物体を掴むこと）を、特に分布外 (OOD) 実行下において区別することに苦慮している。

手法

本論文では、履歴条件付きかつOOD認識型のプロセス報酬モデルである Robo-Dopamine 2.0 を導入する。本モデルは、先行研究のペアワイズ予測インターフェースを継承しつつ、以下の3つのコアコンポーネントを通じて強化されている。

1. 履歴条件付きペアワイズ報酬定式化

モデルは、指示 $c$、タスクアンカー、および時間的コンテキスト $C_{ba}$ が与えられたとき、2つの状態 $(X_b, X_a)$ 間の符号付き相対進捗を予測する。

• コンテキストの由来 (Context Provenance):
  • 標準/オンラインクエリ: 観察されたロールアウト履歴（クエリ前および状態間のパネル）を使用して、時間的な曖昧さを解消する。
  • 合成OODクエリ: 成功したエキスパートのエピソードから「ソースに整合した成功参照パネル」を使用する。これにより、クエリ対象のエンドポイントを編集された（反事実的な）観察として保持しつつ、コンテキストを提供する。これにより、モデルは実際の失敗エンドポイントを成功したものに置き換えることなく、失敗のセマンティクスを学習できる。
• 入力構造: モデルは、開始/ゴールアンカーおよび特定の状態ペアとともに、順序付けられた時間的パネル（例：3x3グリッド）を処理し、イベントの時系列順序を保持する。

2. OOD認識型符号付き進捗空間

失敗への対処と堅牢性を確保するため、著者らは統一された符号付き進捗空間 $\Phi$ を定義している：

• 正の状態 ($P$): 有効な実行状態。
• 堅牢な状態 ($R$): 意味を保持するバリエーション（例：遮蔽、ディストラクター）であり、$\Phi(R) = \Phi(P)$ となる。
• 負の状態 ($N$): タスクとして無効な失敗（例：誤った物体との相互作用、非リリース）。これらには負の進捗値 $\Phi(N) = -g_i$ が割り当てられる。ここで $g_i$ は、整合されたソースフェーズに対する失敗の深さをインデックス化する。
• 符号付きホップターゲット (Signed Hop Target): 学習ターゲット $H_{ba}$ は、エンドポイントのブランチ（正または負）に基づいて正規化される。これにより、モデルは単一の回帰フレームワーク内で、有効な進捗から失敗および回復に至る連続的なスペクトラムを学習できる。

3. 遷移認識リプレイを伴う符号付きホップ・カリキュラム

微細な進捗順序を最適化するために、カリキュラム学習戦略が採用されている：

• ステージ1 (グローバル幾何学): 「ラージホップ (Large-Hop)」ペア（絶対的な進捗差が大きい上位40%）を用いて学習し、成功、堅牢性、および失敗の間の粗い粒度の順序付けを学習する。
• ステージ2 (ローカル校正): 「スモールホップ (Small-Hop)」およびゼロホップのペアを用いて学習し、微細な区別を精緻化する。
• リプレイメカニズム: ステージ2において、バッチの25%をリプレイされたラージホップの例で構成する。これにより、モデルはローカルな校正を精緻化しながら、グローバルな幾何学的理解を維持することができる。

クローズドループ報酬フレームワーク

オンラインRL推論中、モデルは観察されたロールアウトのプレフィックス（将来の情報は含まない）から時間的パネルを構築する。そして、以下の3つの正規化された予測を生成する：

1. 前方アンカー型 (Forward-anchored): 初期状態から現在の状態まで。
2. 後方アンカー型 (Backward-anchored): ゴールから現在の状態まで。
3. 増分型 (Incremental): 前の状態から現在の状態まで。
   これらは融合されてポテンシャル関数 $\hat{\Phi}_t$ を推定するために使用され、報酬信号の形成に用いられる：$r_t = r_{task} + \gamma(\hat{\Phi}_{t+1} - \hat{\Phi}_t)$。

主な貢献

1. Robo-Dopamine 2.0 フレームワーク: 履歴条件付きコンテキスト（オンラインおよび合成OODクエリ用）と、有効な進捗、堅牢性、失敗、および回復をモデル化可能な符号付き進捗空間を統合した、ペアワイズ報酬フレームワーク。
2. 符号付きホップ・カリキュラム: 幾何学的整合性を維持するためのリプレイメカニズムを利用しながら、微細な校正の前にグローバルな実行順序を段階的に学習するトレーニング戦略。
3. 包括的な評価: OOD軌道データセットの構築、および軌道レベルの視覚的順序一貫性 (Visual Order Consistency: VOC) 評価のための5つのファミリー（In-Distribution, Temporal, OOD-Negative, OOD-Robust, OOD-Temporal）によるベンチマーク。

結果

オフライン評価 (Visual Order Consistency)

• 時間的コンテキスト: 事前構築された3x3パネルを使用することで、平均VOCは 0.967 (静的) から 0.986 へと向上した。
• OOD堅牢性: フルモデルを使用した場合、OOD-robust VOCは 0.906 から 0.958 に向上した。
• カリキュラムの有効性: 25%のリプレイを伴う符号付きホップ学習は、平均VOC 0.9872 を達成し、一致したプールを用いたシャッフル制御 (0.9858) およびリプレイなしのバリアント (0.9866) を上回った。
• タスク完了: モデルは 96.1% のタスク完了分類精度を達成し、GPT-5.5 (81.1%) や RoboBrain 2.0 (61.7%) を含む強力なベースラインを凌駕した。

ダウンストリーム強化学習

• シミュレーション (RoboTwin): 3つの操作タスクにおいて、フルモデル (C11: OOD + History) は平均成功率 86.8% に達した。これは、疎な報酬のベースライン (1,000エポック後に85.8%) や、履歴のみ (75.1%) またはOODのみ (80.6%) のバリアントを上回り、補完的な利点を示した。
• 実世界 (繰り返しの挿入): 4回連続の試行を伴うデュアルFrankaアームによる「正方形挿入」タスクにおいて、フルモデルは 71/80 回の挿入成功と 15/20 回のフルシーケンス完了を達成した。これは、Event Sparseベースライン (挿入 48/80) や履歴のみのバリアント (挿入 67/80) を大幅に上回っており、より少ない訓練エピソード数 (200 vs 300) でこれを実現した。

意義と主張

本論文は、Robo-Dopamine 2.0 が、時間的な曖昧さを解決し、OODシナリオにおける失敗認識の区別を可能にすることで、プロセス報酬モデリングにおける決定的なギャップに対処することを主張している。有効な進捗、堅牢性、および失敗を単一の符号付きペアワイズインターフェースに統合することにより、モデルは、ポリシー学習を改善する高密度で信頼性の高いフィードバックを提供する。著者らは、履歴条件付きのアプローチが、実行の異なる段階や異なるタスク妥当性のレベルを表す、視覚的に類似した状態を区別するために不可欠であることを強調している。これは、静的なエンドポイントベースのモデルには欠けている能力である。結果は、時間的コンテキストとOOD認識型監督を組み合わせることが、それらを単独で使用する場合と比較して、補完的な改善をもたらすことを示唆している。