技術要約: Temporal GRPO

問題提起: トラジェクトリレベルのクレジット・エイリアシング（信用割当の混同）

Vision-Language-Action (VLA) モデルにおける結果駆動型強化学習（RL）において、ポリシーは通常、Group Relative Policy Optimization (GRPO) を用いて事後学習される。標準的な GRPO は、タスクに対して複数の完全なトラジェクトリ（軌跡）をサンプリングし、最終的な成功または失敗に基づくグループ相対的なアドバンテージを計算し、その単一のスカラー値をトラジェクトリ内のすべての行動にブロードキャストする。

本論文は、長期間の操作タスクにおけるこのアプローチの決定的な欠陥を特定しており、これを**トラジェクトリレベルのクレジット・エイリアシング（trajectory-level credit aliasing）**と呼んでいる。一連のステージ（例：掴む、移動する、置く）を含む複雑なタスクでは、あるロールアウトがいくつかの前提ステージを正常に完了したとしても、後のステージで失敗することがある。標準的な GRPO では、このようなロールアウトは、最初のステージですぐに失敗したロールアウトと同じ負のトラジェクトリレベルのアドバンテージを受け取ることになる。その結果、負の信号が、以前のステージを正常に実行した行動を含むすべての行動に対して一様に割り当てられてしまう。この「エイリアシング（混同）」は、有効な先行行動を抑制し、ポリシーの更新を局所的なタスクの進捗から乖離させ、サンプル効率とサブスキルの安定性を弱める。

手法: Temporal GRPO

クレジット・エイリアシングを解決するために、著者らは、クレジット割当をトラジェクトリレベルからステージレベルへと移行させるフレームワークである Temporal GRPO を提案している。この手法は、以下の3つのコアメカニズムを通じて機能する。

1. 検知可能なステージの構築 (Detectable Stage Construction)

タスク指示と初期観測が与えられると、システムは順序付けられた検知可能なタスクステージ ($m_1, m_2, \dots, m_K$) を構築する。

• 生成 (Generation): フリーズされた大規模言語モデル (RynnBrain-4B) が、候補となる意味的なステージを提案する。
• コンパイル (Compilation): 「ステージ・コンパイラ (Stage Compiler)」が、これらの候補を線形な前提構造 ($m_1 \to m_2 \to \dots \to m_K$) に正規化する。これは、抽象的な記述を検証可能な完了条件へと翻訳し、曖昧さを解消する。
• アライメント (Alignment): 関係検出器 (relation detector) が、ロールアウトをこれらの条件に対して評価する。これにより、ステージが安定して完了した特定のタイムステップ ($T_{i,k}$) を特定する。これにより、連続的な行動シーケンスを離散的なステージ区間 ($B_{i,k}$) に整合させる。

2. ステージ条件付きグルーピング (Stage-Conditioned Grouping)

グループ内のすべてのロールアウトを比較する代わりに、Temporal GRPO はステージ条件付き比較を行う。

• 前提条件フィルタリング (Prerequisite Filtering): 特定のステージ $k$ について、すべての前提ステージ ($m_1$ から $m_{k-1}$ まで) を正常に完了したロールアウトのみが、比較グループに「進入した」とみなされ、含まれる。それより前の段階で失敗したロールアウトは、そのステージ $k$ の計算からは除外される（そのステージの失敗として扱われるのではなく）。
• 結果推定 (Outcome Estimation): ステージ $k$ に進入した有効なグループに対して、バイナリの結果（ステージ $k$ の完了における成功または失敗）が計算される。グループ相対的なアドバンテージ ($\hat{A}_{i,k}$) は、これらのステージ固有の結果に基づいて算出される。

3. 部分的な時間的クレジット割当 (Piecewise Temporal Credit Assignment)

計算されたステージ・アドバンテージは、そのステージに対応する行動間隔にのみ割り当てられる。

• ロールアウトがステージ $k$ で成功した場合、正のアドバンテージは間隔 $B_{i,k}$ の行動に適用される。
• ロールアウトがステージ $k$ で失敗した場合、負のアドバンテージは $B_{i,k}$ にのみ適用され、先行する成功したステージ ($B_{i,1} \dots B_{i,k-1}$) のアドバンテージには影響を与えない（あるいはそれら自身のステージ比較から導出される）。
• 最終的な目的関数は、一様なトラジェクトリ・アドバンテージをこの部分的な時間変動アドバンテージに置き換え、単一の VLA ポリシーを最適化する。

主な貢献

1. クレジット・エイリアシングの定式化: 本論文は、結果駆動型 VLA-RL におけるトラジェクトリレベルのクレジット・エイリアシングを正式に定義し、異なるステージ進捗パターンがいかに単一の失敗信号へと集約され、成功したサブスキルを抑制してしまうかを実証した。
2. Temporal GRPO フレームワークの導入: 検知可能な順序付きステージを構築し、ロールアウトを進入したステージごとにグループ化し、アドバンテージを対応する行動間隔に厳密に割り当てる、ステージ条件付きクレジット割当フレームワークを導入した。
3. 実証的検証: Temporal GRPO が、VLA アーキテクチャを変更したり新しい価値モデルを導入したりすることなく、タスク成功率とサンプル効率を向上させることを示した。

実験結果

本手法は RoboTwin 2.0 および LIBERO-Long で評価された。

• RoboTwin 2.0 の性能: 同等の訓練予算の下で、Temporal GRPO はマクロ平均成功率 75.8% を達成し、最も強力な制御ベースラインである SimpleVLA-RL (68.8%) を 7.0 ポイント上回った。また、Short, Medium, Long/Extra-Long のタスクホライゾン全体で一貫した向上（6.2～8.3 ポイント）を示した。
• サンプル効率: 学習曲線は、特に遅延した結果がクレジット割当を困難にする長期間のタスクにおいて、Temporal GRPO が Trajectory-GRPO と比較して、同じ環境相互作用数でより高い成功率を達成することを示している。
• 制御されたクレジット分析 (LIBERO-Long): ポリシー更新の分析により、標準的な Trajectory-GRPO は共有される先行ステージの完了確率に負の変化を誘発し（学習済みのスキルの劣化）、対照的に Temporal GRPO は、先行ステージの変化をほぼゼロに保ち、ロールアウトの結果が分岐した特定のステージに正の更新を集中させたことが明らかになった。
• アブレーション研究: 「Stage Compiler」や「進入ステージによるゲーティング (entered-stage gating)」などのコンポーネントを削除すると、大幅な性能低下を招いた。これにより、順序付きの前提条件と厳格なグルーピング・ロジックの必要性が確認された。

意義と限界

本論文は、トラジェクトリレベルのクレジットをステージ固有の時間的クレジットへと再構成することで、Temporal GRPO が VLA ポリシーを事後学習するためのスケーラブルな方法を提供すると主張している。その主な意義は、獲得された先行行動を保持しながら、結果の違いの原因となった特定の行動にポリシーの更新を集中させることで、長期間の操作における安定性を向上させることにある。

著者らは、現在の手法には信頼できるステージ述語と定義された線形ステージ順序への依存という、いくつかの限界があることも述べている。ステージの境界が曖昧な場合や、タスクの進捗に分岐、繰り返しのステージ、あるいは初期段階への復帰が含まれる場合には、課題に直面する可能性がある。今後の展望として、不確実性を考慮したステージ検出や動的なステージグラフの探索が示唆されている。