技術要約: TRCA - 長期的な展望を持つLLMエージェントのための遷移ベース・ルーブリック・クレジット・アサインメント（Transition-wise Rubric Credit Assignment）

1. 問題提起

長期的な展望（Long-horizon）を持つ大規模言語モデル（LLM）エージェントは、通常、疎な終端報酬（例：軌道の最後における成功または失敗）を用いて最適化されます。このアプローチは粗粒度なクレジット・アサインメント（報酬割当）しか提供できないため、有益な中間ステップと、有害または冗長なステップを区別することが困難になります。

既存のソリューションには、以下のような重大な限界があります：

• プロセス報酬モデル (PRMs): 効果的ではあるものの、膨大な人間によるアノテーションや、大規模なジャッジモデルによる多大な推論コストを必要とします。
• アンカーベースの手法: 成功した軌道からステップレベルのクレジットを導出します。しかし、強化学習（RL）の初期段階においては、成功した軌道は極めて稀少です（多くの場合、ロールアウトの5%未満）。その結果、「成功アンカー」に依存する手法は、重要な探索フェーズにおいて信頼できる監督を提供できません。

著者らは、**成功が希少なクレジット・アサインメント問題（success-scarce credit assignment problem）**を特定しました。初期のトレーニングにおいて、失敗したロールアウトが支配的となりますが、分析によれば、これらの失敗した軌道に含まれるアクションの72%以上には、依然として診断に有用な遷移信号（例：有効な実行や部分的な進捗）が含まれているにもかかわらず、現在はこれらが破棄されています。

2. 手法: 遷移ベース・ルーブリック・クレジット・アサインメント (TRCA)

TRCAは、成功アンカーや学習されたプロセス評価者に頼ることなく、アクションによって誘発される遷移から直接、微細なステップレベルのクレジットを割り当てるために設計されたフレームワークです。これは、以下の3つの特定のルーブリックを用いて状態遷移を評価することで機能します。

2.1 ルーブリックの定義

任意の遷移 $\xi_t = (s_t, a_t, s_{t+1})$ に対して、TRCAは以下を評価します：

1. 証拠 (Evidence): 新たに明らかになったタスクに関連する情報（例：ターゲットとなるエンティティの観察、属性の開示）を捉えます。これは情報の獲得に対する正のクレジットを提供します。
2. 実行 (Execution): 完了したタスク要求操作または中間条件（例：サブゴール操作の実行）を認識します。これは実質的なタスク実行に対する正のクレジットを提供します。
3. 無効性 (Invalidity): 不適切な、不適格な、または実行不可能なアクション（例：不正なアクション、フォーマットエラー）を特定します。これは負のクレジットを提供します。

これらのルーブリックは、タスクタイプごとにLLMを用いてオフラインでインスタンス化されるため、ポリシー最適化中に追加のジャッジモデルを必要としません。

2.2 報酬の構築

TRCAは、これらの判断を2つの補完的な報酬信号へと集計します：

• 基礎的ルーブリック報酬 ($r^F$):
  判定された各ルーブリック項目を、符号付きの寄与（Evidence/Executionに対しては正、Invalidityに対しては負）にマッピングします。これらはステップごとに集計され、広範な符号付きの監督を提供します。これは、それが「初めて」の発生であるかどうかにかかわらず、遷移の即時的な質に報酬を与えます。
  $$r^F_{i,t} = \sum_{j \in \mathcal{R}(x)} q^i_{t,j}$$

• ブレイクスルー・ルーブリック報酬 ($r^B$):
  同じ条件に繰り返し報酬を与えるという問題に対処します。これは、正のEvidenceおよびExecution条件の累積的なカバー範囲を追跡します。ルーブリックの条件が軌道内で初めて満たされたとき（すなわち「ブレイクスルー」）にのみ、クレジットを割り当てます。
  $$r^B_{i,t} = \Phi_{i,t} - \Phi_{i,t-1}$$
  ここで、$\Phi$ はカバーされた正のルーブリックの累積的なポテンシャルを表します。

最終的なTRCA報酬は、以下の加重結合です：
$$r^{TRCA}_{i,t} = (1 - \lambda) \cdot r^F_{i,t} + \lambda \cdot r^B_{i,t}$$

2.3 ポリシー最適化

TRCAは、これらのステップレベルの報酬を疎な終端環境報酬と組み合わせ、 「完了を意識したリターン（completion-aware return）」を計算します。その後、以下を計算します：

1. エピソード相対アドバンテージ ($A_E$): 同じグループ内の他の軌道と比較して、全リターンを算出します。
2. ステップ相対アドバンテージ ($A_S$): 意味的に類似した意思決定コンテキストのグループ内で、完了を意識したリターンを正規化します。

最終的なアドバンテージ信号 $A^{TRCA} = A_E + A_S$ が、PPOスタイルのクリップされた目的関数を介してポリシーを最適化するために使用されます。

3. 主な貢献

1. 問題の特定: 著者らは、長期的な展望を持つエージェントのトレーニングにおける「成功が希少なレジーム」の深刻さを定量化し、失敗したロールアウトが支配的であっても、有用な遷移信号が保持されていることを示しました。
2. TRCAフレームワーク: Evidence、Execution、およびInvalidityのルーブリックを用いて、環境の遷移から監督を導出する、新しいステップレベルのクレジット・アサインメント手法を提案しました。これは、成功アンカーや外部のプロセス評価者を排除します。
3. デュアル報酬メカニズム: 広範な監督を提供する「基礎的ルーブリック報酬」と、新たな進捗を強調する「ブレイクスルー・ルーブリック報酬」の導入により、即時のステップの質と累積的なタスクの進捗のバランスをとります。
4. 実証的検証: 多様なベンチマークおよびモデルスケールにおいて、一貫した改善を示す広範な実験を行いました。

4. 実験結果

著者らは、Qwen2.5モデル（1.5B、3B、7B）を用いて、ALFWorld、WebShop、および7つの検索拡張QAベンチマークでTRCAを評価しました。

• ALFWorld & WebShop:
  • Qwen2.5-1.5B-Instruct を用いた場合、TRCAはALFWorldで92.0%の成功率（最良のベースラインであるGiGPOを5.3%上回る）を達成し、WebShopで90.5%のタスクスコア（7.4%向上）を達成しました。
  • Qwen2.5-7B-Instruct を用いた場合、TRCAはALFWorldで94.5%、WebShopで92.9%に達し、それぞれGiGPOを3.7%および8.5%上回りました。
• 検索拡張QA:
  • Qwen2.5-3B-Instruct において、TRCAは平均スコア45.4%を達成し、IGPO（8.2%向上）およびGiGPO（3.3%向上）を上回りました。この設定における7つの個別データセットすべてで最高の結果を記録しました。
  • 7Bモデルでも同様の改善が見られ、平均48.4%を達成しました。
• 学習ダイナミクス:
  • TRCAは、GRPOと比較して大幅に速い収束と高いサンプル効率を示しました。例えば、ALFWorldの pick_two サブタスクにおいて、TRCAは3.84Kの軌道で69.2%の成功率に達しましたが、GRPOは6.40Kの軌道を用いても46.7%にしか達しませんでした。
• アブレーション研究:
  • 基礎的またはブレイクスルーのいずれかの報酬成分を取り除くと、一貫してパフォーマンスが低下し、それらの相補的な性質が確認されました。特に、ブレイクスルー成分はタスクに不可欠なアクションにおいて極めて重要であることが判明しました。

5. 意義と主張

本論文は、TRCAが長期的な展望を持つエージェントのトレーニングにおける根本的なボトルネック、すなわち「監督のための希少な成功軌道への依存」に対処することを主張しています。クレジット・アサインメントを終端の結果ではなく、環境によって観察される状態遷移に根ざすことで、TRCAは「失敗した」経験を信頼できる微細な監督へと変換します。

著者らは、このアプローチが、成功したロールアウトが希少でありながらも情報量の多い遷移が豊富に存在する、強化学習の初期探索段階において特に価値があると主張しています。結果は、遷移レベルの環境証拠が長期的な行動を学習するための一般的な基盤として機能し、学習されたプロセス評価者のオーバーヘッドや成功アンカーへの依存なしに、エージェントのパフォーマンス、収束速度、およびサンプル効率を向上させることを示唆しています。