🤖 machine learning

Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning

本論文は、線形な相互作用の軌跡をグローバルな状態遷移グラフへと変換することで報酬の疎性を緩和し、クレジット割り当てを改善する、新しいグループベースの強化学習アルゴリズムであるGroup-Graph Policy Optimization (G2PO) を提案しており、これにより、長期的なエージェント・タスクにおける大規模言語モデルの性能を大幅に向上させる。

原著者： Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、経験の浅いロボットに、巨大で散らかった倉庫の中から特定のアイテムを見つけ出すような、複雑なパズルを解く方法を教えていると想像してください。ロボットは仕事を完了するために多くのステップ（ターン）を踏む必要がありますが、最後に「よくできました！」または「やり直し」という結果しか得られません。

現在の学習方法の問題点は、ロボットの道のりを一本の直線として扱ってしまうことです。もしロボットが序盤に素晴らしい動きをしたとしても、その後に自分の足に躓いてしまったら、その道のりは全体として「失敗」と判定されます。すると、ロボットは「あの素晴らしい動きは実はダメなものだったのだ」と学習してしまい、混乱が生じて学習が遅くなってしまいます。

この論文では、G2PO（Group-Graph Policy Optimization）と呼ばれる新しい学習方法を紹介しています。その仕組みを、簡単な比喩を使って説明します。

1. 直線から、道のりのウェブ（網）へ

現在の手法は、ロボットが最初から最後まで歩いた一本の特定の経路だけを観察します。もしロボットが行き詰まったら、その経路は行き止まりとなります。
G2POは視点を変えます。一本の直線ではなく、ロボブルがこれまで試してきたすべての経路からなる**巨大なウェブ（あるいはグラフ）**を構築します。

比喩： ロボットが洞窟を探索していると考えてみてください。従来の手法は、特定のひとつのトンネルだけを見ています。しかしG2POは、洞窟全体の地図を見ます。たとえロボットが異なるルートを通ったとしても、何度も全く同じ部屋（状態）に辿り着いていることに気づくのです。

2. ミスに対する「グループ・ハグ」（グループ集約）

従来の方法では、もしロボットがある特定の部屋に入ってから失敗した場合、その部屋は「悪い場所」とラベル付けされます。しかし、後で同じ部屋に入った時に成功すると、その部屋は「良い場所」とされます。これは混乱を招きます。なぜなら、部屋自体は変わっていないのに、その後の展開が変わっただけだからです。
G2POはこう言います。「ロボットがその特定の部屋に入った時のケースを、すべて見てみよう」

比喩： 教師が生徒の宿題を採点している場面を想像してください。単一のテストを採点して「君は失敗だ」と言うのではなく、G2POは同じトピックに関する10個の異なるテストをチェックします。もし生徒が7回正解し、3回間違えたとしたら、教師は「ああ、この生徒はこのトピックをよく理解している。3回のミスは単なる運が悪かっただけだ」と判断します。
結果： これにより、ロボットが不運によって失敗したことに対して罰せられるのを防ぎ、たとえ後のエラーで最終的な結果が失敗に終わったとしても、正しい決断に対してはしっかりと報酬を与えられるようになります。

3. 行き先だけでなく、ステップそのものを評価する（エッジ中心のアドバンテージ）

従来の手法は、多くの場合、その部屋で取れる他の動きと比較して、ロボットの動きを評価します。
G2POは、ジャンプ（移動）自体の価値に着目します。「この特定の動きによって、出発点と比較して、どれだけゴールに近づけたか？」と問いかけます。

比喩： ハイカーが山に登っている場面を想像してください。
- 従来の手法： 「君は一歩登ったね。よし。でも、後でもう一歩登ったね。最初のステップの方が二番目のステップより良かったかな？」（局所的な比較）
- G2PO： 「君はふもと（低い価値）にいた。そこから一歩踏み出して、山の半分まで到達した。それはものすごく大きな前進だった！たとえその後、崖から転落したとしても、その特定のステップは実に見事なものだった。」
結果： G2POは、タスクを実際に前進させる「決定的な跳躍」を特定して特別に加点し、重要性の低い些細なステップは無視します。

4. なぜこれが重要なのか

この論文では、3つの困難なタスクでテストを行いました：

WebShop： オンラインでの買い物。
ALFWorld： シミュレーションされた家の中での家事。
AppWorld： アプリを管理するためのコード作成。

結果：

ロボットはより速く学習し、ミスも減りました。
従来の手法よりも大幅に高い成功率を記録しました（ケースによっては最大22%向上）。
最も優れた点： これらすべてを、追加のコンピューターパワーを必要とせずに実現しました。単に、すでに持っているデータをより賢い方法で整理しただけなのです（大きなデスクを買い足すのではなく、散らかったデスクを整理整頓して探しやすくしたようなものです）。

まとめると：
G2POは、ロボットの学習プロセスを、たった一つの壊れやすい直線として扱うことをやめました。代わりに、あらゆる可能性のマップを構築し、運の要素を平均化して真実を見つけ出し、ゴールに近づくための具体的なステップに対して報酬を与えます。それは、ルートを一つしか示さないGPSから、街全体の構造を知り、どの角を曲がるのが最も重要かを教えてくれるスマートなナビゲーションシステムへとアップグレードすることに似ています。

技術要約：長期間の長期的なエージェント型強化学習のためのグループ・グラフ・ポリシー最適化（G2PO）

問題提起

大規模言語モデル（LLM）が、単なるチャットボットから複雑で現実世界の課題を解決できる自律型エージェントへと移行するためには、堅牢な長期的な意思決定能力が必要です。強化学習（RL）は、単一ターンのタスク（数学やコーディングなど）における推論能力を向上させることに成功してきましたが、マルチターン（多段階）のエージェント型シナリオに適用するには大きな課題があります。

既存のエージェント型RLフレームワークは、コンテキストの爆発とメモリ消費を軽減するために、主に軌跡レベル（trajectory-level）からステップレベル（step-level）の学習へと移行してきました。しかし、これらのステップレベルのアプローチは、長期的なタスクにおいて以下の2つの決定的な限界を抱えています。

状態価値推定における高分散： 現在の手法は、エージェントの探索を孤立した線形な軌跡の集合として扱う傾向があります。同じ環境状態から始まる異なる軌跡であっても、確率的な要因によって最終的な結果が大きく異なる可能性があるため、単一の軌跡の報酬に基づいて状態の価値を推定することは信頼性が低く、分散が高くなりやすいという問題があります。
粗い粒度のクレジット割り当て（報酬分配）： 既存のステップレベルの手法（例：GiGPO）は、通常、同一の状態を持つローカルなグループ内でのみアクションを比較します。この局所的な視点は、遷移のグローバルな重要性を捉えることができません。これにより、些細な状態におけるわずかな改善と、最終目標に向けた絶対的な進展を駆動する決定的なブレイクスルー・アクションを区別できず、近視眼的なクレジット割り当てに陥ります。

さらに、長期的なタスクは疎な報酬（sparse rewards）を特徴としており、フィードバックが数十ステップの相互作用の最後にまで遅延されることが多いため、中間段階でのクレジット割り当てが困難になります。

手法：グループ・グラフ・ポリシー最適化（G2PO）

これらのボトルネックに対処するため、著者らは、線形な相互作用の軌跡をグローバルな状態遷移グラフへと明示的に変換する、新しいグループベースのRLアルゴリズムである**グループ・グラフ・ポリシー最適化（G2PO）**を提案しています。

1. 状態グループ・グラフの構築

軌跡を独立した線として扱うのではなく、G2POは、サンプリングされたすべての軌跡における同一または類似の環境観測を状態グループ（ノード）へと集約します。エージェントのアクションは、これらのノードを接続する有向エッジとして機能し、統一された状態遷移グラフを形成します。この構造は、異なる軌跡がしばしば同じ環境状態（例：同じウェブページや物理的構成）に収束することを認識しています。

2. グループ集約による状態価値推定

単一の軌跡評価に内在する高分散を軽減するために、G2POは以下のグループ集約メカニメントを導入しています。

メカニズム： 与えられた状態グループ $G_k$ に対して、その価値 $V(G_k)$ は、サンプリングされたすべての軌跡におけるそのグループに属する中間ステップの割引リターン（discounted returns）の平均として定義されます。
利点： 同じ状態を通過する複数の軌跡からの結果を平均化することで、この手法は単一のサンプルによる偶然の結果ではなく、その状態の固有の期待値を推定します。理論的分析によれば、これによりグループサイズに応じて状態価値推定の分散が線形に減少することが示されています。

3. 多粒度アドバンテージ推定

G2POは、密で微細なフィードバックを提供するために、3種類のアドバンテージを合成します。

ノード中心アドバンテージ（ANC）： 現在のノードから派生する状態の価値を、そのノードから可能なすべての次状態の平均値と比較することで、アクションを評価します。これはローカルな好みを捉えます。
エッジ中心アドバンテージ（AEC）： これが核心的な革新です。アクションは状態ノード間の遷移として扱われます。アドバンテージは、時間差（TD）誤差（ $\delta = V_{next} - V_{current}$ ）に基づいて計算され、これは遷移による絶対的な価値の獲得を表します。極めて重要な点は、これらのTD誤差が、特定の状態グループ内ではなく、グラフ全体でグローバルに標準化されていることです。これにより、G2POは、たとえ特定の軌跡が最終的に失敗したとしても、絶対的な進展を強力に推進する決定的な遷移を明示的に特定し、優先させることが可能になります。
エピソードレベルのアドバンテージ（AEP）： 学習プロセスが最終的なタスク目標と整合し続けるよう、標準的なGRPOから継承されています。

ステップに対する最終的なアドバンテージは、これらの構成要素の加重結合となります。
$A_{ij} = A_{EP}(a_{ij}) + w \cdot (A_{NC}(a_{ij}) + A_{EC}(a_{ij}))$

主な貢献

本論文は、主に4つの貢献を述べています。

G2POアルゴリズム： 線形な軌跡を状態グループグラフへと変換するように設計された、長期的なエージェント型タスクのためのグループベースのRLアルゴリズム。
グループ集約による状態価値推定： 異なる軌跡における同一の状態間の結果を集約することで、状態価値推定の高分散に対処する手法。
エッジ中心のアドバンテージ推定： アクションを遷移として再定義し、グローバルに標準化されたTD誤差を通じてグローバルな進展への絶対的な寄与を測定することで、ローカルなグループ比較の限界を克服する戦略。
実証的検証： 最小限の計算オーバーヘッドで、SOTA（最先端）のベースラインを上回ることを示す広範な実験。

実験結果

著者らは、代表的な3つの長期タスクベンチマークである WebShop（Eコマース）、ALFWorld（身体的環境）、AppWorld（複雑なソフトウェアエコシステム）を用いてG2プトの評価を行いました。実験はQwen-2.5モデル（1.5B、7B、14B）を用いて実施されました。

パフォーマンス： G2POは、プロンプトベースの手法（例：ReAct、Reflexion）およびRLベースライン（PPO、RLOO、GRPO、GiGPO）を一貫して上回りました。
- WebShopにおいて、G2POはGRPOに対して最大 22.2% の成功率向上を達成しました。
- ALFWorldにおいて、GRPOに対して 14.4% の向上を達成しました。
- AppWorldにおいて、G2POは他のすべてのRL学習手法を上回り、複雑なAPIベースのタスクに対する堅牢な汎用性を実証しました。
効率性： G2POで訓練されたモデルは、GRPOやGiGPOと比較して、タスク完了に必要な相互作用ターン数が少なくなっており、意思決定の効率性が向上していることを示しています。
計算コスト： グラフ構築とアドバンテージ推定のパイプラインは、完全にCPU処理に依存しています。著者らは、G2POが学習ステップあたり約 1秒の追加オーバーヘッド（総時間の約0.4%）しか導入せず、基礎となるGRPOフレームワークの高い効率性を維持していると報告しています。

意義と主張

本論文は、視点を孤立した線形の軌跡からグローバルなグラフ構造へと転換することで、G2POがエージェント型RLにおける重要な進歩を象意していると主張しています。状態遷移グラフを明示的にモデル化し、グループ集約を利用することで、学習されたクリティックネットワークの計算負荷やプロセス報酬モデルの注釈コストをかけることなく、疎な報酬を伴う長期的なシナリオにおけるクレジット割り当て問題を効果的に解決しています。

著者らは、本アプローチが経験的平均を活用するという（GRPOに見られるような）哲学に沿ったものでありつつ、それを状態遷移の構造的レベルへと拡張したものであることを強調しています。結果は、マルチターンの相互作用に内在するグラフ構造を認識することが、分散を減少させ、決定的なブレイクスルー・アクションを特定し、複雑なエージェント型タスクにおいて大幅な性能向上をもたらすために極めて重要であることを示唆しています。