🤖 AI

SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

本論文は、ポリシー関数とバリュー関数のために共有された自己回帰バックボーンを利用することで、PPOやGRPOといった既存の手法よりも優れた性能と安定性を実現し、かつ個別のクリティックモデルを必要としない、エージェンティック強化学習のためのメモリ効率が高く計算最適化されたフレームワークであるSAPOを紹介するものである。

原著者： Dayang Liang, Lang Feng, Bo An, Yunlong Liu

公開日 2026-08-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dayang Liang, Lang Feng, Bo An, Yunlong Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能が急速に進化する世界において、コンピュータプログラムが単なる受動的なテキスト生成器ではなく、推論し、ウェブを検索し、多くのステップを経て複雑な問題を解決できる能動的なエージェントへと変貌を遂げる、新たなフロンティアが出現しています。エージェント強化学習として知られるこの分野は、シミュレーション環境の中で試行錯誤させることで、これらのデジタルアシスタントを学習させます。学生がテストを受けている場面を想像してみてください。正解すれば嬉しい気持ちになりますが、失敗すれば、何が間違っていたのかを突き止めようとします。AIにとって、この学習プロセスは、長い意思決定の連鎖を振り返り、どの特定のステップが成功や失敗につながったのかを判断できるシステムに依存しています。従来、これには重厚な二部構成のシステムが必要でした。一つは次に何をすべきかを決定する部分、そしてもう一つは現在の状況がどれほど良いかを評価する、独立した巨大な「クリティック（批評家）」の部分です。この分離された仕組みはうまく機能しますが、膨大な計算能力とメモリを必要とし、学習プロセスを遅らせたり、標準的なハードウェアで実行するにはコストがかかりすぎたりすることがよくあります。

研究者たちは最近、これらのAIエージェントが、長いタスクの最後まで待たなければ成功かどうかがわからないような、フィードバックが希薄または遅延する場合に苦戦することを発見しました。このプロセスを簡素化するために、個別のクリティックを取り除く既存の手法は、長いシーケンスにおける個々のステップへの報酬の割り当て方法が明確でないため、学習が不安定になったり、パフォーマンスが低下したりすることがよくあります。これを解決するために、厦門大学と南洋理工大学の研究チームは、SAPO（Single-Rollout Autoregressive Policy Optimization：シングルロールアウト自己回帰方策最適化）と呼ばれる新しいフレームワークを開発しました。SAPOは、一つのモデルに二つの役割を持たせたり、一つのタスクから学ぶために数十種類の異なる試行を生成させたりする代わりに、単一の言語モデルにすべてを一度に行わせるように教えます。これは、言語生成の自然な流れを利用して、行動の決定、行動前の状態の評価、そして行動自体の価値の判断を、一つの連続した思考の流れの中で同時に行うものです。

SAPOの核心的な革新は、AIの脳内における情報の整理方法にあります。標準的な会話やタスクでは、AIはプロンプトを読み、考え、そしてレスポンスを書き出します。研究者たちは、AIがレスポンスを書き始める直前の瞬間こそが、「この状況はどれほど良いか？」と問いかけるのに最適なタイミングであり、レスポンスを書き終えた直後の瞬間こそが、「その特定の行動はどれほど良かったか？」と問いかけるのに最適なタイミングであることに気づきました。テキスト生成プロセス内の特定の固定された地点にこれら二つの問いを配置することで、モデルは別個の評価器を必要とせずに両方に答えることを学習できます。この設計により、AIは、比較対象となる大規模なバリエーションのグループを生成する必要なく、一つの試行から学習することができます。このシステムは、価値に関する理解を異なる状況間で一般化するように効果的に学習し、単に成功への特定の経路を暗記するのではなく、なぜその動きが良かったのか、あるいは悪かったのかという根本的な論理を理解することを確実にします。

このアプローチをテストするため、チームはAIを二つの困難な環境で訓練しました。一つは、エージェントが掃除や加熱などの物理的タスクを完了しなければならないシミュレーションされた家庭環境であり、もう一つは、エージェントが特定の製品を見つけるためにウェブサイトをナビゲートしなければならない複雑なウェブショッピングのシナリオです。彼らは、この手法が異なるスケールにおいても有効であるかを確認するために、15億パラメータと70億パラメータの二種類のサイズの言語モデルを使用しました。結果は驚くべきものでした。家庭環境のタスクにおいて、この新手法は、個別のクリティックを使用する標準的な手法と比較して成功率を15パーセントポイント以上向上させ、クリティックの使用を回避しようとする主要な手法と比較しても12パーセントポイント以上向上させました。ウェブショッピングのタスクにおいても同様に顕著な改善が見られ、AIはより高いスコアを獲得し、より多くのタスクを成功裏に完了しました。おそらく最も重要なことは、この新手法が、パフォーマンスを評価するための第二のモデルを実行する必要がないため、従来の方式よりも大幅に少ないメモリを使用し、トレーニングステップあたり約33パーセント高速に動作したことです。

このフレームワークの成功は、大規模言語モデルが自然に情報を処理する方法を活用することで、AIエージェントの訓練における最も困難な問題のいくつかを解決できることを示唆しています。学習プロセスを言語生成の自然な構造に合わせることで、研究者たちは、意思決定と評価のための別々のシステムを維持するという重い計算コストを負うことなく、ハイレベルなパフォーマンスを実現できることを証明しました。このアプローチは、学習をより効率的にするだけでなく、より安定させ、報酬が遅れたり頻度が低かったりする場合でも、エージェントが効果的に学習することを可能にします。人工知能の分野が、より自律的で有能なエージェントの創造へと向かう中で、このような手法は、効率性と高いパフォーマンスが、学習能力を犠牲にすることなく両立できることを証明し、実用的な道筋を提示しています。

技術要約: SAPO (Single-Rollout Autoregressive Policy Optimization)

1. 問題提起

エージェンティック強化学習（Agentic Reinforcement Learning; RL）は、大規模言語モデル（LLM）のポストトレーニング段階において極めて重要なフェーズとして浮上しており、推論、ツール利用、ウェブナビゲーションといった長期的なインタラクティブ・タスクの実行を可能にします。既存の手法は成功を収めているものの、主に以下の3つの限界に直面しています。

明示的な価値汎化の欠如: クリティックを用いないグループ相対的手法（例：GRPO）は、複数のサンプリングされた軌跡間で報酬を正規化することでアドバンテージを推定します。このアプローチは、グループとは独立して特定の状態やプロンプトに対してクレジットを割り当てることができる、汎用的な価値関数を学習することができず、結果として弱い時間的クレジット割り当て（temporal credit assignment）を招きます。
アドバンテージの崩壊（Advantage Collapse）: 疎なフィードバックを伴う長期タスクでは、グループ内のすべてのロールアウトが同一または極めて近い報酬を受け取ることが一般的です。これにより、正規化されたアドバンテージが消失し、ゼロ勾配領域や「アドバンテージの崩壊」が生じ、学習が停滞します。
非効率なトレードオフ: グループ相対的な手法は、サンプリング予算とパフォーマンスの間のコストのかかるトレードオフを必要とします。小さなグループはノイズの多いベースラインを生み出し、大きなグループは計算コストと同期の障壁を犠牲にして安定性を向上させます。一方、学習済みのクリティックを用いる従来の近接方策最適化（PPO）は、明示的な価値学習を提供しますが、ポリシーと同規模の別個のクリティックモデルを必要とするため、大幅なメモリおよび計算オーバーヘッドが発生します。

これらの問題を軽減しようとする現在の試み（例：DAPAP, ReMax, VinePPO）は、いずれも複数のロールアウトへの依存が残っているか、粗いクレジット割り当てを保持しているか、あるいはパラメータを複製する別個の価値ネットワークを必要としています。単一のロールアウトによる効率的な学習を、別個のクリティックを維持することなく、明示的な時間的価値推定とともにサポートするフレームワークが求められています。

2. 手法: SAPO

著者らは、単一のオートレグレッシブ（自己回帰）バックボーン内でポリシーと価値学習を統合する、低メモリかつ計算効率の高いフレームメントであるSingle-Rollout Autoregressive Policy Optimization (SAPO) を提案します。

コアアーキテクチャ: オートレグレッシブ・アクター・クリティック

SAPOは、LLMの因果構造を利用して、単一のモデルストリーム内にポリシー、状態価値（ $V$ ）、および行動価値（ $Q$ ）を表現します。

因果境界（Causal Boundaries）: 本手法は、エージェントのターン内にある2つの明確な因果境界を特定します。
1. アクション前境界（Pre-action boundary）: アクションが生成される前の状態コンテキスト（ $c^s_t$ ）。
2. アクション後境界（Post-action boundary）: 生成されたアクションと結合された状態コンテキスト（ $c^{s,a}_t$ ）。
共有バックボーン: 同一のトランスフォーマーモデルが、これら2つの境界間でアクション・トークンを生成します。
2トークン価値基底（Two-Token Value Basis）: 別個の価値ヘッドの代わりに、SAPOは2つの特定の語彙トークン（ $w^+$ $w^{+}$ および $w^-$ $w^{-}$ ）を、価値基底としてのみ専用に確保します。モデルは、それぞれの因果境界におけるこれら2つのトークンのロジットを読み取り、正規化されたスカラー値を計算します。
- $V_\theta(s_t)$ は、アクション前境界で読み取られます。
- $Q_\theta(s_t, a_t)$ は、アクション後境界で読み取られます。
- 価値は、これら2つのロジットの差から導出され、正規化範囲 $[-1, 1]$ にクリップされ、最大可能リターン（ $R_{max}$ ）によってスケールされます。
ポリシーの分離: 予約された価値トークンは、ポリシー生成および確率正規化の際にアクションの語彙から除外され、アクションの分布に干渉しないように設計されています。

単一ロールアウト・アドバンテージ推定

グループ相対的な手法とは異なり、SAPOはタスクあたり1つの軌跡のみをサンプリングします。

軌跡レベルのGAE: 本手法は、学習された状態価値（ $V$ ）を用いて、遅延された終末報酬を軌跡を通じて後方に伝播させる、一般化アドバンテージ推定器（GAE）を採用しています。
ターゲット:
- **状態価値（State Value）**は、 $\lambda$ -リターン（長期的な結果情報の伝播）に向けて学習されます。
- **行動価値（Action Value）**は、オンポリシーのSARSAターゲット（アクション後境界を即時的な結果に接地させること）に向けて学習されます。
バッチ正規化: グループ統計なしで学習を安定させるため、現在のトレーニングバッチ全体におけるターンレベルのアドバンテージをバッチ統計（ $\mu_B, \sigma_B$ ）を用いて正規化し、それをアクション内のすべてのトークンにブロードキャストします。

結合最適化

SAPOは、単一のバックプロパゲーション・パス内で、統一された目的関数を最適化します。

トークンレベルのポリシー損失: バッチ正規化されたアドバンテージを用いた、クリップされたPPOスタイルの損失。
価値損失: $V$ および $Q$ の両方の目的関数に対するクリップされた回帰損失。これは、レスポンスの長さに依存せず各決定に等しい重みを与えるため、トークン単位ではなくターン単位で平均化されます。
正則化: リファレンス・ポリシーに対するKLダイバージェンスおよびエントロピー正則化が含まれます。

3. 主な貢献

統一されたアーキテクチャ: 因果境界の読み出しを通じてポリシー、状態価値、および行動価値を共同で表現し、訓練する、単一ロールアウトのオートレグレッシブ・アクター・クリティック・アーキテクチャの導入。これにより、別個のクリティック・ネットワークを排除しました。
新しい推定器: $\lambda$ -リターンとバッチ正規化を組み合わせた軌跡レベルのアドバンテージ推定器の開発。これにより、グループ相対的なサンプリングに依存することなく、明示的なターンレベルのクレジット割り当てを可能にしました。
効率性と安定性: この統一されたフレームワークが、長期的なエージェンティック・タスクにおいて、パフォーマンス、学習の安定性、メモリ効率、および実行効率の良好なバランスを実現することを実証しました。

4. 実験結果

著者らは、Qwen2.5-1.5B および Qwen2.5-7B バックボーンモデルを用い、ALFWorld（身体的推論）および WebShop（ウェブナビゲーション）のベンチマークでSAPOを評価しました。

パフォーマンス: SAPOは、標準的なPPOおよびGRPOを一貫して上回りました。
- Qwen2.5-1.5B を用いた ALFWorld において、SAPOは90.1%の集計成功率を達成し、PPOに対して +35.7 ポイント、GRPOに対して +17.3 ポイント向上しました。
- WebShop において、SAPOはPPOに対し、スコアで +8.4 ポイント、成功率で +12.2 ポイントの向上を達成しました。
- 実験全体（抄録に要約）を通じて、SAPOは安定して学習し、平均でPPOに対して +15.1 ポイント、GRPOに対して +12.1 ポイント高い性能を示しました。
- 7Bモデル を用いた場合、SAPOはALFWorldで94.0%の成功率、WebShopで88.6のスコアと82.4%の成功率を獲得し、3つの集計指標すべてにおいてPPO、GRPO、および最新のバリアントを上回りました。
効率性:
- メモリ: SAPOは、別個のクリティックモデル（通常はポリシーと同規模）のメモリ・フットプリントを排除します。
- 実行時間: SAPOは、PPOと比較して1イテレーションあたりの実行時間を 33.2% 短縮しました。主な削減要因は、別個の価値推論およびクリティック最適化ステージの除去であり、ALFWorldにおける1イテレーションあたりの総時間を451.2秒から301.4秒へと短縮しました。
安定性: 本手法は、プロンプトあたり単一のロールアウトから安定して学習を行い、疎なフィードバック下で見られるグループ相対的手法の「アドバンテージの崩壊」問題を回避しました。

5. 意義と主張

本論文は、SAPOが、アクター・クリティック・アルゴリズムの明示的な価値汎化と、クリティックレスなグループ相対的最適化のメモリ/計算効率との間の緊張関係を解消すると主張しています。

アーキテクチャの整合性: 著者らは、アクター・クリティック学習に必要な情報の流れが、言語生成の因果順序と自然に一致していると主張しています。この整合性を活用することで、SAPOは単一の因果モデル内での効率的な価値ベースの最適化を可能にします。
スケーラビリティ: 本フレームワークは、明示的な価値学習には、モデルの複製や高コストなサンプリングを必要としないことを示しており、効率的な長期・エージェンティックRLへの実行可能な道筋を提供しています。
汎用性: 実験結果は、オートレグレッシブ・モデリングとアクター・クリティック学習の間のアーキテクチャ上の整合性が、タスク固有の密な報酬エンジニアリングへの依存を軽減できることを示唆しています。これは、本手法が疎な結果報酬（outcome rewards）を用いて良好な性能を発揮することからも裏付けられています。

結論として、SAPOは、複雑でマルチターンな相互作用において、エージェンティックRLをよりスケーラブルかつ実用的なものにするための重要な一歩であると述べられています。