🤖 machine learning

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

本論文は、グループ単位のサンプリングをシングルロールアウト戦略に置き換え、厳格なトークンレベルのクリッピングを採用することで、GLM-5.2のような複雑なコーディングおよび推論ベンチマークにおける大規模なエージェンティックモデルの学習に成功した、安定かつ効率的な非同期強化学習フレームワークであるSingle-rollout Asynchronous Optimization (SAO) を紹介するものである。

原著者： Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

公開日 2026-07-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、完璧な料理を作るための学生シェフのチームを訓練していると想像してください。かつての古いやり方（この論文では**同期型RL（Synchronous RL）**と呼ばれています）では、総料理長が「全員、調理開始！」と叫んで、ただ待つだけでした。すると、学生たちは皆、自分の料理に取り組み始めます。しかし、ここに問題があります。足が速い学生もいれば、遅い学生もいるのです。足の速い学生たちは料理を完成させると、最も遅い学生が終わるのを待つ間、壁を見つめてただ突っ立っていることになります。全員が終わって初めて、総料理長は料理を試食し、フィードバックを与え、次に何をすべきかを指示できました。これは非常に非効率的であり、キッチンには「待ち時間」という無駄な時間が溢れていました。

これを解決するために、研究者たちは**非同期型RL（Asynchronous RL）**を試みました。このバージョンでは、一人の学生が料理を終えた瞬間に、総料理長が即座にそれを試食してフィードバックを与えます。その学生はすぐに次の料理に取り掛かることができます。キッチンが止まることはありません。これは非常に高速です。

しかし、大きな落とし穴がありました。 総料理長が、異なるタイミングで調理を開始した学生たちの料理を試食していたため、「レシピ」が常に変化し続けていたのです。ある学生は古いレシピに従って調理しており、別の学生は新しいレシピを使っているという状況が生じていました。この混乱により、トレーニングは不安定になり、学生たちは上達するどころか、むしろ料理が悪くなってしまうことがよくありました。また、これらの学生を採点するために使われていた一般的な手法（GRPOと呼ばれます）は、総料理長がグループ全員の料理が終わるのを待ってから成績をつける必要があったため、再び「待ち時間」の問題が発生してしまいました。

この論文の著者たちは、**SAO（Single-Rollout Asynchronous Optimization）**と呼ばれる新しい手法を導入しました。彼らは3つの巧妙なトリックによって、この混乱を解決しました。

1. 「即時フィードバック」のルール（シングル・ロールアウト）

グループ全員のバッチが終わるのを待つのではなく、SAOはこう言います。「一人の学生が料理を終えたら、すぐに採点しなさい。」

比喩: ビデオゲームで、パーティ全員が終わるのを待つのではなく、レベルをクリアした瞬間にスコアが得られるようなものです。これにより、「最も遅いメンバー」を待つという遅延が解消されます。
解決する問題: グループが最も遅いメンバーを待たなくて済むようにし、トレーニングをフルスピードで動かし続けます。

2. 「厳格なセーフティネット」（両側クリッピング）

学生たちが非常に速いペースで作業し、レシピが変化しているため、彼らが突拍子もない、あるいは危険な試みをして暴走してしまうリスクがあります。

比喩: 著者たちは、トレーニングの周囲に「フェンス」を設置しました。もし学生の新しいアイデアが、教師の予想から大きく外れた場合（右に寄りすぎても左に寄りすぎても）、システムは単に無視するのではなく、その特定のミスから学習することを完全にブロックします。それは、「もし後ろ向きに走ろうとしたら、その走りからは一切学ばせない」と言う厳しいコーチのようなものです。
解決する問題: 速いペースによる混乱によって、トレーニングが不安定になったり「爆発」したりするのを防ぎます。

3. 「スーパー・コーチ」（より優れた価値モデル）

従来の「グループ」を用いた手法では、コーチは生徒の料理をクラスメートの料理と比較することで、それが良いものかどうかを判断できました。しかし、この「一人ずつ」行う手法では、比較対象となるクラスメートがいません。コーチは、単独の料理が本当に良いのか悪いのかを知るために、極めて賢くなければなりません。

比喩: 著者たちは、学生シェフよりも「2倍速く」知識を更新する、非常に賢い「価値コーチ（クリティック）」を訓練しました。また、コーチの「直感（アテンション層）」を固定することで、コーチが混乱しないようにし、レシピの具体的な詳細のみを学習できるようにしました。
解決する問題: これにより、たとえ学生が一人で作業していても、グループと比較することなく、コーチが「そう、それは良い動きだ」あるいは「いや、それは良くない」と正確に伝えることができるようになります。

結果

この論文では、この新手法を2つの非常に難しいタスクでテストしました：

コーディング: ソフトウェアのバグを修正するようAIに求める（車の整備士が車を修理するようなもの）。
数学的推論: 複雑な数学の問題を解くようAIに求める（難しい試験を受ける学生のようなもの）。

結果:

旧来の手法（GRPO）は、最初は順調に始まりますが、混乱しすぎるとしばらくしてクラッシュし、失敗してしまいます。
新しい SAO 手法は、長い間（最大1,000ステップまで）スムーズにトレーニングを継続し、一貫してスコアを向上させました。
また、この手法がオンライン学習（Online Learning）、つまりゲームのルールがプレイ中に変化する場面において完璧であることを証明しました。例えば、教師が突然「次は可愛い物語を書いてほしい」と言った場合、SAOで訓練されたAIは素早くスタイルを切り替えることができますが、他の手法は適応するのが遅すぎました。

要約すると、この論文はこう述べています。「グループを待つのはやめましょう。全員が自分のペースで作業できるようにしつつ、厳格なセーフティネットと、知識を即座に更新できる超スマートなコーチを与えてください。これにより、AIのトレーニングはより速く、より安定し、より困難で変化する問題に対してより優れたものになります。」

技術要約：エージェンティックな強化学習のためのシングルロールアウト非同期最適化

問題提起

強化学習（RL）は、長大なホライゾン、コーディング、および複雑な推論を伴うエージェンティックなタスクにおいて、大規模言語モデル（LLM）のポストトレーニングの重要な要素となっています。しかし、既存のRLパイプラインは主に同期型かつバッチインターリーブ型です。これらのシステムでは、ポリシーがバッチのロールアウトを生成し、バッチ全体が収集された後にのみ最適化が開始されます。このアプローチは、軌跡（trajectory）の長さが大きく異なるエージェンティックなワークロードにおいては非効率的です。短い軌跡はすぐに終了しますが、長い軌跡が「ストラグラー（遅延要因）」となり、GPUクラスターの膨大なアイドル時間を発生させます。

非同期RL（ロールアウトが到着するたびにモデルを継続的に更新する手法）は、利用率とウォールクロック効率を向上させる解決策を提供しますが、主に2つの課題をもたらします。

学習の不安定性とオフポリシー・ドリフト: 非同期設定では、ロールアウトは複数の古いバージョンのポリシーモデルによって生成されます。この「ポリシー・ラグ」は、予測不可能なオフポリシー挙動を生み出し、学習を不安定にします。
グループ単位サンプリングとの不適合性: Group Relative Policy Optimization (GRPO) のような広く用いられているアルゴリズムは、グループレベルの平均化を通じてアドバンテージを推定するために、プロンプトごとにレスポンスのグループをサンプリングすることに依存しています。このグループ単位のアプローチは、非同期学習とはミスマッチです。なぜなら、グループは最も遅いメンバーが完了するまで待機しなければならず、レイテンシとオフポリシー・バイアスを再導入してしまうからです。さらに、グループ単位のサンプリングは、環境からプロンプトごとに単一の軌跡フィードバックしか得られないことが多いオンラインまたは複雑なエージェンティック設定には適していません。

手法：シングルロールアウト非同期最適化 (SAO)

著者らは、SAOという、非同期RL学習の効率性を維持しながら安定化させるために設計されたフレームワークを提案しています。SAOは、グループ単位のサンプリングをシングルロールアウト・サンプリング（プロンプトあたり1つのロールアウト）に置き換え、その結果生じるオフポリシーおよび分散の課題に対処するための特定のメカニメントを導入しています。

1. 直接的ダブルサイド重要度サンプリング (Direct Double-Sided Importance Sampling: DIS)

ロールアウトエンジンと学習モデル間の「ポリシー・ラグ」に対し、古いポリシーの履歴を追跡するという計算コストの高い手法を回避するために、以下の手法を用います。

簡略化された比率計算: SAOは、行動プロキシとしてロールアウト・ポリシー（ $\pi_{rollout}$ ）を直接使用し、重要度サンプリングには現在のポリシー（ $\pi_\theta$ ）を使用することで、別途（潜在的に古くなった）「旧ポリシー（ $\pi_{old}$ ）」を追跡する必要性を事実上排除します。確率比は、ロールアウトログから直接計算されます： $r_t(\theta) = \exp(\log \pi_\theta - \log \pi_{rollout})$ 。
ダブルサイド・トークンレベル・クリッピング: 標準的なPPOのクリッピングとは異なり、SAOは厳格なダブルサイド・クリッピング戦略を採用しています。これは信頼領域を $[1-\epsilon_\ell, 1+\epsilon_h]$ に制限します。この範囲外に外れたトークンは、勾配計算から完全にマスクされます。この積極的なマスキングにより、極端なポリシーの乖離による不安定性を防止します。

2. 高度な価値モデリングを伴うシングルロールアウト・サンプリング

グループ単位のサンプリングをシングルロールアウト更新に置き換えることは、レイテンシを削減しますが、勾配の分散を増大させます。これを軽減するために、SAOは特定の価値ネットワーク（Value Model）訓練戦略を導入しています。

高速な価値更新: 価値ネットワーク（ $V_\phi$ ）は、ポリシー（ $\pi_\theta$ ）よりも頻繁に更新されます。具体的には、1回のポリシー勾配更新ごとに、 $K$ 回（実験では $K=2$ ）の価値ネットワーク更新を行います。これにより、アドバンテージ計算に使用される前に、価値推定値が現在のポリシーに迅速に適応することを保証します。
Frozen-Attention（凍結アテンション）訓練: 価値モデルの不安定化を防ぐため、著者らは不安定性が主にFull Attention層から生じることを観察しました。したがって、彼らは価値モデルのアテンション・パラメータを凍結し、Mixture-of-Experts (MoE) プロジェクションのみを最適化します。これにより、事前学習されたアテンション重みを活用しつつ、モデルがタスク固有の価値関数を学習できるようにすることで、価値モデルを正則化します。
Skip-Observation（スキップ観測）トークンレベルGAE: 行動（ $a_i$ ）と環境の観測（ $o_i$ ）が交互に現れるエージェンティックなタスクにおいて、標準的なGeneralized Advantage Estimation (GAE) は、モデルが観測を生成しない境界部分でアドバンテージを計算する際にノイズを導入します。SAOは、現在の行動の価値を次の行動の価値に直接結びつけ、外部環境のフィードバック・トークンをバイパスするSkip-Observation GAEを導出しています。

3. 価値モデルの事前学習スケーリング

著者らは、堅牢な初期化が極めて重要であることを強調しています。彼らは、「コールドスタート」問題に対処するため、価値モデルの事前学習に使用するデータを大幅にスケールアップし、シングルロールアウト学習の初期段階から価値モデルが効果的に機能するようにしています。

主な貢献

安定化メカニズム: 歴史的なポリシーの追跡を不要にし、厳格なダブルサイド・クリッピングによって学習の安定性を維持する、簡略化されたが強力なトークンレベルの重要度サンプリング（DIS）の導入。
シングルロールアウト・パラダイム: 非同期RLにおける同期障壁を排除するために、グループ単位のサンプリングからシングルロールアウト・サンプリングへの転換。これに、結果として生じる分散を管理するための特定の価値モデル訓練設計（高速更新、Frozen Attention）を組み合わせています。
エージェント特化型エスティメータ: モデル生成の行動と環境フィードバックの間の不連続性を正しく扱う、Skip-ObservationトークンレベルGAEエスティメータの導出。
実証的検証: SAOが、多様なベンチマークにおいてGRPOおよびその変種を上回り、1,000ステップ以上にわたって安定して学習できることを実証。

実験結果

SAOは、SWE-Bench Verified、AIME2025、BeyondAIME、HMMT Nov 2025、および IMOAnswerBench を含む、エージェンティックなコーディングおよび数学的推論のベンチマークで評価されました。

パフォーマンス: SAOは、すべてのベンチマークにおいてベースライン（Qwen3-30B-A3B SFT）およびGRPOの変種を一貫して上回りました。
- AIME2025において、SAOは**97.3%**の精度を達成しました（GRPO w/ pythonは84.2%、SFTベースラインは80.4%）。
- SWE-Bench Verifiedにおいて、SAOは**29.8%**の精度を達成し、GRPO（27.0%）およびベースライン（23.0%）を上回りました。
安定性: 標準的なGRPOは160ステップ付近でパフォーマンスの崩壊に見舞われましたが、SAOは安定したパフォーマンスを維持し、1,000ステップまで改善を続けました。
アブレーション研究: 「Faster Value Updates」や「Frozen Attention」などのコンポーネントを削除すると、パフォーマンスの低下が見られました。これは、これらの設計選択の必要性を裏付けています。
オンライン学習: 報酬の好みが変化する（執筆スタイルなど）シミュレートされたオンライン学習設定において、SAOは迅速なポリシー再調整を示しましたが、Running Meanベースラインは顕著な適応遅延を示しました。

意義と主張

本論文は、SAOがLLMの非同期RLにおける効率性と安定性のトレードオフをうまく解決したと主張しています。GRPOに固有のグループ単位サンプリングから脱却することで、SAOは、ロールアウトが到着次第すぐに消費される真の非同期学習を可能にし、ストラグラー効果を排除します。

著者らは、このアプローチが、単一の軌跡フィードバックが常態であるエージェンティックなタスクやオンライン学習のシナリオにおいて特に効果的であると断言しています。オープンな GLM-5.2 モデル (750B-A40P) のトレーニングパイプラインへのSAOの成功したデプロイは、大規模な実環境におけるこの手法のスケーラビリティと堅牢性の実用的な検証となっています。本研究は、適切な価値モデル設計とオフポリシー補正を伴えば、非同期RLが、複雑で長いホライゾンの推論タスクにおいて、同期型バッチ手法に代わる安定した優れた選択肢になり得ることを示唆しています。