AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning

LLM の推論タスク向けに、生成と学習を完全に非同期化し、staleness 制御や最適化技術により GPU 利用率を大幅に向上させ、同期方式に比べ最大 2.77 倍のトレーニング速度向上を実現する大規模非同期強化学習システム「AReaL」を提案する論文です。

要約

🍳 従来のシステム：「完璧な同期」の悲劇

まず、これまでの一般的な AI 学習システム（同期型）がどう動いていたかを見てみましょう。

これは**「巨大な厨房で、全員が同じタイミングで料理を作る」**ようなものです。

1. シェフ（生成）： 複数のシェフが同時に料理（回答）を作り始めます。
2. 待機： しかし、**「一番遅いシェフが料理を完成させるまで、誰も次の工程に進めない」**というルールがあります。
   • シェフ A は 1 分で完成しましたが、シェフ B は 10 分かかりました。
   • シェフ A は 9 分間、ただボーッと待たなければなりません。
3. 料理長（学習）： 全員が料理を終わらせてから、料理長が味見（評価）をして、レシピ（AI の脳みそ）を修正します。

問題点：

• 時間の無駄： 早いシェフが待っている間、高性能なコンロ（GPU）が空転しています。
• 非効率： 料理の長さ（回答の長さ）がバラバラな場合、この「待ち時間」が非常に長くなり、全体の生産性が極端に落ちます。

---

🚀 AReaL システム：「流れ作業」の革命

AReaL は、この「待ち時間」を完全にゼロにするために考案されました。これは**「流れるように動く工場の生産ライン」**のようなものです。

1. 完全な非同期（アシンクロナス）

AReaL では、「料理を作る人（生成ワーカー）」と「レシピを修正する人（学習ワーカー）」が完全に別々のチームとして動きます。

• 生成チーム： 待たずに、次々と新しい料理（回答）を作り続けています。「一番遅い人が終わるまで」なんて気にしません。
• 学習チーム： 料理が「ある程度」溜まったら、すぐに味見をしてレシピを修正します。
• 連携： レシピが修正されると、生成チームに「新しいレシピだよ！」と通知が飛びます。生成チームは、今作っている料理の途中でも、新しいレシピを適用して作り続けます。

メリット：

• 無駄がない： 誰も待たないので、高性能なコンロ（GPU）が常にフル稼働します。
• 結果： 論文によると、同じ数のコンロを使っても、最大で 2.77 倍も速く学習が進みました。

---

🧩 難しい課題と AReaL の解決策

「待たずに進める」ことには、一つ大きなリスクがありました。
**「古いレシピで料理したものと、新しいレシピで料理したものが混ざってしまう」**ことです。

• リスク： 料理長が「古いレシピ」で料理されたものを食べて評価すると、「今の味付け（最新の AI）には合わない」という誤った学習をしてしまう可能性があります。

AReaL の工夫：「古さ」を許容する賢いレシピ

AReaL は、この問題を 2 つの工夫で解決しました。

1. 「古さ」の制限（Staleness Control）：

   • 「あまりに古いレシピ（数ステップ前のもの）は使わない」というルールを作りました。
   • でも、完全に同期するほど厳しくせず、「ある程度古くても大丈夫」という範囲（許容値）を設けて、生産性を優先しました。

2. 新しい数学的な計算式（Decoupled PPO）：

   • 従来の学習アルゴリズムは「すべて同じレシピで作られた料理」を前提としていましたが、AReaL は**「混ぜられた料理でも、それぞれの古さを考慮して正しく味見ができる」**新しい計算式を開発しました。
   • これにより、古いデータを使っても AI の性能が落ちるのを防ぎ、むしろ安定して学習を進められます。

---

🏆 実験結果：速くて、賢い

このシステムを使って、数学の問題やプログラミングの課題で AI を鍛えた実験を行いました。

• スピード： 従来のシステムに比べ、最大 2.77 倍の速度アップ。
• 性能： 速くなっただけでなく、最終的な AI の賢さ（正解率）も向上しました。
• 拡張性： GPU を増やしても、効率が落ちずにスムーズにスケールしました。

💡 まとめ

AReaL は、「全員が揃うのを待つ」という非効率なルールを捨て、「流れるように作り続ける」新しい学習スタイルを導入しました。

• 従来の方法： 「一番遅い人が終わるまで、全員が待機」→ 時間の無駄が多い。
• AReaL の方法： 「作れる人が作り続け、溜まったら即座に修正」→ 常にフル回転で、賢くもなる。

これは、AI がもっと複雑な思考（数学やプログラミング）をできるようになるための、**「超高速トレーニングシステム」**の誕生と言えます。

技術概要

AReaL: 言語推論のための大規模非同期強化学習システム

技術的サマリー（日本語）

1. 背景と課題

大規模言語モデル（LLM）の推論能力を強化する手法として、強化学習（RL）が注目されています。特に、数学やコーディングなどの複雑な推論タスクにおいて、思考プロセス（Chain-of-Thought）を生成する「Large Reasoning Models (LRM)」の訓練には、膨大な量のロールアウト（生成）データが必要となります。

既存の大規模 RL システムの多くは**同期型（Synchronous）**のアプローチを採用しています。これは、バッチ内のすべての生成が完了するまでモデルの更新を待機する方式です。しかし、LRM における生成長はプロンプトによって大きく変動するため、この同期方式には以下の重大な欠点があります。

• GPU 利用率の低下: バッチ内の最も長い生成が完了するまで、他の GPU は待機状態となり、計算リソースが遊休化します。
• スケーラビリティの限界: 同期処理のオーバーヘッドにより、GPU 数を増やしてもスループットが線形に向上しません。
• 非効率なバッチ処理: 生成と学習を厳密に交互に実行するため、システム全体のスループットがボトルネックとなります。

2. 提案手法：AReaL

本研究では、これらの課題を解決するためにAReaL（A Large-Scale Asynchronous Reinforcement Learning System）を提案しました。AReaL は、生成（ロールアウト）と学習（トレーニング）を完全に非同期にデカップリングするシステムです。

システムアーキテクチャ

AReaL は以下の主要コンポーネントで構成されます：

1. Interruptible Rollout Worker: 生成タスクを担当。新しいプロンプトを受け取り、レスポンスを生成します。重要な特徴として、モデル更新の信号を受け取ると、進行中の生成を**中断（Interruptible）**し、新しいモデル重みを即座に読み込んで生成を再開します。これにより、異なるモデルバージョンのトークンが混在する軌跡（Trajectory）が生成されます。
2. Trainer Worker: 学習タスクを担当。リプレイバッファからデータをサンプリングし、PPO（Proximal Policy Optimization）アルゴリズムを用いてモデルを更新します。
3. Rollout Controller: 生成ワーカー、報酬サービス、モデルワーカーを調整し、データの鮮度（Staleness）を管理します。
4. Reward Service: 生成された回答の正解性を評価（例：数学の正誤判定、コードの単体テスト実行）します。

技術的革新とアルゴリズム的課題への対応

非同期化により生じる「データの古さ（Staleness）」と「ポリシーの不一致」の問題を解決するため、以下のアルゴリズム的改良を施しています。

• Staleness-Aware Training（鮮度認識トレーニング）:
  訓練バッチに含まれるデータの最大古さ（スタレネス）を制御するハイパーパラメータ $\eta$ を導入します。これにより、極端に古いデータが学習に与える悪影響を防ぎつつ、システムのスループットを最大化するバランスを取ります。

• Decoupled PPO Objective（分離型 PPO 目的関数）:
  標準的な PPO は、すべてのデータが単一の古いポリシー（$\pi_{old}$）から生成されたことを前提としていますが、AReaL では生成中にモデルが更新されるためこの前提が崩れます。
  本研究では、**行動ポリシー（$\pi_{behav}$）と近接ポリシー（$\pi_{prox}$）**を分離した新しい目的関数を提案しました。

  • $\pi_{behav}$: 軌跡をサンプリングした実際のポリシー（異なるバージョンの混合）。
  • $\pi_{prox}$: 最近のモデル（高品質な基準）。
    これにより、古くなったデータや異なるバージョンのトークンから生成された軌跡であっても、安定した学習を可能にします。

• システム最適化:

  • 可変長バッチング: 生成長のばらつきに対応するため、パディングなしの動的マイクロバッチ割り当てアルゴリズムを採用。
  • 並列報酬サービス: 報酬計算を CPU スレッドで非同期実行し、GPU 生成とオーバーラップさせます。
  • 中断可能な生成: 長い生成タスクを途中で中断し、新しい重みで再開する仕組みにより、クリティカルパスを短縮します。

3. 実験結果

AReaL は、数学推論（AIME24, MATH 500 など）とコード生成（LiveCodeBench）のタスクにおいて、1.5B から 32B パラメータまでのモデルで評価されました。

• トレーニング速度の向上:
  同期型システム（verl など）と比較し、最大 2.77 倍のトレーニング速度向上を達成しました。特に、32B モデルのコード生成タスクでは、同期方式で 48.8 時間かかっていたものが、AReaL では 21.9 時間で完了しています。
• スケーラビリティ:
  512 GPU までのスケーリング実験において、AReaL はほぼ線形のスケーリングを示しましたが、同期システムは OOM（メモリ不足）やスループット低下によりスケーリングが困難でした。
• 性能の維持・向上:
  速度向上だけでなく、最終的なモデルの精度（Pass@1）は同期システムと同等か、場合によっては向上しました。これは、適切なスタレネス制御と分離型 PPO により、非同期学習の不安定性を克服できたことを示しています。
• アブレーション研究:
  • 単純な PPO を非同期環境で適用すると性能が劣化しますが、分離型 PPO 目的関数を導入することで安定性が回復しました。
  • 適度なスタレネス（$\eta \le 8$）を許容することで、性能を犠牲にすることなくスループットを大幅に向上できることが確認されました。

4. 意義と結論

AReaL は、大規模言語モデルの強化学習訓練におけるシステム効率のボトルネックを根本的に解決する画期的なアプローチです。

• システム設計の転換: 生成と学習を厳密に同期させる従来のパラダイムから、非同期かつストリーミング処理を行う新しいパラダイムへ移行しました。
• アルゴリズムとシステムの共設計: 単なるシステム最適化にとどまらず、非同期環境に適応した新しい PPO 変種（分離型目的関数）を開発し、アルゴリズムとシステムの両面から課題を解決しました。
• 将来への貢献: この研究は、大規模 AI システムのトレーニングコストを削減し、より複雑な推論タスクやエージェントタスクへの RL 適用を現実的なものにする基盤技術となります。

コードはオープンソースとして公開されており（GitHub: inclusionAI/AReaL）、今後の大規模 RL 研究の標準的な基盤となる可能性を秘めています。