テクニカルサマリー: ASymPO: 非同期LLMポストトレーニングのための非対称スケール・ポリシー最適化

1. 問題提起

本論文は、大規模言語モデル（LLM）のポストトレーニングにおける**非同期強化学習（RL）**における決定的な不安定性に対処している。現代的なシステムでは、スループットを向上させるために、レスポンス生成（ロールアウト）とポリシー最適化（学習）を分離することが多い。このセットアップでは、ロールアウトワーカーは最近のポリシーのスナップショットからレスポンスをサンプリングする一方で、学習器はより新しいポリシーを用いて更新を行う。

この非同期性は、**分布ドリフト（distribution drift）**を引き起こす。すなわち、レスポンスを生成した行動ポリシー（$\pi_b$）が、それを用いて学習に使用される現在のポリシー（$\pi_\theta$）と異なる状態である。

• 標準的な解決策: PPOのような手法は、重要度サンプリング比（importance ratio）を計算するために行動ポリシーの確率（log-probs）を使用し、クリッピングを適用する。これには、ロールアウトシステムが、トークンに整合し、バージョン管理され、数値的に一貫した行動ログ確率を学習器に転送する必要があり、インフラストラクチャを複雑にし、数値的なドリフトを招く可能性がある。
• 失敗モード: 著者らは、現在のポリシーのみを用いたナイーブな目的関数（行動ログ確率を省略したもの）が、非同期設定において不安定であることを特定した。具体的には、グループ相対RLにおいて、アドバンテージの総和がゼロ（$\sum A_g = 0$）となる場合において：
  • 古い（stale）負のアドバンテージを持つレスポンスは、正のアドバンテージを持つレスポンスよりも、現在の負の対数確率（negative log-probability）がはるかに大きい傾向がある。
  • これにより、負の側の損失が支配的となり、グループ・ベースラインによって意図されたゼロサムの相殺が崩れる。
  • その結果、モデルが古い負のサンプルを過度に抑制してしまい、正のサンプルからの補償的な信号を受け取ることができなくなるという、学習の崩壊（training collapse）が発生する。

2. メソドロジー

本論文は、行動ポリシーの情報を用いずに学習を安定させるために設計された、2つの「現在のポリシーのみ」の目的関数を提案している。両者は、グループ相対アドバンテージ $A_g$ と、現在のポリシーの平均トークン負対数確率 $S_{\theta,g}$ に基づいて動作する。

2.1 Scaled Policy Optimization (SPO)

SPOは、負のアドバンテージを持つレスポンスの影響を強制的に減少させるヒューリスティックなベースラインである。

• メカニズム: 負のアドバンテージ（$A_g < 0$）に対して固定のスケーリング係数 $\alpha \in (0, 1)$ を適用し、正のアドバンテージ（$A_g \ge 0$）は変更しない。
• 損失関数:
  $$L_{SPO}(\theta) = -\frac{1}{G} \sum_{g=1}^G \frac{1}{m_g} \sum_{i=1}^{m_g} \tilde{A}_g \log p_{g,i}(\theta)$$
  ここで、$\tilde{A}_g = \alpha A_g$ （$A_g < 0$ の場合）、それ以外は $A_g$ である。
• 限界: スケーリング係数 $\alpha$ は手動でチューニングする必要があり、各レスポンスの特定のスケールや、鮮度（staleness）の度合いに適応することはない。

2.2 Asymmetric-Scale Policy Optimization (ASymPO)

ASymPOは、手動のルールを、自動的に損失の寄与をバランスさせる適応的なレスポンスレベルの正規化に置き換えるものである。

• メカニズム: 各レスポンスの損失を、その自身の現在の平均トークン負対数確率（$S_{\theta,g}$）によって正規化する。バックプロパゲーション中に正規化項が更新されるのを防ぐため、分母にはストップグラディエント演算子（$sg$）が適用される。
• 損失関数:
  $$L_{ASymPO}(\theta) = \frac{1}{G} \sum_{g=1}^G A_g \frac{S_{\theta,g}}{sg(S_{\theta,g})}$$
• 理論的保証: 定理2は、ゼロサムのアドバンテージの下で、ASymPOが厳密なレスポンスレベルの損失バランスを保証することを証明している。正のレスポンスのフォワード損失の寄与は、負のレスポンスの寄与の大きさと等しくなり、現在の対数確率のスケールの違いに関わらず成立する。
• 勾配: 勾配は標準的なポリシー勾配の方向を維持するが、各レスポンスの更新の大きさは、自身の現在のスケールによって正規化される。

3. 主な貢献

1. スケール不均衡の特定: 本論文は、現在のポリシーのみを用いる非同期的なグループ相対RLにおいて、負の対数確率のスケールの相違により負のサンプルが損失を支配し、ゼロサムのアドバンテージ・バランスを崩すという特定の失敗モードを形式的に特定した。
2. SPOおよびASymPOの定式化: 行動ポリシーの確率を必要とせずに学習を安定させる2つの目的関数を導入した。ASymPOは、ゼロサムのアドバンテージの下で、正と負の損失寄与を正確にバランスさせることを証明している。
3. インフラストラクチャの簡素化: ASymPOは、よりコンパクトなロールアウト–学習器インターフェースを可能にする。これにより、トークンごとの行動ログ確率、ポリシーバージョン、または学習精度でのロジット再計算の転送が不要になる（表1）。
4. 実証的検証: 提案手法は、3つのモデルファミリー（Qwen3-1.7B, Qwen3-4B, LLaMA-3.2-3B）を用いた数学的推論の非同期RLにおいて評価されている。

4. 実験結果

実験は、スタレネス（staleness）の閾値を0.5とした非同期RLを用いて、数学的推論タスク（MATH, AIME, GSM8Kなど）に対して行われた。

• 安定性:
  • Naive Loss および GPG（重要度サンプリングを回避するがグループ・バランスを欠く手法）は、すべてのモデルファミリーにおいて学習中に**崩壊（collapse）**し、評価可能なチェックポイントを生成できなかった。
  • GRPO（行動修正済み）、SPO、および ASymPO は、安定した学習報酬の軌跡を維持した。
• パフォーマンス:
  • ASymPO は、集計メトリクスにおいて、特に LLaMA-3.2-3B-Instruct および Qwen3-4B-Base において、GRPO（行動修正済みのベースライン）と同等または優れた性能を概して達成した。
  • SPO も崩壊を防ぎ、競争力のある結果を示したが、ASymPOの適応的スケーリングの方が、特定のベンチマーク（例：AIME24, MATH500）においてより良い結果をもたらすことが多い。
  • Qwen3-1.7B-Base では、ASymPO は mean@8 で 36.98 を達成し、GRPO の 37.45 に近い値となった。一方、SPO は 36.41 であった。
• アブレーション: 論文では、SPO が $\alpha$ の選択（実験では 0.2 に設定）に敏感であることが指摘されている。$\alpha=1$ の場合は、ナイーブな損失と同様に崩壊する。$\alpha=0$ の場合は、弱いパフォーマンスを伴う正のサンプルのみのファインチューニングとなる。

5. 意義と主張

本論文は、現在のポリシーの確率（behavior-policy probabilities）は、スケール不均衡を明示的に修正すれば、競争力のある安定した非同期RLにおいて厳密には必要ではないと主張している。

• 実用的な影響: ASymPO は、ロールアウト–学習器間のインターフェースを大幅に簡素化しながら、非同期的なグループ相対RLを安定させるメカニズムを提供する。これにより、行動ログ確率の転送、バージョニング、および数値的一貫性に依存する「正当性条件（correctness condition）」を取り除くことができる。
• 範囲: 著者らは、本研究の貢献を、あらゆる分布ドリフトに対する一般的な解決策ではなく、特定の失敗モード（損失スケールの不均衡）に対処するものとして控えめに位置づけている。また、ASymPO は、行動修正手法のように生成と学習の間のポリシー比率を制限するものではないことも認めている。
• 今後の課題: 論文は、レスポンス・スケール正規化がいつ行動修正を近似するのか、また、いつ明示的な行動ポリシー情報が不可避となるのかを理解するために、さらなる理論的特性付けが必要であると示唆している。