技術要約：マルチ報酬方策最適化のための飽和度を考慮したアドバンテージ再重み付け (SA-MRPO)

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR）は、推論能力を向上させるための大規模言語モデル（LLM）のポストトレーニングにおける標準となっています。Group Relative Policy Optimization (GRPO) やその派生形は、学習された価値関数を排除することでこのプロセスを簡素化しましたが、これらは通常、単一のスカラー報酬を想定しています。実際には、推論モデルは、正解性、レスポンスの長さ、フォーマットの遵守、安全性、実行可能性といった複数の目的を同時に満たす必要があります。

マルチオブジェクティブ（多目的）最適化の標準的なアプローチでは、グループ単位の標準化を行う前に、これらの報酬を固定された重み付き和としてスカラー化します。著者らは、この設計における2つの根本的な限界を指摘しています。

1. 報酬解像度の喪失： 異なる報酬プロファイルが同じスカラー値に収束してしまう可能性があります。例えば、「正解性は高いがフォーマットが不適切」なロールアウトと、「正解性は低いがフォーマットは完璧」なロールアウトが、加重和が同一であれば、同じスカラー報酬（したがって同じアドバンテージ）を受け取ることになります。
2. 目的の飽和の無視： 固定された重みは、各目的の現在の状態に関わらず、トレーニング中を通じてすべての目的を等しく重要として扱います。もし補助的な目的（例：フォーマットの遵守）がすでに飽和状態（解決済み）にある場合、最適化プロセスは依然としてそれに対して勾配予算を割り当て続けてしまいます。これは、改善の余地（ヘッドルーム）がまだ大きく残されている、より困難で未最適化の目的（例：数学的正解性）から努力を逸らすことになります。

GDPO（Group reward-Decoupled Policy Optimization）のような既存の手法は、報酬を独立して正規化することで第1の問題に対処していますが、第2の問題には対処できていません。なぜなら、それらは依然として各目的の飽和レベルに適応しない固定された重みに依存しているからです。

2. 手法：SA-MRPO

著者らは、**飽和度を考慮したアドバンテージ再重み付けによるマルチ報酬方策最適化（SA-MRPO）**を提案しています。この手法は、目的ごとの正規化を維持しつつ、各目的の現在の飽和度に基づいてアドバンテージを適応的に再重み付けします。

コアメカニズム

ロールアウトのバッチと $n$ 個の報酬目的に対し、SA-MRPOは以下のように飽和度を考慮したアドバンテージを計算します。

1. 飽和度の推定： 各目的 $k$ について、目的の到達可能な範囲 $[r^{(k)}_{min}, r^{(k)}_{max}]$ に対するバッチ平均報酬 $\bar{r}^{(k)}$ を用いて、飽和率 $s^{(k)}$ を推定します：
   $$s^{(k)} = \frac{\bar{r}^{(k)} - r^{(k)}_{min}}{r^{(k)}_{max} - r^{(k)}_{min}} \in [0, 1]$$
   $s^{(k)}$ が1に近い値は、その目的が飽和している（最大報酬に近い）ことを示し、0に近い値は、改善の余地が大きく残されていることを示します。

2. 適応的再重み付け： 各目的の規定された重み $w_k$ は、指数 $\gamma \ge 0$ によって制御される飽和係数によって変調されます：
   $$\tilde{w}_k = w_k (1 - s^{(k)})^\gamma$$
   目的が飽和に近づくにつれ（$s^{(k)} \to 1$）、有効な重み $\tilde{w}_k$ は減少します。逆に、飽和度の低い目的は、より高い重みを維持します。

3. アドバンテージの構築： ロールアウトに対する集約アドバンテージは、飽和調整された重みを用いて、個々の目的の正規化されたアドバンテージを合計することで計算されます：
   $$\tilde{A}^{(i,j)} = \sum_{k=1}^n \tilde{w}_k A^{(i,j)}_k$$
   ここで、$A^{(i,j)}_k$ は目的 $k$ に関するグループ相対アドバンテージです。この集約値は、標準的なクリップされたサロゲート目的関数で使用される前に、バッチ全体で正規化されます。

理論的特性

• 汎用性： SA-MRPOは、GDPO（$\gamma=0$ の場合）およびGRPO（単一目的設定の場合）を厳密に一般化しています。
• 方向性の変化： 単純なリスケーリングとは異なり、飽和度を考慮した再重み付けは、更新の符号を反転させることができます。もし飽和した目的が未最適化の目的と競合する場合、飽和した目的の重みを減らすことで、集約アドバンテージが反転し、結果として未最適化の目的を優先するように方策更新の方向を効果的に変えることができます。
• 競合の処理： この手法は、未最適化の目的を優先することが、以前に最適化された目的の性能を低下させる可能性があることを認めています。しかし、著者らは、未最適化の目的を改善することによる利得が、飽和した目的の損失を上回るため、これは全体的なパフォーマンスを最大化するために必要なトレードオフであると主張しています。

3. 主な貢献

1. 問題の特定： 本論文は、スカラー化されたマルチ報酬最適化が、報酬解像度の喪失と、より深刻な問題として、目的の飽和を無視することによる最適化努力の非効率な割り当てに苦しんでいることを明らかにしました。
2. アルゴリズムの提案： SA-MRPOは、到達可能な報酬範囲に基づいて正規化された報酬目的を動的に再重み付けるメカニメントを導入しました。これは、単なる大きさの変化だけでなく、方策更新の方向自体を変え得ることを示しています。
3. 実証的検証： この手法は、数学的推論、適応的推論、およびコード生成において検証されています。SA-MRPOは、飽和した目的から未最適化の目的へと最適化の努力を一貫してシフトさせ、前者の性能を維持しながら後者を改善しています。

4. 実験結果

著者らは、多様な設定においてSA-MRPOをGDPOおよびベースラインモデルと比較評価しました。

• 数学的推論： Qwen2.5モデル（3Bおよび7B）を用い、2つまたは3つの目的（正解性、長さ、フォーマット）を使用した場合、SA-MRPOは15件中12件のベンチマーク比較においてGDPOよりも精度を向上させました。特筆すべきは、7BモデルにおいてAIME24で5.0%、MATH500で**3.5%**の向上が見られたことです。決定的なことに、これらの利得は、補助的な長さの目的における性能を大きく低下させることなく達成されました。
• 適応的推論： 明示的に飽和した長さの目的（トークン制限内のレスポンスに最大報酬を与える設定）において、SA-MRPOは5つのベンチマークすべてで平均**3.8%の精度向上を実現し、AMC23では最大9.2%**の利得を記録しました。この手法により、長さの制約が満たされた後、モデルは推論のために追加のトークンを利用できるようになり、容量の有効な再配分が実証されました。
• コード生成： APPSやCodeforcesなどのベンチマークにおいて、実行可能性（満たしやすい）とパス率（難しい）の両方を最適化した場合、SA-MR可是は4つのベンチマーク中3つでパス率を向上させ（最大**2.3%**の利得）、実行可能性についてはGDPOと同等のレベルを維持しました。
• ハイパーパラメータの感度： 飽和指数 $\gamma$ は、未最適化の目的の改善と飽和した目的の保持との間のトレードオフを直接制御することが示されました。中程度の値（例：$\gamma=0.5$）が最適なバランスを提供し、最も高い平均精度をもたらしました。

5. 意義と主張

本論文は、効果的なマルチ報酬方策最適化には、単に報酬スケールのバランスを取るだけでなく、各目的における**「残された有用な改善の余地」**を考慮する必要があると主張しています。

• 動的な割り当て： SA-MRPOは、基礎となるGRPOの方策更新メカニズムを変更することなく、解決済みの問題から、まだヘッドルームがある問題へと勾配予算を動的に再配分するための、原理に基づいた方法を提供します。
• 更新の反転： この手法は更新の符号を反転させる能力を持っており、これは標準的なスカラー化や固定重みのデカップリングにはない能力です。これにより、飽和した目的がより困難な目標と競合する場合、方策が積極的に飽和した目的の優先度を下げることを可能にします。
• 広範な適用可能性： このアプローチは、異なるドメイン（数学、適応的推論、コード）およびモデルスケールにおいて有効であることが示されており、飽和度を考慮した再重み付けが、マルチオブジェクティブRLVRのための堅牢な戦略であることを示唆しています。

著者らは、将来のマルチ報酬最適化戦略は、既に満たされた制約に対して最適化容量を浪費することを避けるために、各目的の飽和状態を明示的に考慮すべきであると結論付けています。