技術的概要：動的分散適応型優位性最適化（DVAO）

問題定義

強化学習（RL）は、特に価値モデルを別途必要としないグループ相対方策最適化（GRPO）を通じて、大規模言語モデル（LLM）を人間の意図に整合させるための標準的なパラダイムとなっています。しかし、実世界での展開では、精度対出力長さ、ツール使用の正しさ対フォーマット準拠など、しばしば矛盾する複数の目的を同時に最適化する必要があります。

GRPO における多報酬設定の処理に関する現在の標準的な慣行は、主に以下の 2 つの方法によるスカラー化に依存しています：

1. 報酬結合（RC）： 優位性を計算する前に生報酬を線形結合する。本論文は、このアプローチが頻繁に過度に大きな二乗大きさを持つ優位性を生成し、不安定な方策勾配と学習の不安定性を引き起こすことを実証しています。
2. 優位性結合（AC）： 個別の優位性を計算するために報酬を独立して正規化し、その後静的な重みでそれらを結合する。これは大きさの爆発を緩和しますが、固定されたハイパーパラメータに依存し、目的を孤立したタスクとして扱います。この「単純な非結合」は、単一のロールアウト中に目的間の相乗的または拮抗的な相関を捉えることに失敗し、しばしば最適ではないトレードオフをもたらします。

手法：DVAO

著者は、大きさの爆発と目的の孤立という限界に対処するために、**動的分散適応型優位性最適化（DVAO）**を提案します。DVAO は、ロールアウトグループ内の各目的の実証的報酬分散に基づいて結合重みを調整する、完全に動的でデータ駆動型の重み付け方式です。

中核メカニズム

固定された重み $w_k$ を使用する代わりに、DVAO はサイズ $G$ のロールアウトグループ内の各目的 $k$ に対して動的な重み $\tilde{w}_k$ を計算します：
$$\tilde{w}_k = \frac{w_k \sigma_k^i}{\sum_l w_l \sigma_l^i}$$
ここで、$\sigma_k^i$ は、与えられたクエリ $x_i$ に対する $G$ 個のロールアウト全体にわたる $k$ 番目の報酬の標準偏差です。

最終的な DVAO 優位性は以下のように計算されます：
$$A_{DVAO}^{(i,j)} = \sum_k \tilde{w}_k A_k^{(i,j)} = \frac{\sum_k w_k \sigma_k^i A_k^{(i,j)}}{\sum_l w_l \sigma_l^i}$$

このメカニズムは、より高い分散（より強く、情報量の多い学習信号を示す）を持つ目的の重みを上げ、低い分散（ノイズまたは飽和した信号を表す可能性がある）を持つ目的の重みを下げます。

理論的性質

本論文は、DVAO の 2 つの重要な性質を確立する数学的証明を提供しています：

1. 有界な優位性大きさ： DVAO は、結合された優位性の大きさが厳密に有界であり、報酬結合によって生成される優位性よりも点ごとに小さく、または等しいことを保証します（命題 2）。これにより、大きさの爆発に伴う学習の不安定性が防止されます。
2. 自己適応型クロス目的正則化： 単一目的の勾配感度がその孤立した性能のみに依存する優位性結合とは異なり、DVAO の感度は、グローバルな多目的性能（$A_{DVAO}^{(i,j)} A_k^{(i,j)}$）を含むクロス項に依存します。これにより、単一の目的の学習信号を、その特定のロールアウトにおけるモデルの全体的な性能に基づいて動的に変調する暗黙的な正則化メカニズムが生成され、単一指標の貪欲な過最適化ではなく、相乗的な整合性が促進されます。

実験結果

著者は、Qwen3（4B/8B）および Qwen2.5（3B/7B）モデルを使用して、数学的推論およびツール使用のベンチマークにおいて DVAO を評価しました。

• 数学的推論（精度対長さ）： DVAO は、ほぼ完璧な長さ準拠（Qwen3-4B で 100%、Qwen3-8B で 99.99%）を維持しながら、最高平均精度を達成しました。対照的に、報酬結合および優位性結合の手法は、精度を長さのために犠牲にするか、その逆のトレードオフを強いました。GDPO は高い長さ準拠を達成しましたが、すべての手法の中で最低の精度に苦しみました。
• ツール使用（正しさ対フォーマット）： Berkeley Function Call Leaderboard（BFCL-v4）において、DVAO は精度とフォーマット準拠の両方でベースラインを大幅に上回りました。特に、GRPO や優位性結合がフォーマット準拠に苦戦していたのに対し（7B モデルではしばしば 0% に近い）、DVAO は精度を犠牲にすることなく高い準拠を維持しました。
• 学習ダイナミクス： 学習曲線の可視化は、DVAO がベースラインと比較して有意に低い分散（標準偏差）でより高い平均報酬を達成したことを示しました。DVAO 下での報酬の標準偏差はより急速に収束し、安定した収束を示しました。
• パレートフロンティア分析： 重みハイパーパラメータを掃引することにより、著者は DVAO がトレードオフの全範囲にわたって一貫してパレートフロンティアを支配し、固定重みのベースラインが飽和や不安定性などの失敗モードを示すことを実証しました。

主要な貢献と意義

本論文は、以下の貢献を主張しています：

1. 理論的欠陥の特定： 既存のスカラー化手法における根本的な理論的欠陥、すなわち報酬結合における大きさの爆発と、優位性結合における目的の孤立を形式的に明らかにしました。
2. DVAO アルゴリズム： 実証的報酬分散に適応する、ハイパーパラメータ不要の動的重み付け方式の提案。
3. 理論的保証： DVAO が安定性のための有界な優位性大きさを維持し、暗黙的なクロス目的正則化メカニズムを導入することを数学的に証明しました。
4. 実証的優位性： 手動での重み調整を必要とすることなく、既存のベースラインよりも効果的に競合する目的（精度、長さ、フォーマット）をバランスさせ、優れた多目的パレートフロンティアを達成することを示す広範な実験。

著者は、DVAO が LLM における多目的整合性に対する堅牢な解決策を提供し、実世界アプリケーションに固有の複雑で矛盾する要件の安定した学習と相乗的な最適化を可能にすると結論付けています。今後の研究として、より多くの矛盾する報酬関数を有する環境へのスケーリングと、より広範な整合パラダイムへのメカニズムの拡張が提案されています。