技術要約: SALT – グループベースの方策最適化のための部分空間適応型幾何学プラグイン

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）の推論能力を強化するための標準的なアプローチとなっており、特にグループ相対方策最適化（GRPO）を通じて顕著になっています。GRPOは、クリティック・ネットワークをグループ相対正規化に置き換え、プロンプトごとに複数のロールアウト（$G$）をサンプリングして学習信号を構築することで、スケーラビリティを向上させます。

しかし、本論文は決定的な構造的不全を指摘しています。それは、単にロールアウトの数を増やしても、学習が確実に強化されるわけではないということです。著者らは、GRPO型のグループ正規化の下では、ロールアウトごとの方策勾配の特徴が**低ランクの符号付き幾何学（signed geometry）**に集中する傾向があることを診断しました。

• 符号の相殺（Signed Cancellation）: グループ内でアドバンテージが正規化されるとき、それらの総和はゼロになります。もしロールアウトの勾配特徴が高度に相関（冗長）しており、支配的な方向を共有している場合、正と負の符号付きアドバンテージは集計過程で互いに打ち消し合います。
• 低い実効次元（Low Effective Dimensionality）: この冗長性は、参加比率（Participation Ratio, $PR$）によって測定される「実効次元」および「実効サンプルサイズ（$n_{eff}$）」の低下をもたらします。
• ボトルネック: その結果、ロールアウトのグループサイズ（$G$）を増やしても、集計された更新信号はわずかな残差成分のみに依存し、共有された冗長な成分はグループ中心化メカニズムによって相殺されてしまうため、収穫逓減の法則が働きます。

2. 手法: SALT

これを解決するために、著者らはSALT（Subspace-Adaptive geometry pLug-in componenT）を提案します。SALTは、報酬モデルやロールアウトのサンプリング手順を変更することなく、サンプルごとの勾配幾何学を用いてグループ相対係数を再重み付けするプラグインモジュールです。

コアメカニズム

SALTは、ミニバッチの勾配の幾何学を分析し、更新信号を2つのチャネルに分解することで動作します。

1. 支配的部分空間の推定:

   • SALTは、フルモデルの勾配コストを避けるために、軽量なLMヘッドの勾配プロキシを使用して、勾配特徴の正規化グラム行列を計算します。
   • 固有値分解を実行し、参加比率（$PR$）に基づいた支配的な共有部分空間（$V_k$）を特定します。
   • この部分空間は、相殺されやすい、ロールアウト間で共有される「共通信号」を表しています。

2. デュアルチャネル分解:

   • メインチャネル ($a_{main}$): グループ正規化されたアドバンテージを、支配的部分空間に投影します（$P_k a$）。これにより、核となるグループ相対のフィードバックが保持されます。
   • 探索チャネル ($a_{exp}$): アドバンテージを直交補空間（$P_k^\perp$）に投影し、正の成分のみを保持するようにフィルタリングします（$[a]_+$）。これにより、「残差」または非冗長な方向が分離されます。

3. 適応型再重み付け:

   • SALTは、現在のバッチの実効サンプルサイズ（$n_{eff}$）と反比例する適応的な混合係数 $\alpha_t$ を導入します。
   • 最終的な再重み付け後のアドバンテージは、$a' = a_{main} + \alpha_t a_{exp}$ となります。
   • ロジック: $n_{eff}$ が低いとき（深刻な相殺が発生していることを示す）、$\alpha_t$ が増加し、残差（探索）チャネルを適応的に増幅させることで、本来失われるはずの有用な更新信号を回収します。

計算効率

• プロキシ特徴量: フルモデルの勾配を計算する代わりに、SALTは出力投影（LM-head）の勾配をプロキシとして使用します。これにより、必要なサンプルごとの幾何学を保持しつつ、総パラメータ数ではなくミニバッチサイズ $m=BG$ に比例するスケールを実現します。
• コスト: グラム行列の計算と固有値ソルバーのステップにより、ウォークロックタイムに約**7.7%**のオーバーヘッドが追加されますが、性能向上を考慮すると、これは好ましいコスト・ベネフィットのトレードオフであるとみなされます。

3. 主な貢献

本論文は、主に3つの貢献を挙げています。

1. 現象の診断: 著者らは、グループ相対RLVRが符号付き低ランク冗長性に苦しんでいることを経験的に示しました。ロールアウトごとの勾配特徴が低次元の部分空間に集中し、低い $PR$と$n_{eff}$ を引き起こしていることを示し、これがロールアウトを増やしても学習が改善しない理由であることを明らかにしました。
2. 手法の提案 (SALT): 支配的な共有部分空間を推定し、グループ相対係数を再重み付けする、部分空間適応型プラグインを導入しました。これは、共有信号と残差信号を明示的に分離し、後者を適応的にブーストすることで、相殺に対抗します。
3. 経験的検証: 様々な推論ベンチマーク（AIME, GSM8K, MATH, GPQA）およびモデルスケール（1.5B, 7B）にわたる広範な実験により、SALTが標準的なGRPOやDAPOと比較して、一貫して性能と実効更新幾何学を向上させることを検証しました。

4. 実験結果

著者らは、DeepSeek-Distill-Qwenモデル（1.5Bおよび7B）を用いて、多様な推論指向のRLVRベンチマークでSALTを評価しました。

• 性能向上: SALTは、バニラGRPOおよびDAPOを一貫して上回りました。平均して、設定全体で約**+2.54パーセントポイント**の精度向上を実現しました。特にAIME24やGPQAにおいて顕著な利得が見られました。
• 幾何学の改善: エントロピーベースの正則化手法（サンプリングの多様性は高めるが、更新幾何学の改善には至らない）とは異に、SALTは $PR$と$n_{eff}$ の両方を大幅に増加させました。これは、SALTがロールアウトを、多様で相殺されない更新信号へと正常に変換できていることを示しています。
• ロールアウトのスケーリング: 固定されたロールアウト予算を用いた実験において、SALTはより大きなグループサイズ（$G$）を効果的に利用できることを示しました。ベースラインは $G$ の増加に伴って収穫逓減を示しましたが、SALTは高い $n_{eff}$ を維持し、性能向上を継続したため、より大きなロールアウトグループを単に計算コストの高いものにするのではなく、「有用なもの」にできることが証明されました。
• アブレーション研究: デュアルチャネル構造または適応的混合メカニズムのいずれかを削除すると性能が低下したことから、共有信号と残差信号の分離、および混合強度の動的調整の両方が必要であることが確認されました。

5. 意義と主張

本論文は、GRPOにおけるロールアウトの非効率性は、単なるサンプリングの問題ではなく、残差的で非冗長な信号を集約できていないことによる失敗であると主張しています。

• 視点の転換: 本研究は、「応答の多様性を維持する（エントロピー正則化による）」という観点から、「更新幾何学を最適化する」という観点へと焦点をシフトさせています。たとえシーケンスが多様であっても、勾配特徴は冗長になり得るものであり、解決策は幾何学的な再重み付けにあると論じています。
• 実用的な影響: SALTは、性能の劣化を伴わずにロールアウトグループをスケールアップする方法を提供し、計算リソースをより効果的に活用することを可能にします。
• 控えめな主張: 著者らは、SALTがGRPOの不偏な再定式化ではなく、**偏りのある幾何学再重み付けサロゲート（biased geometry-reweighted surrogate）**であることを認めています。その成功は、符号の相殺を減らすことが係数の再重み付けによる歪みを上回るというトレードオフに基づいています。また、LM-headプロキシの使用に関する制限や、アーキテクチャの違いによる効率性の変動の可能性についても言及しています。

要約すると、SALTは、共有された冗長な信号を適応的に抑制し、多様な残差方向を増幅することで、グループベースの方策最適化における実効的な学習信号を強化し、「より多くのロールアウトを意味のあるものにする」ためのメカニズムを提供します。