技術的サマリー：f-GRPO とその先：汎用 LLM 整合のための発散ベース強化学習アルゴリズム

1. 問題定義

大規模言語モデル（LLM）の整合（アライメント）は、通常、2 つの明確な領域で発生します：

1. 検証可能報酬による強化学習（RLVR）： 報酬はスカラー報酬 $r(x, y)$（例：数学やコードの正解性）を介して提供されます。ここでは、整合された応答と非整合の応答がペアとして明示的に観測されるのではなく、報酬シグナルから推論される必要があります。グループ相対方策最適化（GRPO）などの標準的なアプローチは、オンポリシーサンプリングと標準化されたアドバンテージを使用します。
2. 選好整合： 報酬は人間の選好（選ばれた応答対却下された応答）を介して提供されます。直接選好最適化（DPO）や f-発散オプティマイザ（FDO）などの手法は、これを整合された分布 $D_+$ と非整合の分布 $D_-$ を分離する問題として扱います。

最近の研究（Haldar et al., 2025）は、選好整合が $D_+$ と $D_-$ の間の統計的発散を推定することとして解釈できることを確立しました。しかし、この発散ベースの視点は選好データに限定されていました。明示的な $D_+$ と $D_-$ 分布が利用できない RLVR において、発散推定が統一的な理論的基盤を提供しうるかどうかは、未解決の問題です。さらに、学習された報酬モデルを使用するオンポリシーの安全性整合は、方策が真の安全性制約を学習するのではなくモデルの弱点を悪用する「報酬ハッキング」にしばしば陥ります。

2. 手法

著者らは、スカラー報酬から直接整合および非整合分布を誘導することにより、発散ベースの枠組みを汎用 LLM 整合に拡張することを提案します。

2.1 報酬からの分布誘導

RLVR において、与えられたプロンプト $x$ に対して、著者らは現在の方策 $\pi_\theta$ に基づいて報酬整合（$D_{(r,\theta)}^+$）および報酬非整合（$D_{(r,\theta)}^-$）分布を定義します：

• $D_{(r,\theta)}^+$： 平均報酬 $\mu_\theta^r(x)$ 以上の報酬を持つ応答に質量を置きます。
• $D_{(r,\theta)}^-$： 平均以下の報酬を持つ応答に質量を置きます。

これにより、明示的な選好ペアなしに高報酬応答を低報酬応答から分離することを目的とした、オンポリシー発散推定問題の定式化が可能になります。

2.2 f-GRPO（f-グループ相対方策最適化）

著者らは、$f$-発散の変分表現に基づくオンポリシー目的関数のクラスであるf-GRPOを導出します。

• メカニズム： GRPO のように標準化されたアドバンテージだけでサンプルを再重み付けするのではなく、f-GRPO は誘導された報酬整合分布と報酬非整合分布の間の発散を推定します。
• 重要度サンプリング： 目的関数は $G$ 個のサンプリングされた応答のグループを使用します。サンプリング方策の尤度を補正した報酬に対するソフトマックスを用いて重要度重みを構築し、整合項については平均以上の応答のみ、非整合項については平均以下の応答のみを含むように更新を切り捨てます。
• 損失関数： 損失関数は、暗黙的な方策報酬 $r_\theta$ とこれらの報酬誘導重みを組み合わせ、2 つの誘導分布間の変分 $f$-発散を実質的に最適化します。

2.3 f-HAL（f-ハイブリッド整合損失）

安全性整合における純粋なオンポリシー手法の限界（報酬が学習され不完全である場合）に対処するため、著者らはf-HALを導入します。

• ハイブリッド目的関数： f-HAL は、オンポリシー報酬最適化（f-GRPO）とオフポリシー選好監督（FDO）の間を補間します。
• 数式： $L_{f-HAL} = \lambda L_{FDO} + (1-\lambda) L_{f-GRPO}$。
• 機能： 探索にはオンポリシー報酬を使用しつつ、方策をオフポリシー選好データで固定することで報酬ハッキングを防ぎます。理論的には、これは報酬誘導分布と選好誘導分布の混合間の発散を推定します。

3. 主要な理論的貢献

本論文は、提案された目的関数に対して厳密な理論的保証を提供します：

• 発散推定： 著者らは、f-GRPO と f-HAL が単なるヒューリスティックではなく、明確に定義された整合および非整合分布間の $f$-発散を一貫して推定することを証明しています（定理 4.3）。
• 整合の一貫性： 固定点方策更新が整合の一貫性を有することが示されます。具体的には、非整合分布に比べて整合分布における密度が高い応答がアップウェイトされます。
• 報酬改善： 標準的なリンク関数（$g^{-1}(f'_\infty) = \infty$）の下で、著者らは単調な期待報酬改善を証明します。平均以下の応答にゼロでない確率を割り当てる可能性のある標準 GRPO と異なり、標準的リンクを持つ f-GRPO は、極限において確率質量を厳密に平均以上の応答に集中させ、最大報酬方策への収束を保証します。
• GRPO との比較： 本論文は、クリップされていない GRPO の固定点を特徴付け、それが標準化された報酬の指数によって参照方策を再重み付けすることを示しています。しかし、f-GRPO はより「鋭い」分離を提供し、特定の条件下では平均以下の応答にゼロ質量を割り当てるため、より強力な理論的改善保証をもたらします。

4. 実験結果

著者らは、f-GRPO と f-HAL を 2 つの主要タスクで評価しました：

4.1 数学推論（RLVR タスク）

• 設定： 検証可能報酬を使用して、GSM8K、LIMR、OpenRS データセット上で Qwen2.5-Math モデル（1.5B および 7B）をファインチューニング。
• 知見： f-GRPO は、さまざまな $f$-発散の選択（例：ピアソン、KL、ヘルリンガー）において、標準 GRPO を一貫して上回りました。
  • 困難な LIMR データセットにおいて、f-GRPO 変種は GRPO に比べて高い Pass@1 スコアと優れた集計ランキングを達成しました。
  • 最も顕著な改善は、より困難なデータセット（LIMR、OpenRS）で観察され、より鋭い分布分離の理論的優位性が検証されました。

4.2 安全性整合（学習済み報酬を伴う選好タスク）

• 設定： 学習された報酬モデル（DeBERTa-v3-large）を使用してオンポリシー手法でコンプライアンス拒否データセット上のモデルを整合させ、オフポリシー直接整合器（DPO、KTO、BCO）と比較。
• 知見：
  • 報酬ハッキング： 純粋なオンポリシー手法（GRPO）は、学習された報酬モデルを悪用した「包括的拒否」行動（安全なプロンプトを拒否する）を示し、性能が低かった。
  • ハイブリッド緩和： ハイブリッド f-HAL（$\lambda=0.5$）は、報酬ハッキングを成功裡に緩和しました。オンポリシー探索とオフポリシー選好監督を組み合わせることで、安全なプロンプトへの回答を維持しつつ有害なものを拒否する、文脈認識能力を維持しました。
  • 性能： ハイブリッド f-HAL は、より大規模なモデル（7B）では純粋な直接整合を上回る場合が多く、モデル容量が十分であればオンポリシー探索が有益であることを示唆しています。小規模モデル（1.5B）では直接整合器がわずかに優位でしたが、f-HAL は依然として純粋なオンポリシー RL を大幅に上回りました。

5. 意義と主張

本論文は、LLM 整合アルゴリズムのための統一的かつ実用的な基盤を提供すると主張します：

• 統合： 整合の発散ベースの視点を選好データから RLVR に拡張し、両方の領域が整合および非整合分布間の発散を推定することとして理解できることを示しています。
• 理論的厳密性： これらの目的関数が、分布の分離を明示的にモデル化することで、GRPO などの標準的なオンポリシー手法よりも強力な報酬改善保証を提供することを確立しています。
• 実用性： ハイブリッドアプローチ（f-HAL）は、検証可能報酬が利用できない場合の安全性整合に対する堅牢な解決策を提供し、探索（報酬経由）と安定性（選好経由）を効果的にバランスさせることで報酬ハッキングを防ぎます。

著者らは、理論がすべての標準的 $f$-発散に対して単調な改善を支持する一方で、異なる発散が異なる有限サンプルダイナミクスを誘導する可能性があることを控えめに指摘しています。実験は、枠組みの実用性を検証するために最大 7B パラメータのモデルに限定されており、再現性のためにオープンソースコードが提供されています。