技術概要：探索駆動型強化学習による報酬関数の最適化を通じた LLM 推論の強化

問題定義

数学的推論は、流暢なテキスト生成だけでなく、中間的な一貫性、桁の扱い、そして正確な最終回答を必要とするため、大規模言語モデル（LLM）にとって重要なベンチマークとなります。強化学習（RL）は、LLM を望ましい行動に整合させるための標準的な事後学習メカニズムとして浮上していますが、その有効性は報酬関数の設計に極めて敏感です。現在の手法は、しばしば手動による専門家主導の報酬指定に依存しており、これは誤りを起こしやすく、多大な試行錯誤を要し、意図せず「報酬ハッキング」や脆弱な行動を誘発する可能性があります。さらに、既存の文献は、報酬関数を手作業のルールや訓練済みの報酬モデルといった固定されたインフラとして扱う傾向が強く、それ自体を最適化の対象とはみなしていません。本論文は、RL 事後学習中に使用される報酬指定を、ベースモデルを固定したまま、報酬関数を主要な設計変数として、体系的に探索し改善できるかどうかという問いに答えるものです。

手法

著者らは、報酬関数の指定を反復的な最適化問題として扱う探索駆動型フレームワークを提案します。このパイプラインは 5 ラウンドにわたり動作し、固定されたベースモデルと最先端の LLM をジェネレーターとして使用して、候補となる報酬関数を生成・評価します。

中核コンポーネント

1. ベースモデルと学習設定:

   • モデル: Meta の Llama-3.2-3B-Instruct。ランク 32 の低ランク適応（LoRA）を用いて微調整済み。
   • アルゴリズム: グループ相対方策最適化（GRPO）。PPO における個別のクリティックネットワークを、サンプリングされた出力のグループ相対正規化に置き換えることで、メモリオーバーヘッドを削減し、数学的推論を改善します。
   • データセット: GSM8K（訓練例 7,473 件、テスト例 1,319 件）。
   • 出力形式: 推論と最終回答を分離するため、<thinking> タグと <solution> タグを含む構造化出力。

2. 固定ベース報酬:
   各学習実行には 3 つの保護されたベース報酬が含まれており、生成された候補によって上書きされることはありません。

   • match_format_exactly: <thinking> タグと <solution> タグの正確なペアリングに対して報酬を与えます。
   • match_format_approximately: タグの存在/不在に対して段階的なシグナルを提供します。
   • check_answer: 抽出された数値回答を真値と比較し、完全一致、正規化、比率チェックによる階層型スコアリングで評価します。

3. 探索駆動型生成ループ:

   • ジェネレーター: 最先端の LLM（Kimi K2）が、1 ラウンドあたり 10 個の候補報酬関数を生成します（5 ラウンドで合計 50 個）。
   • プロンプト: ジェネレーターは、20 件のランダムな GSM8K 例、署名仕様、および生成と意味的な重複回避を誘導するための前ラウンドのパフォーマンスのランク付けサマリを受け取ります。
   • 検証: 候補は、安全性と実行可能性を確保するため、4 段階のサンドボックス検証（AST インポートチェック、ロックダウンされた実行、制限された名前空間、プローブ呼び出し）を受けます。
   • スクリーニング: 有効な候補は、3 つのベース報酬 alongside で、GSM8K 訓練スプリット上で 500 ステップの GRPO 学習を受けます。
   • ランキング: モデルは、F1 スコア（適合率と再現率の調和平均）を主要なランキング指標として GSM8K テストセットで評価されます。ランク付けされたサマリは、次の生成ラウンドにフィードバックされます。

4. アンサンブル構築:
   探索後、高性能な報酬はアンサンブルとして組み合わせられます。7 つの構成がテストされ、サイズ（発見された報酬 3 つから 10 つ）と選択戦略（ラウンド全体でのトップランク vs 多様性ベース）が変えられました。アンサンブル報酬は、3 つのベース報酬と選択された発見された報酬の要素ごとの和です。

主要な貢献

1. 報酬探索の定式化: 本論文は、LLM 推論における報酬指定を、実行可能な Python コード上の反復的な「生成–検証–学習–ランキング」ループとして定式化し、報酬そのものを探索対象として扱います。
2. GRPO 統合: この探索ループを、計算効率が高く推論に関連する方策オプティマイザーである GRPO の下で適用し、パラメータ効率の良い微調整の制約内でも報酬発見が可能であることを実証します。
3. アンサンブル分析: 複数の発見された報酬を組み合わせることで、個々の報酬よりも強力なシグナルが得られるかどうかを検討し、5 つ以上の報酬からなるアンサンブルが、単一の報酬やベースのみの構成を大幅に上回ることを発見しました。
4. 経験的厳密性: 本論文は、ブートストラップ信頼区間、ボンフェローニ補正を伴うペアワイズ McNemar 検定、および報酬ハッキング（例：行のパディング）や形式準拠の具体的な監査を含む包括的な分析を提供します。

結果

• 探索軌跡: 5 ラウンドを通じて、生成された報酬の平均 F1 スコアは 0.596（ラウンド 1）から 0.632（ラウンド 5）へ増加しました。トップの個別報酬（thinking_steps_count）は F1 0.787 を達成しました。
• アンサンブル性能: 最良のアンサンブル構成（ens_diverse_rounds、3 つのベース報酬 + 5 つの多様な発見された報酬を組み合わせる）は、F1 0.795、精度 0.660（95% 信頼区間 [0.635, 0.686]）を達成しました。
• 統計的有意性: ボンフェローニ補正を伴うペアワイズ McNemar 検定（$\alpha \approx 0.0024$）により、5 つ以上の発見された報酬を持つすべてのアンサンブルは互いに統計的に区別できませんでしたが、ベースのみのベースライン（F1 = 0.609）およびより小さなアンサンブルよりも有意に優れていることが示されました。
• 対照実験:
  • ランダムベースライン: ランダムに選ばれた 5 報酬アンサンブルは F1 0.047 に崩壊し、この向上が単に報酬を持つことによる加算シグナルではなく、ランク付けフィードバックループによって駆動されていることを示しました。
  • シードの頑健性: 3 つの異なるシードで最良のアンサンブルを再学習したところ、F1 スコアは $0.785 \pm 0.013$ となり、結果の質的順序が学習変動に対して頑健であることを確認しました。
• 報酬ハッキング監査: トップの構造的報酬（thinking_steps_count）の分析により、正解は誤答よりも自然に多くの推論行と高い算術密度を含んでいたことが示され、モデルが空行のパディングを通じて報酬を悪用していないことを示唆しました。
• ベースライン比較: GRPO 学習済みの Llama-3.2-3B モデルは、厳密な精度と F1 の両方において、2B–4B パラメータ範囲の 5 つの市販モデル（Qwen や Phi のバリエーションを含む）を上回りました。

意義と主張

本論文は、RL 事後学習における報酬指定を、通常は人間の直感に依存するプロセスを自動化する、信頼性を持って探索可能な対象として扱うことができると主張します。

• アクセシビリティ: パイプライン全体は、単一のコンシューマー向け GPU（NVIDIA RTX 5090）で約 40 時間で実行され、自動的な報酬発見を学術および小規模産業の予算で利用可能にします。
• 監査可能性: ブラックボックスの報酬モデルとは異なり、発見された報酬は実務者が監査、修正、組み合わせることができる可読な Python コードです。
• 一般化可能性: GSM8K で評価されましたが、著者らはこの「レシピ」が他の推論ドメイン（例：コード生成、科学的問題解決）へ転移可能であり、高価な報酬モデル学習の実用的な代替手段を提供すると仮定しています。
• 謙虚さ: 著者らは明示的に、貢献は GSM8K 自体における新しい最先端の主張ではなく、方法論的なものであると述べています。主要な証拠はパイプライン内部にあり、報酬の反復的改善、ランダム対照の崩壊、およびシード全体にわたるアンサンブル順序の頑健性です。本論文は、発見された報酬が普遍的に最適であると主張するのではなく、探索プロセスが固定されたベースモデルに対して高性能な構造的シグナルを効果的に特定することを主張するものです。