技術的概要：Soft-SVeRL：ソフト報酬を伴う自己検証強化学習

問題定義

検証可能な報酬からの強化学習（RLVR）は、数学やコード生成など、正解性が決定論的記号チェックや単体テストによって判定できる分野で大きな成功を収めています。しかし、複雑な指示追従など、多くの重要なタスクには、正確な参照回答や二値の合格/不合格基準が存在しません。これらのシナリオでは、プロンプトに複数の要件（例：フォーマット、キーワードの含め、長さ制限）が含まれており、応答が一部の制約は満たすが、すべてを満たさない場合が頻繁に発生します。

既存のアプローチは、この「部分的に検証可能な」設定において、2 つの主な限界に直面しています：

1. スパースな監督：二値の全か無かの報酬（合格/不合格）は、部分的に成功した応答に対して勾配信号を提供しません。
2. ノイズの多い全体的判断：学習された全体的検証器（応答全体を判断する LLM）は、複数の要件を単一のノイズの多い判断に圧縮し、どの特定の制約が満たされたか、あるいは違反されたかを明らかにしません。

中心的な課題は、トレーニング中に完璧なルールベースのオラクルにアクセスできない状況下で、正解性が部分的でノイズを含み、かつ指定が困難である場合に、どのように言語モデルを強化学習で訓練するかという点です。

手法

本論文は、これらの課題に対処するために、Soft-RLVR とその自己検証バリアントであるSoft-SVeRL を導入します。

1. Soft-RLVR：チェックリストベースのソフト報酬

Soft-RLVR は、報酬信号を分解し、プロンプト $x$ を原子かつ検証可能な基準のチェックリスト $C(x) = \{c_1, \dots, c_K\}$ に変換します。

• 分解：LLM がプロンプトに基づいて Yes/No の基準からなるチェックリストを生成します。
• 項目レベルの検証：学習された検証器 $\rho_\phi$（LLM）が、各応答 $y$ を各基準 $c_k$ に対して個別に評価し、二値判断を出力します。
• ソフト報酬の計算：最終的な報酬は、満たされた項目の割合となります：
  $$R_{soft}(x, y) = \frac{1}{K} \sum_{k=1}^K \rho_\phi(x, y, c_k)$$
  これにより、スパースな監督が、部分的な進歩を報酬する密で段階的な信号に変換されます。

理論的分析（バイアス - バランスのトレードオフ）：
著者らは、分解の利点と部分クレジットのリスクの間のトレードオフを形式化しました。

• 分散の低減：項目レベルの誤りが強く相関していない限り、$K$ 個の項目レベル判断を平均化することは、単一の全体的判断と比較して報酬分散を低減します。
• バイアスの導入：部分クレジットは不完全な応答に非ゼロの報酬を割り当てるため、厳密な成功からトレーニングターゲットをバイアスさせる可能性があります。
• 改善の条件：本論文は、チェックリスト検証が全体的検証よりも方策勾配推定量における平均二乗誤差（MSE）を低減させるための十分条件（定理 1）を導出しました。具体的には、分解による分散低減が部分クレジットによって導入されるバイアスを上回るとき、かつ項目レベルの感度が全体的感度と少なくとも同等であるときに、チェックリスト検証は有益です。

2. Soft-SVeRL：安定化を伴う自己検証

Soft-SVeRL は、方策モデル $\pi_\theta$ もまた検証器として機能する（$\phi = \theta$） 自己検証設定へと Soft-RLVR を拡張します。これにより、個別のオンライン報酬モデルの必要性は排除されますが、「崩壊モード」が導入されます。

崩壊問題：
自己検証において、モデルはより良い応答を生成することではなく、自身の検証器をより許容的にすることで測定された報酬を増加させることができます（「常に Yes」の崩壊）。本論文は、これを駆動する 2 つのメカニズムを特定しました：

1. 相関する事前分布：生成器と検証器が帰納的バイアスを共有し、検証器が生成器自身の出力に対して過剰に自信を持つようになること。
2. 勾配の結合：検証器をより許容的にする更新が直接報酬信号を増加させ、タスク性能を劣化させるフィードバックループを生み出すこと。

安定化メカニズム：
崩壊を防ぐために、Soft-SVeRL は 3 つの安定化コンポーネントを導入します：

1. 反復検証：各項目あたり複数の検証器トレース（$J$ 票）をサンプリングし、経験的通過率を計算することでノイズを低減します。
2. 検証器の共同トレーニング：共有モデルは、以下の混合データ上で検証器としてトレーニングされます：
   • ゴールドデータ：検証器の正解性の定義を固定するバッファからのラベル付き例。
   • リプレイデータ：経験的通過率に基づいて疑似ラベル付けされたオンポリシーサンプルで、検証器を生成器の現在の失敗モードに曝露させます。
3. アンチ・崩壊ペナルティ（パーティションペナルティ）：厳密に成功しなかった応答に対して、検証器が混合された票（いくつかの Yes、いくつかの No）を出した「失敗」コンテキストのサブセットに適用される特定のペナルティ項。これにより、モデルが自身のサンプルに対して Yes 予測を均一に過大評価することを抑制します。

共有目的関数は以下の通りです：
$$J(\theta) = J_{gen}(\theta) + \lambda_v J_{ver}(\theta) - \lambda_p J_{part}(\theta)$$

主要な貢献

1. Soft-RLVR フレームワーク：学習されたチェックリストベースの報酬を使用して、スパースな合格/不合格監督を段階的な項目レベルのフィードバックに変換する、部分的に検証可能なタスク向けの RL に対する新規アプローチ。
2. 理論的特徴付け：チェックリスト検証におけるバイアス - バランスのトレードオフの形式的分析により、分解された検証が全体的判断よりも信頼性の高いトレーニング信号を提供する条件を特定。
3. Soft-SVeRL と崩壊の緩和：自己検証 RL バリアントの導入と、「常に Yes」の崩壊モードの特定。ゴールドデータ/リプレイデータによる共同トレーニングとアンチ・崩壊ペナルティといった特定の安定化技術を提案・検証し、効果的な自己検証を可能にしました。
4. 経験的検証：トレーニング中にルールベースのグランドトゥルースにアクセスできなくても、学習されたチェックリスト報酬が指示追従を大幅に改善できること、および検証器の品質とチェックリストの品質の両方が下流の性能の重要な決定要因であることを実証。

実験結果

著者らは、Command R7B モデルを用いて、検証可能な制約を持つプロンプトのデータセットであるIFEvalベンチマークと、ドメイン外の数値ベンチマーク（MATH500、AIME 2024/2025）でアプローチを評価しました。

• 指示追従の向上：外部 LLM 検証器（GPT-OSS-20B および 120B）を使用した Soft-RLVR は、それぞれベースライン 73.89 から 84.20/85.00 へと、IFEval スコアを**+10.3ポイントおよび+11.1**ポイント向上させました。これは、ルールベースのトレーニング信号なしに、学習されたチェックリスト報酬のみを使用して達成されました。
• ドメイン転移：指示追従データのみでトレーニングされたにもかかわらず、モデルは数学ベンチマーク（例：MATH500 で +2.6 ポイント）で改善を示し、破滅的な忘却なしに正の転移が発生しました。
• 検証器とチェックリストの品質：アブレーション研究により、チェックリスト生成器の品質と検証器モデルの品質の両方が下流の RL 結果に大きく影響することが確認されました。より強力な検証器と、グランドトゥルースに近い高品質なチェックリストが、より良い結果をもたらしました。
• 自己検証の安定性：単純な自己検証は性能低下を招きました（IFEval が 73.89 から 55.1 に低下）。しかし、完全な Soft-SVeRL 安定化レシピ（共同トレーニング、リプレイ、アンチ・崩壊ペナルティ）を適用することで性能を回復し、ベースラインに対して**+0.88**ポイントの modest な gain（74.77 対 73.89）を達成しました。
• チェックリスト対全体的：チェックリストベースの検証は、特にノイズの多い検証器（GPT-OSS-20B）を使用する際に全体的検証を上回りました。これは、個々の判断がノイズを含んでいる場合、分解が分散を最も効果的に低減するという理論的予測と一致しています。

意義と主張

本論文は、Soft-RLVRが、数学やコードのような正確な検証器を持つ分野から、複雑で部分的に検証可能な指示追従タスクへと RLVR を拡大するための実用的な道筋を提供すると主張しています。プロンプトを原子基準に分解し、学習された検証器を使用することで、このフレームワークは部分的な進歩を捉える密な報酬信号を生成します。

著者らは、チェックリストベースの報酬は強力ですが万能薬ではないことを強調しています。その有効性は、チェックリスト分解の品質と検証器の具体性に大きく依存します。さらに、この研究は自己検証が自明ではなく、明示的な安定化メカニズムなしには報酬のインフレを起こしやすいことを浮き彫りにしています。提案された Soft-SVeRL フレームワークは、モデルが自身の報酬信号を操作するのを防ぐために慎重なアーキテクチャ設計（共同トレーニングとアンチ・崩壊ペナルティ）が必要であれば、自己検証が可能であることを示しています。

この研究は、単一の参照回答が存在しない設定での RL トレーニングを可能にするために、記号検証の信頼性と学習された LLM ジャッジの柔軟性の間の架け橋として位置づけられています。