技術概要：言語モデルの一般推論のための結合変分強化学習

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、最終的な答えをルールベースのプログラムで検証できる数学分野などにおいて、大規模言語モデル（LLM）の推論能力を向上させる上で顕著な成功を収めています。しかし、このパラダイムは検証可能な報酬が必要であるという制約に縛られており、形式的な検証が困難または不可能な一般推論タスク（化学、開放型質問など）への適用性を制限しています。

最近の「検証器不要」のアプローチは、正解の参照回答を生成する LLM 自身の確率を報酬信号として用いることでこの問題を回避しようとしています。効果的ではあるものの、これらの手法は通常、入力質問のみを条件として推論トレースをサンプリングする「質問のみの生成」に依存しています。著者らは、この設計には 2 つの根本的な限界があると指摘しています：

1. 低いサンプリング効率：ガイダンスがないため、モデルは困難な質問に対して有用な推論トレースを生成することに苦戦し、推論空間の探索が非効率的になります。
2. トレースと答えの不一致：ターゲットの答えにアクセスせずにサンプリングを行うと、論理的には妥当であっても、真の答え（ground truth）の特定の形式や表現と整合しない推論トレースが生じる可能性があります。その結果、正しい推論であっても低い報酬を受け取ることになります。

手法：結合変分強化学習（CoVRL）

本論文は、変分推論と強化学習を橋渡しし、質問のみのトレーニングの限界に対処するフレームワークであるCoVRLを提案します。中核的な革新は、ハイブリッドサンプリング戦略を通じて事前分布と事後分布を結合することにあります。

1. 変分定式化

推論プロセスは、推論トレース（$z$）が質問（$x$）と答え（$y$）の間を仲介する潜在変数問題として定式化されます。目的は、周辺尤度 $p(y|x) = \int p(y|z, x)p(z|x) dz$ を最適化することです。

• 事前分布（$p_\phi(z|x)$）：質問のみの生成を表し、答えが未知である実際の推論条件を反映します。
• 事後分布（$q_\psi(z|x, y)$）：質問と正解の両方を条件とした生成を表し、整合性を確保するためにトレースをサンプリングします。

標準的なアプローチは、非効率的な事前分布、または推論時との不一致を引き起こす事後分布のいずれかを最適化します。CoVRL は、これら 2 つを結合する合成分布 $p'(z|x, y)$ を導入します：
$$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$$
この合成分布により、モデルは答えにガイダンスされた信号から学習しつつ、推論時の条件との整合性を維持することができます。

2. ハイブリッドサンプリング戦略

トークンレベルの合成分布から直接サンプリングすることは計算的に複雑です。代わりに、CoVRL はオフポリシーなハイブリッドサンプリング戦略を採用します：

• 各トレーニング例において、モデルは確率 $\alpha$ で事前分布から、または確率 $1-\alpha$ で事後分布からランダムにサンプリングします。
• 重要度重み付け：ハイブリッド分布からのサンプルを用いてターゲット合成分布を最適化するために、方策勾配更新に対して重要度重み付けを適用します。
• プロンプトエンジニアリング：事前分布と事後分布は、異なるプロンプトテンプレートを用いた単一の LLM によって実装されます：
  • 事前分布：質問 $\to$ 推論 $\to$ 答え。
  • 事後分布：質問 $\to$ 答え $\to$ 推論（推論生成の文脈として答えを提供する）。

3. 最適化目的関数

トレーニング目的関数は、以下の構成要素からなるエビデンス下限（ELBO）を最大化します：

• 再構成項：正しい答えに至るトレースの生成を促します。これは、モデル自身の答え予測確率から導出された報酬を用いたグループ相對方策最適化（GRPO）によって最適化され、外部検証器を排除します。
• 正則化項：KL 発散項 $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ は、合成分布が事前分布に近づくように制約します。これにより、トレーニング中（答えのガイダンスを使用する可能性あり）に学習された推論パターンが、答えが利用できない推論時に効果的に転移することを保証します。
• KL 推定：論文は、ハイブリッドサンプリングとターゲット合成分布間の分布ミスマッチを処理するために、Bregman 発散に基づく制御変数を用いた低分散かつ非負の KL 推定量を導出します。

主要な貢献

1. 推論の変分定式化：著者らは、推論最適化を変分推論問題として定式化し、扱いやすいフレームワーク内で事前（質問のみ）と事後（答えにガイダンスされた）の生成モードを理論的に統合しました。
2. ハイブリッドサンプリング戦略：効率性と整合性のための答えにガイダンスされた学習と、（事前分布を通じての）推論時への転移性のバランスを取るメカニズムを提案し、サンプリング効率とトレース - 答えの整合性間のトレードオフに対処しました。
3. 合成分布の最適化：合成分布を構築・最適化することで、CoVRL は強力な思考 - 答えの整合性を維持しつつ効率的な探索を可能にし、事後分布のみのトレーニングの網羅性の問題を回避します。

実験結果

著者らは、Qwen2.5-7B-Base および Qwen3 モデルを用いて、一般推論（MMLU-Pro、GPQA、TheoremQA）および数学的推論（AIME'24、MATH-500 など）を含む包括的なベンチマークスイート上で CoVRL を評価しました。

• 性能向上：CoVRL はベースモデルに対して12.4% の改善を達成し、VeriFree、RLPR、LaTRO などの最強の検証器不要 RL ベースラインに対して平均2.3% の改善を達成しました。
• 一般化能力：主に非数学的な質問でトレーニングされたにもかかわらず、モデルは数学的ベンチマークで大幅な向上を示し、学習された推論能力がドメインを超えて一般化可能であることを示しました。
• トレーニングダイナミクス：実験により、事後分布が報酬改善のための効果的なガイダンスを提供する一方で、事前分布は着実に向上することが示され、ガイダンスが推論時に転移していることが確認されました。
• アブレーション研究：
  • サンプリング比率（$\alpha$）：バランスの取れたサンプリング比率（$\alpha=0.5$）が極端な設定よりも優れており、両方の分布を結合する必要性を確認しました。
  • ロバスト性：この手法は、異なるモデルサイズ（7B から 14B）およびアーキテクチャ全体で一貫した改善を示しました。
  • 推論の質：人間および LLM をジャッジとした評価により、中間推論トレースの事実性、妥当性、整合性、有用性の向上が示されました。

意義と主張

本論文は、CoVRL が外部検証器に依存することなく言語モデルの一般推論能力を向上させるための原理的なフレームワークを提供すると主張しています。事前分布と事後分布を明示的に結合することで、この手法は質問のみのサンプリングの非効率性と、答えにガイダンスされたトレーニングの推論時の不一致を克服します。

著者らは、このアプローチが堅牢でドメイン固有の検証エンジンへの依存を排除することで、高度な AI 推論へのアクセスを民主化すると強調しています。誤用（高度な誤情報の生成など）の可能性を認めつつも、この研究は、特に形式的検証が現在不可能な分野において、LLM におけるより堅牢で一般化可能な推論への一歩として位置づけられています。結果は、ドメイン固有のソリューションの最適化よりも、この結合変分アプローチを通じて基本的な推論パターンを開発する方が効果的であることを示唆しています。