技術要約: CARE-RFT

問題提起

強化学習による微調整（Reinforcement Finetuning: RFT）は、DeepSeek-R1-Zeroに代表されるような、大規模言語モデル（LLM）における創発的な推論能力を解き放つための極めて重要なパラダイムとして浮上しています。しかし、著者らは推論性能とモデルの信頼性の間の決定的なトレードオフを指摘しています。

1. 制約のないRFT: GRPO（Group Relative Policy Optimization）のような制約のないアルゴリズムは、優れた推論精度を実現する一方で、モデルの信頼性を著しく損ないます。制約を取り除くと「無差別な強化」が発生し、最終的な結果が正解であれば、論理的に欠陥のある中間ステップを含む思考プロセス全体が強化されてしまいます。その結果、幻覚（ハルシネーション）率の上昇、検索ベンチマークにおける事実性の低下、およびキャリブレーションの悪化（高い期待較正誤差：ECE）を招きます。
2. RKL制約付きRFT: 幻覚を抑制するために、標準的な手法では、学習された方策（$\pi_\theta$）を参照モデル（$\pi_{ref}$）に近づけるための逆カルバック・ライブラー（Reverse Kullback–Leibler: RKL）ダイバージェンス・ペナルティを課します。これはキャリブレーションと事実性を維持しますが、RKLペナルティは**非有界（unbounded）**です。参照モデルが低い確率を割り当てるトークンに対して無限のペナルティを課すため、ベースモデルから逸脱した、新規で高報酬な推論パスの探索を実質的に阻害してしまいます。その結果、制約のないRFTと比較して、推論の向上が限定的になります。

核心となる課題は、推論に必要な「探索」を可能にしつつ、幻覚や誤ったキャリブレーションを引き起こすような「根拠のない逸脱」を防ぐための、適切な正則化手法を設計することです。

手法: CARE-RFT

著者らは、標準的なRKLペナルティを歪（ひずみ）逆KL（Skew Reverse KL: SRKL）ダイバージェンスに置き換えたCARE-RFT（Confidence-Anchored Regularized Reinforcement Finetuning）を提案しています。

理論的基礎

標準的なRKLダイバージェンス（$D_{RKL}$）は、$\pi_{ref}$ が低い確率を割り当てるトークルに対して $\pi_\theta$ が確率を割り当てる場合にペナルティを課します。このペナルティは $\pi_{ref}(o_t) \to 0$ となるにつれて無限に増大するため、低確率だが潜在的に正しい推論戦略の探索を妨げます。

CARE-RFTは、混合分布を定義するためにスキューパラメータ $\alpha \in (0, 1)$ を導入します。SRKLダイバージェンスは以下のように定義されます：
$$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$$

主要なメカニズム

1. 信頼性にアンカーされたペナルティ（Confidence-Anchored Penalty）: SRKLペナルティは信頼度に対して感応的です。
   • 上方への逸脱（探索）: モデルが自信を持っており（$\pi_\theta$ が高く）、一貫して報酬を得ている場合、あるトークルの確率を高めることに対するペナルティは**有界（bounded）**となります。項 $\log(1/\alpha)$ が有限の上限として機能します。これにより、参照モデルの確率が低いとしても、モデルが参照モデルによって抑制されることなく、新規で高報酬な推論パターンに確率質量を蓄積することを可能にします。
   • 下方への逸脱（保持）: モデルが参照モデルが好むトークルの確率を下げようとする場合（またはモデルが不確実な場合）、ペナルティは非有界（比率が0に近づくにつれ $-\infty$ に発散）となります。これにより、モデルがベースモデルの良好にキャリブレーションされた事前分布から逸脱することを防ぎ、事実に基づいた接地性を維持します。
2. 勾配の安定性: SRKLの勾配係数は上方への移動に対して有界であるため、参照モデルがサンプリングされたトークルにゼロに近い確率を割り当てている際に見られる「勾配の爆発」や推定量の分散を軽減します。

実験設定

著者らは、複数のモデルスケール（Qwen2.5-3B および 7B）と3つの異なるRFTアルゴリズムを用いてCARE-RFTを評価しました。

• GRPO: 基盤となるグループ相対方策最適化。
• DAPO: より積極的な、制約のないバリアント。
• GSPO: 最近のシーケンスレベルの最適化手法。

ベンチマーク:

• 推論: MATH および GSM8K（Pass@4で測定）。
• 信頼性／事実性: TruthfulQA および SelfAware（Pass@1で測定）。
• キャリブレーション: TruthfulQA における期待較正誤差（ECE）。

主な結果

実験の結果、CARE-RFTは「精度とキャリブレーションのトレードオフ」を打破することに成功しました。

1. 推論性能: CARE-RFTは、制約のないRFTと同等の推論性能を実現しました。例えば、Qwen2.5-3Bを用いたGRPOにおいて、CARE-RFTはMATHスコア 0.600 を達成しました。これは制約のないバージョン（0.610）とほぼ同等であり、RKL制約付きGRPO（0.510）よりも大幅に高い数値です。
2. 信頼性とキャリブレーション: 制約のないRFTがTruthfulQAの精度低下と高いECEに苦しんだのに対し、CARE-RFTはベースモデルの信頼性を回復させました。
   • TruthfulQA: CARE-GRPOは 0.465 を記録し、ベースモデル（0.489）およびRKL-GRPO（0.480）に近い値となりました。一方、制約のないGRPOは0.350まで低下しました。
   • ECE: CARE-RFTは、RKL制約付きの手法（0.125）と同等の低いECE（0.132）を維持しており、制約のない手法（0.2 el 0.210）よりも大幅に優れています。
3. 学習ダイナミクス: トークンエントロピーの分析により、制約のないRFTはエントロピーの壊滅的な崩壊（過剰な自信）を招く一方で、RKLは高いエントロピーを維持するものの鋭鋭化（sharpening）を制限することが明らかになりました。CARE-RFTは制御されたエントロピー減少を実現し、モデルが過剰な自信へと崩壊することなく、推論のために分布を鋭くすることを可能にします。

意義と主張

本論文は、**「注意深く、信頼度を考慮した正則化こそが、有能かつ信頼できる推論モデルを構築するための鍵である」**と主張しています。

• トレードオフの解決: CARE-RFTは、一方向的で有界なペナルティを導入することで、「探索の必要性（推論を解き放つため）」と「制約の必要性（幻覚を防ぐため）」の間の緊張関係を解消します。
• 汎用性: 本手法は、様々なRFTアルゴリズム（GRPO, DAPO, GSPO）およびモデルスケールと互換性のある、「ドロップイン（そのまま差し替え可能な）」正則化レイヤーとして提示されています。
• メカニズムの洞察: 本研究は、制約のないRFTの失敗が単なる制約の欠如ではなく、特に「結果レベルの報酬」の性質が「無差別」であることに起因することを明らかにしました。トークンレベルの、信頼度に基づいた制約へと移行することで、モデルはベースモデルの事実的な事前分布を犠牲にすることなく、複雑な推論パターンを学習できるようになります。

著者らは、彼らのアプローチが、従来のRKL制約付きRFTにおいて学習を阻害するような非有界なペナルティを必要とすることなく、モデルに「アハ体験（aha moment）」としての創発的な推論を実現させつつ、高リスクなアプリケーションに求められる信頼性を維持させるものであると結論付けています。