技術要約：REIN – 推論と信頼性の間の溝を埋める

1. 問題提起

DeepSeek-R1やQwen3のような大規模推論モデル（LRM）は、明示的な思考の連鎖（Chain of Thought）を引き出すことで、数学、科学的推論、プログラミングにおいて顕著な進歩を示してきました。しかし、明示的な推論は幻覚（ハルシネーション）を排除するものではなく、むしろ根拠のない結論の妥当性を高く見せかけてしまうことが多々あります。本論文は、現在のアライメント手法では同時に対処できていない、2つの異なる幻覚の失敗モードを特定しています。

1. 推論レベルの幻覚（Reasoning-level Hallucination）： モデルは必要な知識を保持しているものの、サンプリングされた特定の推論プロセスの中に誤ったステップが含まれており、それが誤った結論へと伝播してしまうケース。これは、モデルがエラーを検知し修正できるのであれば、理論上は自己回復可能です。
2. 知識レベルの幻覚（Knowledge-level Hallucination）： 現在のポリシーおよびサンプリング予算において、モデルが適切な事実的知識を欠いているケース。このシナリオでは、追加の推論は単に根拠のない予測を正当化するだけに過ぎません。いかなる自己反省も答えを救うことはできず、唯一の安全な行動は棄権（abstention）することです。

既存のアプローチは通常、これらの一方のモードのみに対処しています。結果レベルのアライメント（例：RLHF、DPO）は最終的な回答を最適化しますが、推論の軌跡を無視するため、推論エラーが検知されません。プロセス監督手法（例：Self-Refine、Reflexion）は、エラーが自己回復可能であることを前提としており、修正可能なミスと真の知識不足を区別するメカニメントを欠いています。逆に、棄権メソッド（例：R-Tuning、IDKトークン）は不確実性下での拒絶を促しますが、推論の修復を無視するため、回復可能な推論の失敗に対しても過剰な棄権を招いてしまいます。

2. 手法：REINフレームワーク

REIN（Reflection and Abstention Alignment）は、最終的な回答を確定させる前に、LRMが自身の推論の信頼性を評価できるように設計された、統一されたシングルパスのアライメントフレームワークです。これは、外部検索、プロセス監督、またはマルチラウンドの批判ループなしで動作します。

2.1 構造化生成

REINは、モデルに単一のフォワードパスで以下の構造化された補完を生成するように訓練します。
$$\text{<thought>} \rightarrow \text{<reflection>} \rightarrow \text{<answer>}$$

• ($c$): 反省前の推論の軌跡。
• ($r$): 推論の軌跡から導かれるドラフトの結論（$y_0$）の信頼性をモデルが評価するための、学習可能なスパン。
• ($y_1$): 最終的な出力であり、実質的な回答または標準的な棄却トークン（IDK）のいずれかです。

2.2 二重報酬メカニズム

REINは、2つの異なる失敗モードに対処するために、Group Relative Policy Optimization (GRPO) を通じて最適化される2つの異なる報酬信号を採用しています。

1. 反省の真実性報酬（Reflection-Veracity Reward）（推論の幻覚への対処）：
   この報酬は、<reflection> スパンにおけるモデルの自己評価を、推論の軌跡から導かれたドラフトの結論（$y_0$）の検証された正解性と一致させます。

   • 誤った支持（false endorsement）（誤ったドラフトを信頼できると判断すること）を罰します。
   • 誤った拒絶（false rejection）（正しいドラフトを信頼できないと判断すること）を罰します。
   • このコンポーネントは、最終的な回答がまだ生成される前であっても、モデルに自身の推論の軌跡が欠陥を含んでいることを認識させるよう訓練します。

2. 境界認識型棄却報酬（Boundary-Aware Abstention Reward）（知識の幻覚への対処）：
   この報酬は、単一のプロンプトに対して $K$ 個のオンポリシー補完のグループを使用し、モデルの「知識境界」を経験的に推定します。

   • グループ内の少なくとも1つの補完が検証済みの正解をもたらす場合、そのプロンプトは境界の**内側（within）**であるとマークされます。モデルは正しい回答を提供した場合には報酬を与えられ、棄却した場合には罰を与えられます。
   • $K$ 個の補完のいずれもが正解をもたらさない場合、そのプロンプトは境界の**外側（beyond）**であるとマークされます。モデルは棄却（IDK）した場合には報酬を与えられ、検証されていない実質的な回答を生成した場合には罰を与えられます。
   • このメカニズムにより、外部の検証器やステップレベルのラベルを必要とせずに、モデルは「回復可能な推論のミス（別のサンプルであれば成功する可能性があるもの）」と「真の知識不足（どのサンプルも成功しないもの）」を区別することができます。

2.3 トレーニング・パイプライン

• 初期化: 短い教師あり微調整（SFT）段階によって、構造化された出力形式と反省ラベルを初期化します。
• 最適化: ポリシーは、2フェーズのカリキュラムを用いたGRPOを使用して最適化されます。フェーズ1ではIDKが利用可能なアクションとして明示的に提示され、フェーズ2では明示的な手がかりを取り除き、境界認識型報酬に基づいてモデルがいつ棄却すべきかを学習させます。
• 推論: テスト時、モデルは単一の構造化された補完を生成します。モデルはドラフトを作成し、反省を通じてその信頼性を評価し、回答を確定させるか、あるいは棄却するかを決定します。

3. 主な貢献

1. 統一されたシングルパス・フレームワーク: REINは、外部のコントローラーや反復的な批判ループを必要とせずに、LRMが自身の推論を信頼すべきか、あるいは棄却すべきかを単一のフォワードパス内で決定することを可能にします。
2. 斬新な報酬設計: 本論文は、自己評価をドラフトの正解性と一致させるための**中心的な反省の真実性報酬（centered reflection-veracity reward）と、サンプリングされた知識境界が能力不足を示している場合にのみ棄却を促す境界認識型IDK報酬（boundary-aware IDK reward）**を導入しています。
3. 実証的検証: 複数のバックボーン（Qwen2.5-7B, Llama-3.1-8B, Mistral-7B, DeepSeek-R1-Distill-8B）およびベンチマーク（GSM8K, MATH, StrategyQA, ARC-Challenge）にわたる広範な実験により、本フレームワークの有効性が示されています。

4. 実験結果

REINは、IDKプロンプティング、R-Tuning、TruthRL、およびReflectionのみのバリアントを含む競争力のあるベースラインと比較して評価されました。

• 幻覚の削減: REINは、ベースモデルと比較して、幻覚のプロキシ（反省前のドラフトが誤って信頼できると判断された割合）を 58%から72% 削減します。
• 精度とカバレッジ:
  • 選択的精度（Selective Accuracy）（試行された質問に対する精度）を 6.6%から14.2% 向上させます。
  • 高い カバレッジ（Coverage）（86%から91%）を維持しており、これはモデルが過剰に棄却していないことを示しています。
  • ベースラインのチェックポイントに対して、実効精度（Effective Accuracy）（全質問を通じた総合的な精度）において平均 7.0% の向上を達成しています。
• 比較: R-Tuningと比較して、REINは選択的精度を6.3%向上させつつ、より低い幻覚率を維持しています。TruthRLと比較して、REINは同等のカバレッジを維持しながら、幻覚プロキシを13.9%削減しています。
• アブレーション研究: 反省の真実性報酬を除去すると幻覚率がほぼ倍増し、IDKアライメント報酬を除去するとモデルが棄却を完全に停止する（カバレッジ100%）ことから、これら2つのコンポーネントの明確な役割が確認されました。

5. 意義と主張

本論文は、REINが現在のアライメントのレシピにおける重大な欠落、すなわち「修正可能な推論エラー」と「棄却が必要な知識の欠如」の混同に対処していると主張しています。これらの失敗モードを分離することで、REINは有用性を損なうことなく、より信頼性の高い推論プロセスを実現します。

著者らは、信頼できる推論には、より良い解を生成することだけでなく、いつ解を信頼すべきではないかを知ることが必要であると強調しています。REINは、高価なプロセス監督や外部の検索システムに依存することなく、単一の生成パス内で明示的な自己反省と較正された棄却を実行させることで、これを実現しています。結果は、反省と棄却を統合したアプローチが、モデルの難しい質問に答える能力を維持しながら、自信満々だが誤った回答を大幅に減少させられることを示唆しています。