技術要約：選択的予測（Selective Prediction）に向けた言語モデルのアライメント

問題提起

大規模言語モデル（LLM）は、金融、医療、法律などの高リスクな領域において、ますます導入が進んでいます。これらの環境では、誤った決定を下すコストは、人間に判断を委ねるコストを大幅に上回ることが多々あります。標準的なLLMの学習パラダイムは、モデルの内部的な確信度に関わらず、あらゆるクエリに対して回答することを要求するため、「自信満々な間違い（confident mistakes）」やハルシネーションを引き起こします。

**信頼性校正（Confidence Calibration: CC）**は、**選択的予測（Selective Prediction: SP）**の前提条件と見なされることが多いですが、著者らは、CCは効果的なSPのための十分条件でも必要条件でもないと主張しています。

• CCは、割り当てられた確信度スコアが真の正解確率と一致すること（例：80%の確信度は、正解する確率が80%であることを意味する）を保証します。
• SPは、正しい予測が、確信度に基づいて誤った予測よりも高くランク付けされることを必要とし、これによりモデルが低確信度のクエリを棄却（abstain）することで、選択されたサブセットにおけるエラー率を低減することを可能にします。

本論文は、完全な校正（perfect calibration）が完全な選択的予測を保証するわけではないこと（図1に示されている通り）、逆に、ランキングが正しければ、不適切な校正が行われた確信度であっても完全なSPが存在し得ることを示しています。既存のアライメント手法、例えば検証可能な報酬を用いた強化学習（RLVR）や、校正報酬を用いた強化学スラーニング（RLCR）は、それぞれ精度や校正指標に焦うしていますが、SPに求められるリスクとカバレッジ（coverage）のトレードオフを直接最適化することには失敗しています。

手法：選択報酬のための強化学習（RLSR）

著者らは、グループ相対方策最適化（Group Relative Policy Optimization: GRPO）アルゴリズムを用いて、LLMの選択的予測性能を直接最適化するための新しいアライメントフレームワークであるRLSRを提案しています。核心となる目的は、エラー率（リスク）と回答された入力の割合（カバレッジ）の間のトレードオフを要約する標準的な指標である、**面積下リスク・カバレッジ曲線（Area Under the Risk-Coverage Curve: AURC）**を最小化することです。

主要な技術的課題と解決策

AURCを強化学習フレームワークに統合するには、主に2つの課題があり、RLSRは特定のイノベーションを通じてこれに対処しています。

1. 疎（Sparse）かつ一方向的な報酬:

   • 課題: 標準的なAURCの定式化は、誤った予測のみを罰し、正しい予測に対する報酬信号を提供しません。これは、学習信号を疎にし、正解と不正解の間の確信度のマージンを強制することを妨げます。
   • 解決策: 著者らはリフテッド（Lifted）AURC目的関数を導入しています。彼らはバイナリのエラー指標 $I\{f(x) \neq y\}$ を、符号付き変数 $(2I\{f(x) \neq y\} - 1) \in \{-1, +1\}$ に再定式化しました。これにより、「プッシュ・プル」のダイナミクスが生まれ、正しい予測には正の報酬が、誤った予測には負の報酬が与えられ、モデルが正解と不正解の確信度分布を能動的に分離するように促されます。

2. グローバルなランキング依存性:

   • 課題: AURCは、全サンプルの確信度のグローバルなランキングに依存する集団レベルの指標です。標準的なミニバッチ確率的勾配降下法（SGD）は、効率的なバッチ訓練の目的を損なうことなく、全データセットを反復処理せずにグローバルなランキングを計算することはできません。
   • 解決策: RLSRはバッチ訓練戦略を採用しています。各訓練ステップにおいて、モデルは各プロンプトに対して $G$ 個のロールアウトを生成します。これらの $B \times G$ 個のサンプルは「実効バッチ（effective batch）」へと集約されます。ランクと重みは、この集約されたバッチ内で計算され、グローバルなAURCを近似します。これにより、アルゴリズムは標準的なGRPOとの互換性を維持しながら、集団レベルの指標を近似することが可能になります。

アルゴリズムの概要

サンプル $i$ に対する報酬関数 $R_{RLSR}$ は次のように定義されます：
$$R_{RLSR}(y_i, \hat{y}_i, s_i) = \begin{cases} +\hat{\alpha}_i & \text{if } \hat{y}_i = y_i \\ -\hat{\alpha}_i & \text{if } \hat{y}_i \neq y_i \end{cases}$$
ここで、$\hat{\alpha}_i$ は（AURCの調和数定式化に基づく）実効バッチ内でのサンプルのランクから導出される重みです。その後、モデルは、同じプロンプトのロールアウトのグループ内で報酬を正規化するGRPOアドバンテージ関数を使用して更新されます。

主な貢献

1. 直接的なSPアライメント: 校正のような中間的な目的関数に依存することなく、事前学習済みLLMを選択的予測指標に直接アライメントさせることを提案した最初の研究です。
2. RLSRフレームワーク: リフテッドAURC目的関数とバッチベースの訓練戦略を利用して、RLによるAURC最適化の技術的障害を克服する、新しいアライメントフレームワークの導入。
3. 実験的優位性: インドメインおよびアウトオブドメイン（OOD）の両方の設定において、RLSRが強力なベースライン（RLVRおよびRLCR）を凌駕することを実証する包括的な実験。

実験結果

著者らは、Qwen2.5-7BおよびLlama-3.1-8Bモデルを用い、複数のデータセット（HotPotQA、BigMath、およびGSM8K、GPQA、MedQAなどの様々なOODベンチマーク）に対してRLSRを評価しました。

• リスク・カバレッジのトレードオフ: RLSRは、RLVRおよびRLCRと比較して、一貫して低いAURCスコア（より良い性能を示す）を達成しました。例えば、HotPotQA（インドメイン）において、RLSRは0.44のAURCを達成し、RLVR（0.56）およびRLCR（0.51）を大幅に上回りました。
• 低カバレッジにおける精度: 高い精度のために低いカバレッジが許容される高リスクシナリオにおいて、RLSRは優れた性能を示しました。HotPotQAにおける10%のカバレッジにおいて、RLSRは**66.0%**の精度に達しましたが、これはRLVRの45.5%およびRLCRの53.5%と比較して高い数値です。
• アウトオブドメイン（OOD）への汎化: RLSRはOODタスクにおいても強力な性能を維持しましたが、RLVRやRLCRはしばしば低下するか、あるいは改善が不安定でした。これは、RLSRが特定の分布特性への過学習ではなく、確信度のより堅牢なランキングを学習していることを示唆しています。
• リスク制御されたデプロイメント: 目標精度が75%に設定された模擬医療デプロイメント（MedQA）において、RLSRは、合理的なカバレッジ率を維持しながら目標精度を達成できる唯一の手法でした。RLVRは閾値に関わらず目標精度に到達できず、RLCRの性能はテストセットにおいて検証セットと比較して著しく低下しました。
• 確信度の分離: 確信度分布の分析（図3）により、リフテッドAURC報酬が、標準的なAURCや校正ベースの報酬と比較して、正解と不正解の予測間の確信度スコアの間に、より大きなマージン（ギャップ）を正常に作成したことが確認されました。

意義と主張

本論文は、RLSRがLLMの信頼性を高めるための原理的なアプローチを提供すると主張しています。リスクとカバレッジのトレードオフを直接最適化することで、RLSRはLLMが不確実な場合に回答を「棄却」することを効果的に可能にし、すべてのクエリに対して人間による介入を必要とすることなく、クリティカルなアプリケーションにおけるエラー率を低減します。

著者らは、校正（ECE）は有用な指標ではあるものの、選択的予測の性能の代用指標ではないことを強調しています。校正を最適化しても、選択的予測の根本的な要件である、正解と不正解のランキングの向上は必ずしも保証されません。したがって、RLSRは、エラー制御が極めて重要となる高リスク環境へのLLMデプロイメントにおいて、より直接的で効果的な道筋を示すものです。

限界: 著者らは、現在の彼らのアライメントが、ホリスティックなAURC指標に焦点を当てていることを述べています。実際の高リスク設定では、特定の目標リスクレベルが事前に既知である場合が多いことから、将来の研究では、リスク制約付きのカバレッジ最大化目的関数を定式化できる可能性があることを認めています。