技術要約：CALIBER – 言語モデルにおける推論前後での信頼度校正

問題提起

推論言語モデルは、複雑な問題を解くだけでなく、自身の成功の可能性を推定することも求められるようになっています。既存の校正手法は、通常、生成プロセスの特定の時点（思考を開始する前の「思考前」または最終回答を出力した後の「思考後」）において、単一の信頼度推定を引き出そうとします。

著者らは、推論モデルにおける信頼度は**状態依存的（state-dependent）**であると主張しています。

• 思考前（Pre-thinking）の信頼度は、プロンプト ($x$) のみに条件付けられます。これは、モデルが生成するであろう具体的な推論プロセス（思考トレース）に関わらず、現在のポリシーがそのプロンプトを解決できる確率を推定すべきものです。
• 思考後（Post-thinking）の信頼度は、プロンプト、実現された思考トレース ($z$)、および最終回答 ($\hat{y}$) に条件付けられます。これは、実現された特定のレスポンスの正当性を推定すべきものです。

現在の手法は、これら異なる情報状態を単一の監督対象（supervision target）に適用したり、情報状態と一致しないターゲット（例：インスタンスレベルの正解率を用いて思考前の推定値を学習させるなど）を使用したりすることで、これらを混同してしまうことがよくあります。この、「モデルが何を推定するように求められているか」と「実際に何を予測するように訓練されているか」の間の不一致が、特に分布シフトが発生した際に、最適ではない校正をもたらします。

手法：CALIBER

著者らは、単一のレスポンス内で2つの異なる信頼度推定を引き出し、それぞれをその情報状態に一致したターゲットで監督するフレームワークである CALIBER (Calibration Before and After Reasoning) を導入します。

1. 状態依存の校正

CALIBERは、モデルの出力を以下のように構成します。

1. 思考前信頼度 ($p_{pre}$): 思考トレースの前に放出されます。プロンプトのみに条件付けられます。
2. 思考トレースと回答: 標準的な推論プロセス。
3. 思考後信頼度 ($p_{post}$): 思考トレースと回答の後に放出されます。実現された完全なレスポンスに条件付けられます。

2. 監督対象 (Supervision Targets)

本フレームワークは、推定の位置に基づいて特定の校正ターゲットを割り当てます。

• 思考前信頼度のターゲット（グループ単位）: そのプロンプトに対する現在のポリシーの経験的な成功率 ($\hat{p}(x)$) に対して監督されます。これは、$N$ 個のサンプル・ロールアウトの平均的な正解率として計算されます。これは、プロンプトの「解決可能性（solvability）」を反映しています。
• 思考後信頼度のターゲット（インスタンス単位）: 特定のロールアウトのバイナリ的な正解性 ($c_i$) に対して監督されます。これは、実現された回答の「正当性（correctness）」を反映しています。

3. 学習目的関数

学習には、検証可能な報酬を用いた強化学習（RLVR）を利用します。ロールアウト $i$ に対する総報酬は、以下の4つの等重みのコンポーネントの合計です。

• 正確性報酬 ($R_{acc}$): 回答のバイナリ的な正解性。
• フォーマット報酬 ($R_{fmt}$): モデルが要求されたタグと有効な信頼度値を出力することを保証します。
• 思考前校正報酬: $1 - (p_{pre} - \hat{p}(x))^2$
• 思考後校正報酬: $1 - (p_{post} - c_i)^2$

低分散なグループ単位の思考前報酬が、高分散なインスタンス単位の報酬に支配されてしまうという最適化の困難に対処するため、CALIBERは2段階の学習スケジュールを採用しています。

1. ウォームアップ: 多様な推定値を確立するために、思考前のグループ単位の報酬のみを最適化します。
2. 共同学習: 思考前、思考後、および正確性の報酬を同時に最適化します。

主な貢献

1. 状態依存のフレーミング: 本論文は、推論モデルにおける信頼度を、情報状態に基づいた異なる量として定義しました。すなわち、思考前の信頼度は問題の解決可能性（グループ単位）に対応し、思考後の信頼度は回答レベルの正当性（インスタンス単位）に対応します。
2. CALIBERフレームワーク: 両方の推定を引き出し、それぞれを適切な監督対象に整合させる統一されたプロトコルを提供し、従来の単一信頼度手法に見られる不一致を回避しました。
3. 制御された比較: 著者らは、セグメント化されたクレジット割り当てのような設計上の交絡因子を除去するため、共通の学習および評価プロトコルの下で、CALIBERを制御された一連のベースライン（RLCR, COREA-lite, CoCA-lite, DCPO-lite）と比較することで、位置とターゲットの整合性の寄与を分離しました。
4. 診断的ギャップ: 本フレームワークにより、思考前と思考後の信頼度の差を分析することが可能になり、モデルの不確実性が推論中にどのように進化するかを示す、例ごとのシグナルとして機能します。

結果

ドメイン内性能 (BigMathDigits)

• 7Bモデル: CALIBERは、最強の単一信頼度ベースライン（DCPO-lite）と比較して、期待較正誤差（ECE）を**52.5%**削減しました。最高の精度をわずか2.1パーセントポイントの差に維持しつつ、最高のECE、Brierスコア、およびAUROCを達成しました。
• 30Bモデル: CALIBERは最高のECE（0.022）を達成しながら、競争力のあるAUROC（0.797）を維持しており、低いECEを実現しながら判別能（AUROC ~0.5）が低いCoCA-liteなどの手法と差別化されています。

分布外（OOD）汎化

GPQA、TriviaQA、およびSimpleQAで評価：

• 校正: CALIBERは、両方のモデルサイズにおいて、GPQAおよびTriviaQAで一貫して最高のECEおよびBrierスコアを達成しました。
• SimpleQA: この極端な分布シフトにおいて、7BモデルではCALIBERが最高のECEとBrierスコアを達成しました。30Bモデルについては、DCPO-liteの方がわずかに低いECEを達成しましたが、CALIBERは大幅に高いAUROCを達成しており、より優れた校正・判別トレードオフを示しました。
• 信頼性: 信頼性図（Reliability diagrams）により、CALIBERが高信頼領域において過剰な自信を避け、対角線によく一致していることが示されました。

アブレーション研究

ターゲットを入れ替えた（思考前をインスタンスターゲットで、思考後をグループターゲットで学習させた）アブレーションの結果：

• ドメイン内: 結果は混在していました。30Bモデルは正しい整合化から大きな恩恵を受けましたが、7Bモデルの指標は混合した結果となりました。
• OOD: 位置とターゲットの整合性が極めて重要であることが証明されました。CALIBERはすべてのOODデータセットおよびモデルサイズにおいて、入れ替えられたベースラインを一貫して上回り、ECEを大幅に減少させました。これは、監督対象を情報状態に一致させることが、分布シフト下での堅牢な校正に不可欠であることを示唆しています。

意義と主張

本論文は、推論モデルの校正は、回答に付随する静的なスカラーではなく、動的な問題として扱うべきであることを示しています。

• 整合性が鍵: 主要な意義は、「位置とターゲットの整合性」（思考前をグループの成功率に、思考後をインスタンスの正解性に一致させること）が、特に分布シフト下での校正の改善を駆動する決定的な要因であるという実証にあります。
• 診断的有用性: 思考前と思考後の信頼度の差は、推論後にモデルの不確実性がどのように変化するかを示す、意味のある診断的シグナルとなります。
• 安全性と信頼性: タスクの正確性を大幅に損なうことなく校正を向上させることで、CALIBERは、誤った回答のコストが高い環境における推論モデルの安全なデプロイを支援します。これにより、ユーザーはモデルの自己評価をより信頼できるようになります。

著者らは、今後の課題として、この状態依存のアプローチを2つの時点以上に拡張すること、プロンプトレベルの解決可能性仮説をより直接的に検証すること、そしてこれらの知見をさらなるモデルファミリーやタスク領域に検証することを挙げています。