技術的サマリー：隠れた較正不備レジームの発見

問題定義

標準的な較正評価は、モデルの信頼性が信頼度スコアのみで決まるという仮定に依存しています。このアプローチは信頼度ビン（例えば、信頼度ダイアグラム）ごとに予測を集約し、同じ信頼度スコアを持つすべての入力を交換可能であると暗黙的に扱います。しかし、異質なドメイン、特に大規模言語モデル（LLM）においては、この集約により重大な局所的な失敗が隠蔽されてしまう可能性があります。モデルは、両方のクラスが同様の信頼度スコアを共有している場合でも、あるクラスの入力に対しては系統的に過剰に自信を持ち、別のクラスに対しては過小に自信を持つ可能性があります。そのような場合、相反する誤差がグローバルな指標において相殺され、よく較正された行動という誤った印象をもたらします。

既存のスライスベース分析手法はこれらの失敗を露呈させることができますが、事前定義されたデータスライスまたはサブグループラベルを必要とし、これらは複雑で高次元のドメイン、すなわち較正不備領域が明らかなメタデータと一致しない領域では、しばしば利用不可能または不十分です。本論文は、事前定義されたスライスや真のデータ生成確率へのアクセスなしに、これらの「隠れた較正不備レジーム」を発見する問題を扱い、モデルが系統的な過剰または過小の自信を示す入力空間の領域を回復することを目指しています。

手法

著者らは、入力依存の符号付き較正誤差として定義される較正不備場（miscalibration field）を中心とした診断フレームワークを提案します。
$$\delta(x) = E[Y - f(X) \mid X = x]$$
ここで、$f(x)$ はモデルの信頼度、$Y$ は真のラベルです。$f(X)$ に条件付ける古典的な較正とは異なり、この場は入力 $X$ 自体に条件付けます。

較正意識的幾何学の学習

$\delta(x)$ を推定するために、本手法は類似した較正行動を持つ例を互いに近接して配置する表現写像 $\phi: \mathcal{X} \to \mathbb{R}^d$ を学習します。推定は 2 段階で行われます。

1. 学習済み空間におけるカーネル平滑化:
   問い合わせ点 $x$ が与えられたとき、較正不備場は、学習済み表現空間上で経験的残差 $r_i = y_i - f(x_i)$ をカーネル平滑化することで推定されます。
   $$\hat{\delta}_\phi(x) = \frac{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i)) r_i}{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i))}$$
   ここで、$K_\sigma$ はガウスカーネルです。これは条件付き平均残差のナダラヤ・ワトソン推定量として機能します。

2. 学習目的:
   表現 $\phi$ は、条件付き平均残差のばらつきを最大化するように訓練され、過剰自信領域と過小自信領域を実質的に分離します。目的関数は、推定された場の 2 次モーメントを最大化しつつ、「近傍の崩壊」（モデルがノイズに適合するために単一の点を孤立させること）を防ぎます。
   $$\mathcal{L}(\phi) = -\frac{1}{n}\sum_{i=1}^n \hat{\delta}_\phi(x_i)^2 + \lambda \frac{1}{n}\sum_{i=1}^n [\max(0, m_{\min} - m_i)]^2$$
   ここで、$m_i$ は有効な近傍質量です。第 1 項は系統的な残差構造の発見を促進し、第 2 項は孤立した近傍に対して正則化を施します。

3. ハイパーパラメータ選択:
   実世界の設定では真の場 $\delta(x)$ が未知であるため、ハイパーパラメータ（カーネルバンド幅 $\sigma$、正則化 $\lambda$）は検証用プロキシを用いて選択されます。このプロキシは、検証セットにおける局所的に補正された予測（$f(x) + \hat{\delta}_\phi(x)$）のブライアスコアを最小化し、オラクル指標の必要性を回避します。

実行可能な局所補正

学習された場 $\hat{\delta}_\phi(x)$ は、較正が失敗する場所を特定するための診断ツールとして機能します。また、局所的な信頼度補正にも使用できます。著者らは、推定誤差の符号を保持し、有効な確率境界 $[0, 1]$ で滑らかに飽和する範囲意識的補正マップ $\Delta_\alpha(x)$ を提案します。これにより、補正された信頼度 $\tilde{f}(x) = f(x) + \Delta_\alpha(x)$ が有効な確率として維持されます。

主要な貢献

1. 隠れたレジームの発見: 事前定義されたサブグループラベルなしに、過剰および過小自信の整合的な領域を発見する問題を定式化し、較正を入力依存の発見問題として扱います。
2. 較正不備場: 信頼度スコアの関数としてだけでなく、入力空間全体にわたる符号付き較正誤差を捉える入力依存の較正不備場を定義します。
3. 較正意識的幾何学: 局所的な残差の平均化が安定したレジームレベルの較正構造を露呈させる表現を学習する診断フレームワークを導入します。
4. 実証的証拠: 4 つの実世界ベンチマーク（HH-RLHF, MedMCQA, MMLU, MMLU-Pro）および 12 の LLM における広範な実験により、入力依存の較正異質性が普遍的であるが、データセットやモデルファミリー間で均一ではないことが示されました。
5. 実行可能な補正: 学習された場は、標的化された局所的な信頼度補正を支援し、等方性回帰や温度スケーリングなどの標準的な信頼度ベースの事後手法が効果的でない高誤差領域における較正誤差を低減します。

結果

• 合成実験: 本手法は、ノイズのあるベルヌーイ残差から既知の隠れた較正不備構造（クラスター化されたものおよび滑らかに変化する正弦波状の場の両方）を正常に回復しました。これは、誤差の相殺により、グローバルな信頼度ダイアグラムがしばしば実質的な局所誤差を隠蔽することを示しています。
• LLM ベンチマーク:
  • 異質性: 多くの設定において、入力依存の較正異質性が観察されました。一部のモデル - データセットのペアは均質なバイアスを示しますが、他のペアは過剰および過小自信の顕著な隠れたレジームを示します。
  • 診断能力: 学習された場は、グローバル指標（smECE など）が誤差を大幅に過小評価する領域を特定します。例えば、Qwen3-8B を用いた HH-RLHF において、グローバルな smECE は中程度の較正不備を示唆していましたが、学習された場を条件付けることで、実質的に高い誤差を持つ部分集合が明らかになりました（過小自信の部分集合では smECE 0.253、グローバルでは 0.120）。
  • 補正の有効性: 信頼度ベースの手法（等方性回帰、温度スケーリング）はグローバルな較正を改善しますが、既に良好に較正された部分集合のパフォーマンスを低下させたり、特定の較正不備レジームを補正できなかったりすることがよくあります。提案手法は、良好に較正されたデータを劣化させることなく、過剰および過小自信の領域における較正誤差を一貫して低減します。
  • モデルサイズ: いくつかのモデルファミリーにおいて、較正異質性はモデルサイズとともに増加し、能力がドメイン間で非均質に向上することを示唆しています。

意義と主張

本論文は、較正を信頼度スコアのグローバルな性質としてのみ見るべきではないと主張しています。隠れた過剰および過小自信の領域を発見することは、異質なタスクに展開されるモデルに対するより信頼性の高い不確実性推定に向けた重要なステップとして提示されています。

著者らは、その推定量を局所較正の完全な解決策というよりも、主に診断ツールとして位置付けています。その意義は以下の点にあります。

• スコアベースの診断では見えない符号付き残差構造を明らかにすること。
• 学習された場が標的化された補正に対して実行可能かどうかをテストするメカニズムを提供すること。
• 学習された幾何学を検査することで較正が失敗する「場所」を理解するための出発点を提供すること（失敗の具体的な意味論的理由はさらなる調査を必要とする場合でも）。

この研究は、本手法が特定のレジームにおける信頼性を向上させる一方で、利用可能なラベル付きデータに依存しており、訓練分布でカバーされていない過小表現されたグループや展開条件における失敗を検出できない可能性があることを強調しています。したがって、これはタスク固有の検証および人間の監督と並行して、より広範な評価パイプラインの構成要素として推奨されています。