技術要約: FALCON-Discover

問題提起

現在のキャリブレーション研究は、主にモデルの信頼性を集約レベル（例：期待較正誤差（ECE）、ブライア・スコア）で評価しており、予測確率が母集団全体において経験的な正解性と平均的に一致しているかどうかを検証している。これは不可欠な視点ではあるものの、不完全である。なぜなら、この視点は最も運用上危険な失敗モード、すなわち「高い確信度を維持したまま誤った予測を行う、小さく集中したサブセット」に対処できていないからである。これらの「偽りの確信（false-confidence）」によるエラーは、手動での検査を回避し、有害なダウンストリームの意思決定を引き起こす可能性があるため、最も深刻な結果をもたらす。既存の事後的なキャリブレーション手法（例：温度スケーリング、アイソトニック回帰）は、スコア分布をグローバルに再形成したり、より優れたスカラー型の信頼スコアを構築したりすることに焦点を当てているが、危険な確信エラーが予測空間内のコンパクトで発見可能な領域（スライス）を占めているかという構造的な問いについては、ほとんど見落としている。本論文は、問題をグローバルなスコアの整合性から、**不一致の発見（discrepancy discovery）**へと再定義する。すなわち、確信度、局所的なサポート、および構造的安定性が乖離する領域を特定することである。

手法: FALCON-Discover

本論文では、基礎となる分類器を変更することなく、集中した偽りの確信領域を検出し、局在化するために設計された、事後的かつモデルに依存しないフレームワークであるFALCON-Discoverを導入する。この手法は、「予測から構造への学習（prediction-to-structure learning）」というパラダイムに基づいて動作し、保持された予測挙動を、単一のスカラー値の信頼スコアに還元するのではなく、構造化された不一致状態へとマッピングする。

1. シグナルの構築

本フレームワークは、各サンプル $x$ に対して、信頼性を以下の3つの補完的なシグナル・ファミリーに分解する：

• ネイティブな確実性 (Native Certainty): マージン（$|2p(x)-1|$）とエントロピーを用いて、モデルの決定に対するコミットメントを捉える。
• 局所的サポートと合意 (Local Support & Agreement): その決定が近くの訓練データに基づいているかどうかを判断する。これには、訓練マニフォールドからの距離に基づく正規化されたサポート・スコアと、$k$-近傍のラベルの一貫性（近傍間のラベルの一致）が含まれる。
• 構造的安定性 (Structural Stability): サポートを維持する制御された摂動下での予測の堅牢性を測定する。サンプルは近傍のサンプルと部分的に混合され、安定性は平均確率ドリフト（$\Delta_{mean}$）、最大ドリフト（$\Delta_{max}$）、ラベル一貫性（$LC$）、およびロジット分散を通じて定量化される。

これらのシグナルは、ダウンストリームの操作の入力となる構造化表現 $\psi(x)$ を形成する。

2. ランキングと発見

本フレームメントは、危険なエラーを浮き彫りにするための、不一致を考慮したランキング・ルールのファミリーを採用している：

• 安定性中心ルール ($s_{stab}$): 確率ドリフトとラベル不一致に重みを置いた単純な解析的スコア。
• 固定解析的不一致スコア ($s_{disc}$): 矛盾の兆候（確実性、不安定性、サポートの崩壊）を順序重みを用いて粗い単調関数として集約した、反証指向の証拠となるもの。
• 学習された不一致ランカー ($q_\theta$): 検証フォールドで学習された、不一致シグナルを組み合わせるための重み付き線形ロジットモデルであり、偽りの確信イベントを強調する目的関数を持つ。

3. 運用の出力

構造化表現 $\psi(x)$ は、以下の3つの異なる操作を可能にする：

1. ランキング: 固定されたレビュー予算（例：上位20%）内で、偽りの確信イベントの捕捉を最大化するようにサンプルをソートする。
2. 局在化: 不一致表現をクラスタリングすることで、高リスクな失敗が発生しているコンパクトな領域を特定する。
3. キャリブレーションのガイダンス: 将来のキャリブレーションステップにおいて、構造的に疑わしいサンプルへの学習の重点を割り当てるための、不一致を考慮した重み付けプロファイル（$w_{cal}$）を導出する。

すべての不一致特徴量が、データのリークを防ぐために、アウト・オブ・フォールドまたは保持された予測から構築されるよう、厳格なクロス・フィッティングが強制される。

主な貢献

1. 偽りの確信の集中性の定式化: 本論文は、偽りの確信の集中を、集約されたキャリブレーションの要約によって隠されている、回収可能なコンパクトで高リスクなエラー・スライスとして、構造的な信頼性オブジェクトとして定義する。
2. 予測から構造への学習: 保持された予測挙動を、新しい信頼スコアや分類器を構築することとは別に、再利用可能な不一致状態へと引き上げる、事後的なパラダイムを導入する。
3. レジームの特性評価: 集中が発生する状況を特性化し、以下の3つの経験的なレジームを特定する：
   • 強いレジーム (Strong Regimes): 回復可能なスライス上で明確な矛盾の増幅が見られる。
   • 混合レジーム (Mixed Regimes): 弱まった、あるいはバックボーンに依存した増幅が見られる。
   • 境界レジーム (Boundary Regimes): 信頼できる集中推定が困難な、疎なイベントが発生する。
4. ファミリーレベルの発見: 最も強力な検出器はレジームによって異なること（学習された不一致ランカー vs 安定性中心ルール）を示し、この問題を単一のスコアの優位性の問題ではなく、ファミリーレベルの発見の課題として確立する。
5. 制御されたエビデンス: 強力なベース学習器（XGBoost, CatBoost）と厳格なクロス・フィッティングを用い、7つの異種混合なバイナリ・タブラー・データセットにわたるマルチデータセットのエビデンスを提供する。

実験結果

本フレームワークは、7つのデータセット（Adult, Bank Marketing, MiniBooNE, Magic Telescope, Nomao, Spambase, Phoneme）に対して、4つのシードと5分割クロス・フィッティングを用いて評価された。信頼度閾値は $\tau=0.90$ に固定され、レビュー予算は最大20%とした。

• パフォーマンス: 強いレジーム（Adult, Bank Marketing, MiniBooNE）において、不一致ファミリーは、最強の検証済み事前ベースライン（例：TrustScore, Beta Scaling）を大幅に上回った。例えば、Adultデータセットでは、ファミリーのAUROCは0.525から0.847へ、Capture@20は0.108から0.728へと向上した。
• 検出器の変動性: 「最良の」ファミリー構成員は、レジームに依存していた。複数の矛盾の兆候を結合する必要がある場合は学習された不一致ランカーが最も優れた性能を示し、局所的な決定の脆弱性が支配的なレジーム（Nomao, Spambase）では、安定性中心ルールが優れていた。
• ベースラインとの比較: 生の確信度ランキングでは、危険なエラーの質量をほとんど回収できなかった。不一致を考慮したアプローチは、小さなレビュー予算内で偽りの確信の質量を捕捉するにおいて、ランダムランキングや標準的なキャリブレーション・ベースラインを大幅に上回った。
• レジームへの感度: 「混合」レジーム（Magic Telescope）では、より強力なベース予測器が局所的な構造を吸収してしまい、事後の発見のための残余の余地を減少させた。「境界」レジーム（Phoneme）では、疎な偽りの確信イベントにより、すべての手法の証拠能力が弱まった。

意義と主張

本論文は、偽りの確信の集中は、訓練されたモデルの、実在し、測定可能であり、かつレジーム依存の特性であると主張している。主な貢献は、新しい分類器や普遍的に支配的なスコアを提示することではなく、キャリブレーション失敗の構造的な視点を提供することにある。

著者らは、キャリブレーション分析は、単にスコアを頻度と一致させることから、予測が構造的に信頼できなくなる箇所を明示的に明らかにすることへとシフトすべきであると論じている。危険な過剰な確信を、発見可能な構造的オブジェクトとして扱うことで、FALCON-Discoverは、確信度、サポート、および安定性が乖離する特定の領域に焦点を当てた、標的を絞ったモニタリング、選択的な棄却、およびキャリブレーションの精緻化を可能にする。本研究は、信頼性の失敗は単なるスカラー値ではなく構造的なものであることを確立し、これらの集中した不一致領域を明示的にターゲットとする将来の戦略を動機づけている。著者らは、現在のフレームワークはバイナリ・タブラー・データに対して定義されており、サポートや安定性の原則を他のモダリティ（視覚、言語）に拡張するには、モダリティ固有の定義が必要であることを指摘し、謙虚な姿勢を保っている。