From Misclassifications to Outliers: Joint Reliability Assessment in Classification

本論文は、分布外（OOD）検出と分類失敗予測を統合的に評価する新たなフレームワークと指標（DS-F1、DS-AURC）を提案し、信頼性の高い分類器 SURE+ を開発することで、実世界における機械学習モデルの信頼性向上に貢献しています。

要約

この論文は、**「AI が『わからないこと』を正直に言えるようにする」**という、とても重要な課題について書かれています。

AI を現実世界（例えば、自動運転や火災検知システム）に使うとき、一番怖いのは「AI が自信満々に間違ったことを言うこと」です。この論文は、その問題を解決するための新しい「評価の物差し」と「AI のトレーニング方法」を提案しています。

わかりやすく、3 つのポイントに分けて解説します。

---

1. 問題：「自信」と「正解」は別物だった？

これまでの AI 研究では、以下の 2 つの能力を別々の問題として扱っていました。

1. 未知のものを見抜く力（OOD 検知）： 「これは訓練データにない変な画像だ（例：火災検知カメラに映った『霧』）」と気づく力。
2. 自分の間違いに気づく力（失敗予測）： 「これは訓練データと同じ種類だが、実は間違えて分類しそうだ」と気づく力。

【例え話：優秀な警備員】
Imagine a security guard at a museum.

• 従来の考え方：
  • 「変な人（泥棒）」を見抜く訓練（未知のもの）と、「展示品を間違えて壊しそうになる人」を見抜く訓練（既知のミス）を、別々の教官が担当していました。
  • しかし、現実の警備員は、「変な人」も「間違えそうな人」も同時に見張らなければなりません。

この論文は、「これらを別々に評価してもダメだ。『変な人』と『間違えそうな人』を同時にチェックできる新しい物差しが必要だ」と指摘しています。

2. 解決策①：新しい評価の物差し「ダブル・スコアリング」

従来の評価は、「1 つの基準（スコア）」だけで「OK/NG」を決めていました。これでは、微妙なケースを見逃してしまいます。

そこで、この論文は**「2 つの基準」**を使うことを提案しました。

• 基準 A（未知チェック）： 「これは見たことのない変な画像か？」
• 基準 B（自信チェック）： 「この画像について、私は自信を持って答えられるか？」

【例え話：2 段階のフィルター】
AI が判断する時、2 つのフィルターを通します。

1. フィルター 1： 「これは変な画像（霧や煙）じゃないか？」→ もし変なら「拒否（知らない）」と判断。
2. フィルター 2： 「変じゃないなら、私の答えは正しいか？」→ もし自信がなければ「拒否（わからない）」と判断。

この 2 つのフィルターを組み合わせることで、「本当に信頼できる答え」だけを出力し、それ以外は「わかりません」と言えるようになります。

この仕組みを評価するための新しい指標として、**「DS-F1」と「DS-AURC」**という名前（DS は「Double Scoring」＝二重スコアリング）のものを提案しています。これにより、「どの AI が本当に安全で信頼できるか」を正しくランキングできるようになります。

3. 解決策②：新しい AI の育て方「SURE+」

新しい評価基準に合わせて、AI をもっと賢く育てる方法も提案しました。それが**「SURE+」**という新しいトレーニング方法です。

【例え話：過酷なトレーニング】
従来の AI は、きれいな教科書（訓練データ）だけを見て勉強していました。しかし、現実世界は汚れていたり、光の加減が変わったりします。
SURE+ は、以下のような「過酷なトレーニング」を取り入れます。

• 画像を混ぜる（RegMixup）： 教科書のページを切り貼りして、新しいパズルを解かせる。
• ノイズをかける（RegPixMix）： 教科書にインクをこぼしたり、光を当てたりして、どんな状態でも読めるようにする。
• 平らな山登り（F-SAM）： 頂上（正解）にたどり着くとき、急な崖ではなく、広々とした平らな道を選ぶように教える（これにより、少しの揺れでも転落しにくくなる）。

このようにして育てられた SURE+ は、「未知のもの」にも「自分のミス」にも強く、どんな状況でも「わからないときはわからない」と正直に言えるようになります。

---

まとめ：なぜこれが重要なのか？

この論文が伝えたいことはシンプルです。

「AI に『正解』を出すことだけを求めると、危険な『自信過剰な間違い』が生まれる。『わからない』と言える能力を一緒に育て、それを正しく評価する仕組みが必要だ」

火災検知システムが「霧」を「火災」と勘違いして大騒ぎしたり、自動運転車が「変な形をした箱」を「車」と認識して事故を起こしたりするのを防ぐために、この新しい「ダブル・スコアリング」の考え方が、未来の安全な AI 社会の基礎になると期待されています。

一言で言うと：
「AI に『何でも知ってるふり』をさせず、『本当に信頼できる時だけ』答えるようにし、その能力を正しく測る新しいルールを作りました」というお話です。

技術概要

論文「From Misclassifications to Outliers: Joint Reliability Assessment in Classification」の技術的概要

本論文は、機械学習モデルの信頼性（Reliability）を評価・向上させるための新しい枠組みを提案しています。従来の研究では「分布外（OOD）検出」と「分類失敗予測（Failure Prediction）」が別々の課題として扱われてきましたが、著者らはこれらが密接に関連しており、統合的に評価・最適化する必要があると主張しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

現実世界の安全クリティカルなアプリケーション（例：火災・煙検知）において、モデルは以下の 2 つの要件を満たす必要があります。

1. 分布外（OOD）入力の検出: 訓練分布から外れた入力（例：霧や蒸気）を「信頼できない」として拒絶する。
2. 分布内（ID）誤分類の予測: 訓練分布内であっても、モデルが自信を持って誤った予測を行うケースを特定し、低信頼度として扱う。

既存の課題:

• 従来の評価指標や手法は、OOD 検出と失敗予測を個別に最適化する傾向があり、両者を同時に考慮した統合的な評価が不足しています。
• 単一のスコア関数と閾値（Threshold）のみで判断する「単一スコア（Single Scoring）」アプローチでは、ID 精度と OOD 検出性能のトレードオフを適切に捉えきれず、実運用における信頼性を過大評価または過小評価する可能性があります。
• 特に「ニア OOD（Near-OOD：訓練データと視覚的に類似した分布外データ）」の条件下では、既存の手法の性能が限定的であることが示唆されています。

2. 提案手法 (Methodology)

著者らは、OOD 検出と失敗予測を補完的な要素として捉え、**「二重スコアリング（Double Scoring）」**に基づく統合フレームワークを提案しました。

A. 統合評価指標: DS-F1 と DS-AURC

従来の単一閾値評価を拡張し、2 つのスコア関数と 2 つの閾値を用いる新しいメトリクスを定義しました。

• スコア関数:
  1. $s_{OOD}$: OOD 検出スコア（高い値ほど ID である可能性が高い）。
  2. $s_{ID}$: 分類自信度スコア（高い値ほど予測が正しい可能性が高い）。
• 決定ロジック:
  入力 $x$ に対して、$s_{OOD}(x) \ge \tau_{OOD}$ かつ $s_{ID}(x) \ge \tau_{ID}$ の場合のみ予測を「受理（Accept）」します。これにより、サンプルは「True Accept（正解受理）」「False Accept（誤受理）」「False Reject（誤棄却）」などに分類されます。
• DS-F1 (Double Scoring F1):
  全ての閾値の組み合わせ $(\tau_{OOD}, \tau_{ID})$ に対して計算される F1 スコアの最大値。システムが達成しうる最良の動作点を評価します。
• DS-AURC (Double Scoring Area Under Risk-Coverage):
  異なるカバレッジ（受理率）レベルにおけるリスクの最小値を統合した指標。単一スコア評価よりもモデルの全体的な堅牢性を評価します。
  • 性質: DS-F1 は単一スコアの F1 以上、DS-AURC は単一スコアの AURC 以下（＝より良い性能）になることが保証されています。

B. 信頼性向上モデル: SURE+

既存の失敗予測モデル「SURE」を拡張し、OOD 検出と失敗予測の両方に優れた**SURE+**を提案しました。

• データ拡張: RegMixup（ラベル保存型特徴補間）と RegPixMix（ピクセルレベルのノイズ耐性）を組み合わせ、セマンティックおよびピクセルレベルの両方でのロバスト性を向上。
• 最適化: 鋭い極小値（Sharp Minima）を避けるため、F-SAM（Flatness-Aware Minimization）を採用。
• アンサンブル: 確率的重み平均（SWA）を指数移動平均（EMA）に置き換え、バッチノーマライゼーション統計量を再正規化（Re-BN）することで、ID/OOD 混合分布下での安定性を向上。
• 簡素化: 従来の SURE に含まれていた複雑なコンポーネント（CRL, CSC）を削除し、汎用性と再現性を高めています。

3. 主要な貢献 (Key Contributions)

1. 統合評価の必要性の提示: OOD 検出と失敗予測は分離して評価すべきではなく、補完的な関係にあることを示し、実世界での信頼性評価に不可欠であると論じました。
2. 新メトリクスの提案: DS-F1 と DS-AURC を導入し、二重スコアリングによる統合評価を可能にしました。これにより、単一スコア評価では見逃されていたモデルの真の信頼性を捉えることができます。
3. 高性能な学習フレームワーク SURE+: 上記の評価基準に基づき、ID 精度と OOD 検出性能の両方で SOTA（State-of-the-Art）を達成する新しい学習パイプラインを提案しました。
4. 包括的な実験検証: OpenOOD ベンチマーク（CIFAR-100, ImageNet-1K）を用いた大規模実験により、提案手法の有効性を実証しました。

4. 実験結果 (Results)

OpenOOD ベンチマーク（CIFAR-100 および ImageNet-1K）を用いた実験結果は以下の通りです。

• 二重スコアリングの優位性:
  • 単一スコア（Single Scoring）と比較して、二重スコアリング（Double Scoring）は DS-F1 と DS-AURC の両方で一貫して高い性能を示しました。
  • 特に「ファ OOD（Far-OOD：視覚的に明確に異なるデータ）」において性能向上が顕著でしたが、「ニア OOD（Near-OOD）」では改善が限定的であることも示されました。
• SURE+ の性能:
  • CIFAR-100 上では、ID 精度 81.66% を達成し、DS-F1 と DS-AURC の両方で既存の最良の手法（SURE や他のデータ拡張手法）を上回りました。
  • ImageNet-1K 上（DINOv3 ViT-L/16）でも、ID 精度 88.49% を達成し、同様に最良の信頼性スコアを記録しました。
  • 異なるポストホック手法（MSP, ReAct, VIM など）と組み合わせても、SURE+ の性能向上効果は安定して現れました。
• ニア OOD の課題:
  • 既存のポストホック OOD 検出手法は、ファ OOD では有効ですが、ニア OOD 条件では追加的な利益が小さいことが確認されました。これは、ニア OOD 検出が依然として大きな課題であることを示唆しています。

5. 意義と将来展望 (Significance & Future Work)

• 実用への指針: 本論文は、安全クリティカルな AI システムを構築する際、OOD 検出と失敗予測を別々に最適化するのではなく、統合的な評価指標（DS-F1/AURC）と学習戦略（SURE+）を用いるべきであることを示しました。
• 信頼性の定量化: 単一の閾値に依存しない評価枠組みにより、モデルの動作点（Operating Point）をより柔軟かつ正確に選定できるようになりました。
• 今後の課題:
  • ニア OOD 検出の改善: 視覚的に類似した分布外データに対する検出精度を向上させるための新しい特徴表現や損失関数の開発が必要とされています。
  • トレーニングベースの手法との統合: 補助的な外れ値データを用いたトレーニング手法（Outlier Exposure など）を二重スコアリング枠組みにどう組み込むかという研究が期待されます。
  • 閾値の自動調整: 現実の分布シフトに対応できる、より堅牢な閾値選定手法（生成モデルを用いた合成データによる較正など）の開発が求められています。

総じて、本論文は「信頼できる AI」の実現に向けて、評価指標と学習手法の両面から画期的な基盤を提供した重要な研究と言えます。