🤖 machine learning

When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

本論文は、スパース自己符号化器を用いてクラス固有の概念ベクトルを抽出することで、その摂動誘発的な安定性を利用し、表現の整合性に基づいて分布内サンプルと分布外アノマリーを区別する、医療画像のための解釈可能な分布外（OOD）検出フレームワークを提案し、安全性を高めるものである。

原著者： Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「自信が概念を欠くとき（When Confidence Lacks Concepts）」という論文の解説を、日常的な例えを用いた分かりやすい言葉で紹介します。

大きな問題：自信過剰なロボット医師

非常に高度な訓練を受けた、医療画像（X線や内視鏡写真など）から病気を診断することに長けたロボット医師を想像してみてください。このロボットは、健康な胃や特定の種類の癌の画像を何千枚も学習してきました。

しかし、このロボットには危険な欠陥があります。それは**「過学習（過度な一般化）」**です。もし、全く別の臓器や、奇妙なアーティファクト（偽像）、あるいは見たこともない病気の画像を見せられたとしても、このロボットは「これは間違いなくこれです！」と自信満々に診断を下してしまうことがあります。現実の世界において、これは非常にリスクが高いことです。なぜなら、ロボットが「自信満々に間違える」可能性があるからです。

現在、こうしたミスを防ぐために、ロボットの「内部的な計算（どれくらい確信を持っているか）」を確認する方法があります。しかし、問題は、これらの内部信号が「ブラックボックス」であることです。私たちはロボットが「確信を持てていない」ことは分かりますが、「なぜ」そうなのかまでは分かりません。それは、車のダッシュボードに「エンジン異常」という警告灯は出ているものの、詳細な内容は何も教えてくれない状態と同じです。ヘルスケアの分野では、信頼性を確保するために、ロボットが「なぜ」確信を持てていないのかを知る必要があります。

解決策：「概念摂動（コンセプト・パターベーション）」テスト

著者らは、このロボットをテストするための新しい方法を提案しています。これをCAPS（Class-conditioned Activation Perturbations：クラス条件付き活性化摂動）と呼びます。単に最終的な答えを見るのではなく、ロボットの「思考の安定性」を確認するために、ロボットの脳に刺激を与えてみます。

その仕組みは、以下のステップで行われます。

1. 病気の「語彙」を学ぶ（SAE）

まず、研究者たちはロボットに新しい考え方を教えます。これには**スパース・オートエンコーダ（SAE）**というツールを使用します。

例え： ロボットは通常、巨大で混沌とした「言葉のスープ」のような状態で考えています。SAEは、そのスープを個別の「材料（概念）」へと分解する翻訳者のような役割を果たします。
結果： 特定の疾患（例：「幽門（Pylorus）」）に対して、ロボットは特定の「概念ベクトル」を識別することを学びます。これらは、健康な幽門がどのようなものかを示す「精神的な設計図」（例：「丸い形状」、「ピンク色の色合い」、「特定の開口部」）のようなものです。

2. 「もしも」のテスト（摂動）

ロボットが新しい患者の画像を見たとき、それはある推測を下します。例えば、それが「幽門」だと推測したとしましょう。

テスト： 研究者たちは、その特定の「幽理門の設計図（概念ベクトル）」を取り出し、画像の内部表現をその方向へ向かって、優しく「つつく（動かす）」ようにします。これは、ロボットに対して次のように問いかけるようなものです。「もし、この画像が完璧な幽門に少しでも近づいたら、あなたの確信度は変わりますか？」

3. 安定性のチェック（ID vs. OOD）

ここで魔法が起こります。研究者たちは、その「つつき」によってロボットの確信度がどれくらい変化したかを測定します。

シナリオA：本物の患者（分布内 / In-Distribution）
- 状況： 画像は実際に本物の幽門です。
- 反応： ロボットの脳はすでに「幽門の設計図」と一致しています。そのため、設計図の方へ少し動かしても、ロボットはほとんど動じません。確信度は安定したままです。
- 判定： 「これは安全で、既知のサンプルである」
シナリオB：偽物または未知の患者（分布外 / Out-of-Distribution）
- 状況： 画像は実際には奇妙なアーティファクトや別の臓器ですが、ロボットはとりあえず「幽門」と推測しました。
- 反応： ロボットの脳は、実際には「幽門の設計図」とは一致していません。そのため、設計図の方向へ動かされると、ロボットは混乱します。画像がその概念に適合していないため、確信度が激しく揺れ動きます。
- 判定： 「これは怪しい！ロボットは根拠のない推測をしている。分布外（OOD）としてフラグを立てよ」

なぜこれが重要なのか：ブラックボックスからガラスボックスへ

この論文は、この手法が**「解釈可能（インタープリタブル）」**であるという点で特別であると主張しています。

従来の方法： 「ロボットが確信を持てていない」。（理由は分からない）
新しい方法： 「ロボットが確信を持てていないのは、画像が幽門を定義する特定の視覚的特徴（概念）を欠いているからである。たとえロボットが幽門だと推測していたとしても」

研究者たちは、これを3種類の医療画像を用いてテストしました。

内視鏡（胃や腸の内部を観察）
組織病理学（顕微鏡による組織サンプルの観察）
眼科（網膜スキャンによる目の観察）

専門家の意見

彼らの「概念」が単なる数学的なデタラメではなく、実在するものであることを証明するために、彼らは結果を人間の医師（消化器内科医）に提示しました。

判明したこと： ロボットが「安定」していたとき、画像には明確で実在する医学的なランドマーク（幽門の開口部や食道のZラインなど）が示されていました。
失敗のケース： ロボットが「不安定」だった（OODサンプルだった）とき、医師はそれらの画像にランドマークが欠けているか、あるいは本来そこにあるべきではないもの（間違った場所にあるポリープやソフトウェアのオーバーレイなど）が表示されていることを確認しました。

まとめ

この論文は、AIの確信が、理解可能な実在の機能に基づいているかどうかをチェックすることで、AIのミスを検知する手法を紹介しています。

AIが確信を持っており、かつその画像がその確信の「概念」と一致している場合、それは安全である可能性が高いです。
AIが確信を持っていても、画像がその「概念」と一致していない（テスト時に大きな反応を引き起こす）場合、それは間違いである可能性が高いです。

これにより、AIが単にエラーを検知するだけでなく、「なぜ」エラーが起きているのかを説明できるようになり、医療のような極めて重要な分野におけるAIの安全性を高めることができます。

技術要約：信頼が概念を欠くとき：表現摂動による解釈可能なOOD検出

問題提起
深層ニューラルネットワーク、特に医療画像分野においては、分布シフト（例：撮像プロトコルの変動、患者のデモグラフィックス、あるいは未知の疾患）に直面した際に、過剰な汎化を示す傾向があります。Out-of-Distribution（OOD：分布外）検出手法は、こうした信頼性の低い予測を軽減するために存在しますが、その多くは、意味論的な意味合いが不明瞭な不透明な内部信号（ソフトマックス確率、エネルギー・スコア、特徴量間の距離など）に依存しています。この解釈性の欠如は、なぜそのサンプルが異常としてフラグを立てられたのかという理由を理解することが、単なる検出自体と同じくらい重要な安全性の高い臨床現場において、信頼を制限する要因となります。本論文は、判別性と解釈性の両方を備えたOOD検出フレームワーク、すなわち、検出の決定を具体的かつ臨床的に意味のある「概念」に結びつける手法の必要性に取り組んでいます。

手法：クラス条件付き活性化摂動（CAPS）
提案されたフレームワークであるCAPSは、表現空間内におけるクラス条件付きのセマンティックな摂動に対するモデル予測の安定性を調査することで機能します。この手法は以下の3つの段階で進行します。

スパース自己符号化器（SAE）の学習:
著者らは、高密度な中間活性化（具体的にはVision Transformerの[CLS]トークン）を、スパースで意味のある構成要素へと分解するために、スパース自己符号化器（SAE）を採用しています。SAEは、元の活性化 $h$ がデコーダ列（特徴量）の線形結合によって近似されるような、スパースな潜在表現 $s(h)$ とデコーダ $D$ を学習します。学習目的関数は、再構成の忠実度とスパース性のバランスをとります（ $L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$ ）。
クラス固有の概念抽出:
各クラス $c$ について、著者らは、分布内（ID）の訓練サンプルにおける平均的な潜在活性化を計算することで、特徴的に活性化するSAE潜在変数のサブセットを特定します。平均活性化が最も高い上位 $k$ 個の潜在次元が選択され、クラス固有の概念辞書 $K_c$ を形成します。これらのデコーダ列は、クラスを定義する特徴をエンコードする線形方向を表します。
摂動と安定性解析:
推論時、テスト入力 $\bar{x}$ に対して、モデルはまずクラス $\hat{y}$ を予測します。対応する概念ベクトル $v_{\hat{y}}$ は、選択された概念ベクトルを集約し正規化することで構築されます。このベクトルは、制御された摂動を介して、レイヤー $l$ におけるモデルの中間活性化に注入されます： $\tilde{h}_l = h_l + \beta v_{\hat{y}}$ （ここで $\beta$ は摂動の強度を制御します）。

核心となる仮説は、クラス固有のセマンティックな方向性と一致するIDサンプルは、これらの摂動に対して低い感度を示す（結果としてクラス・ロジットの変化が小さくなる）ということです。逆に、学習された方向性を欠くOODサンプルは、ロジットの増幅された偏差を示します。OOD検出スコアは、ロジットの変化量 $\Delta \ell_c$ の大きさとして定義されます。閾値 $\tau$ （保持されたIDセット上で較正）を超えるサンプルは、OODとして分類されます。

主な貢献

新しいフレームワーク: 不透明な出力スコアではなく、表現空間における概念レベルの摂動を活用するOOD検出手法として、CAPSを提案。
クロスドメイン評価: 内視鏡（Kvasir-v2）、病理組織学（NCT-CRC-HE-100K/CRC-VAL-HE-7K）、および眼科画像（網膜OCT）の3つの異なる医療画像モダリティにわたる広範な評価。
臨床的解釈性: 抽出されたSAE特徴が、臨床的な専門家によるブラインド検証を通じて、臨床的に意味のある視覚的パターン（例：幽門開口部のような解剖学的ランドマークや、胆汁染色のような生理学的特徴）に対応していることを実証。

結果
本手法は、AUROCおよびFPR95を用いて、最先端のベースライン（Energy, MSP, Mahalanobis, ViM, NEROを含む）と比較評価されました。

病理組織学: CAPSは、95.28% AUROC および 23.17% FPR95 という最高の性能を達成しました。
OCT: CAPSは 93.67% AUROC および 24.80% FPR95 を達成し、すべてのベースラインを上回りました。
Kvasir-v2 (内視鏡): 本手法は 79.58% AUROC を達成しました。著者らは、この中程度の性能を、データセットサイズが小さいこと（2,400サンプル）に起因すると説明しています。これにより、より大規模な病理組織学やOCTのデータセット（>50k サンプル）と比較して、SAEが高度に判別的なクラス固有の方向を学習することが制限されました。
堅牢性: 感度分析により、十分なデータがあるデータセットにおいては、広範なハイパーパラメータ（ $k$ および $\beta$ ）の範囲で手法が安定していることが示されましたが、低データ量のKvasir-v2の領域では不安定性が観察されました。

意義と主張
本論文は、CAPSが「判別的なOOD信号と、モデルの不確実性を駆動する内部メカニズムへの解釈可能なレンズ」を提供すると主張しています。OOD検出を概念条件付きの安定性解析として定式化することにより、本アプローチは、高精度な検出と臨床的な信頼性の間の溝を埋めます。著者らは、OODサンプルが単に「異なっている」からではなく、クラス内（ID）の確信に満ちた予測を駆動する特定の、専門家によって検証されたセマンティックな特徴を欠いているために検出されるのだということを示しています。

著者らは、低データ環境においては、セマンティックに一貫した方向を捉える難しさが信頼性に影響を与える可能性があることを認めつつ、限界事項に関して控えめなトーンを維持しています。彼らは、モダリティレベルの事前学習が役立つ一方で、データ制約のあるヘルスケア環境のためのより堅牢なSAE学習戦略を開発することが、今後の必要な方向性であると断言しています。本研究は、深層ニューラルネットワークにおける表現レベルの解釈性と信頼性評価を統合するための一歩として提示されています。