📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

本論文は、分布外検出のための相対マハラノビス距離スコアとベイズ非パラメトリックモデルとの間の形式的な関連性を確立し、特に訓練クラスが異なる共分散構造を示す場合やデータが限られている場合に優れた性能を示す一般化された階層混合モデルを提案する。

原著者： Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは非常に格式高い美術館の警備員だと想像してください。あなたは美術館の絵画（あなたの訓練データ）を研究し、何年もかけて、「本物」の絵画がどのように見え、どのように感じられ、どのように振る舞うかを正確に理解しています。

ある日、見知らぬ人物が奇妙な物体を持って入ってきます。それはあなたがまだ見たことのない新しい芸術家による傑作（分布外、すなわちOODサンプル）でしょうか、それとも単に奇妙な形をしたゴミ箱（外れ値）でしょうか？あなたの仕事は、すぐにゴミ箱を見抜き、警報を鳴らすことです。

この論文は、ベイズ非パラメトリックと呼ばれる特定の数学を用いて、より賢い警備員を構築することについて述べています。以下に、著者が簡単な比喩を用いて説明するアプローチを示します。

古い方法：「すべてに通用する」定規

長らく、警備員たちはマハラノビス距離（具体的にはRMDSと呼ばれるバージョン）という単純な道具を使っていました。

これは、美術館にあるすべての絵画が、正確に同じ形状と質感を持っていると仮定する定規のようなものです。

もし絵画が少し伸びていれば、定規は「それは奇妙だ！」と言います。
もし絵画が少ししわくちゃになっていれば、定規は「それは奇妙だ！」と言います。

問題は、現実世界ではすべての絵画が同じではないということです。いくつかは幅広で平らで、他は背が高く細いです。いくつかは荒いキャンバスに描かれ、他は滑らかな絹に描かれています。もし「すべてに通用する」定規を無理やり使ってそれらすべてを測定すれば、ゴミ箱を見逃すかもしれません（それは「普通の」幅広の絵画に見えるため）し、あるいは誤警報を出すかもしれません（背の高い絵画があなたの平らな定規に対して「異常」に見えるため）。

新しいアイデア：「柔軟で、共有された知恵」のアプローチ

著者たちは、**ディリクレ過程混合モデル（DPMMs）**に基づいた新しい警備員を提案しています。

すべての絵画が同じであると仮定するのではなく、この新しい警備員は以下を理解しています：

絵画には多くの種類がある： 美術館には 100 種類の異なるスタイル（クラスター）があるかもしれない。
新しい絵画が現れる可能性がある： 警備員がまだ見たことのない新しいスタイルが存在する可能性は常にある。
彼らは知恵を共有する： 各絵画のスタイルが異なっていても、互いから学ぶことができる。

「共有された知恵」の比喩（階層的事前分布）

美術館に 100 の異なる芸術部門があると想像してください。

古い方法： 各部門は、独自の定規を使って自部門の絵画を測定しようとします。もしある部門に絵画が 5 点しかなければ、その定規は不安定で信頼できません。
新しい方法（階層的）： すべての部門は、借りることができる「マスター定規」を共有します。ある部門に絵画が非常に少ない場合、彼らはマスター定規に大きく依存します。ある部門に何千もの絵画がある場合、彼らは自らの測定をより信頼します。

これが著者たちが階層的事前分布と呼ぶものです。これにより、システムは柔軟（異なる形状を認める）でありながら、安定（データが不足したときに混乱しない）になります。

大きな発見：古いものと新しいものは親戚である

この論文は驚くべき発見をします。著者たちは数学的に証明しました。古い「すべてに通用する」定規（RMDS）は、実際には彼らの新しい「柔軟な」システムの特殊で単純化されたバージョンに過ぎないということです。

次のように考えてみてください。古い定規は、その光景の白黒写真のようなものです。新しいシステムは高画質のカラー動画のようなものです。著者たちは、もしあなたが動画を細目にして色を消せば、それは白黒写真と全く同じに見えることを示しました。これは、古い方法が「間違っていた」のではなく、より強力なアイデアの単純化されたバージョンに過ぎなかったことを意味します。

新しい道具：3 種類の柔軟な警備員

古い方法が単純化されたバージョンに過ぎないと気づいたため、著者たちは異なる状況に対処するための、より強力な 3 種類の新しい警備員を構築しました。

フルボディー警備員（フル共分散）： この警備員は、絵画の形状と質感のすべての詳細を同時に観察します。非常に正確ですが、多くのメモリと時間を必要とします。これは、多くの絵画が各スタイルごとに存在する巨大な美術館がある場合に最も機能します。
クイックスキャン警備員（対角共分散）： この警備員は、幅と高さを別々に観察し、それらがどのように相互作用するかは無視します。これは速く、メモリも少なくて済みます。これは美術館が巨大で、すべての詳細を見る時間が十分ない場合にうまく機能します。
「リンクされた」クイックスキャン警備員（結合対角）： これは著者たちの独創的な発明です。これはクイックスキャン警備員のようですが、もし絵画の幅が「奇妙」であれば、高さもおそらく「奇妙」であると気づきます。これら 2 つのアイデアをリンクさせます。これは多くのテストで最良のパフォーマンスを示し、特に美術館に多くのスタイルがあるが、各スタイルの例があまりない場合に顕著でした。

彼らは何を見つけましたか？

著者たちは、これらの新しい警備員をOpenOOD（異なる美術館とゴミ箱の巨大なテスト）と呼ばれる有名なベンチマークでテストしました。

美術館が小さく混雑している場合： 新しい「リンクされた」警備員がゴミ箱を見抜くのに最も優れていました。
美術館に各スタイルの例が非常に少ない場合： 新しい警備員は、データ不足によって混乱した古い定規よりもはるかに優れていました。
スタイルが互いに非常に異なる場合： 新しい警備員は、すべてを同じ「箱」に押し込めようとしなかったため、よりよく適応しました。

結論

この論文は、奇妙なデータを検出するために、単純で硬直した定規（古い RMDS のようなもの）だけに頼るべきではないと主張しています。代わりに、柔軟で知恵を共有するシステムのように機能するベイズ非パラメトリックモデルを使用すべきです。

この問題を「この新しいアイテムが既知のグループに属しているのか、それとも全く新しいグループに属しているのかを特定する」として扱い、異なるグループが統計的な強さを共有させることで、特に美術館が散らかっている場合や例が不足している場合に、ゴミ箱を見抜くのにはるかに優れたセキュリティシステムを構築できます。

要約すると： この論文は、複雑で柔軟な数学的枠組みを取り上げ、それがなぜ現在の単純な道具が機能するのかを説明し、その枠組みを用いて、古いものよりも優れた、より適応性の高い道具を構築し、厄介な状況でそれらを上回る性能を発揮することを示しています。

技術的概要：分布外検出のためのマハラノビス距離に関するベイズ非パラメトリック視点

問題定義

大規模データセットで訓練された基盤モデルに特に依存する機械学習システムは、必然的に訓練分布から逸脱したデータに直面します。これらの分布外（OOD）サンプルを検出することは、安全性と信頼性にとって不可欠です。ベイズ非パラメトリック手法は、データ点が新しいクラスターに属する確率を推定するための整合的な確率的枠組みを提供しますが、より単純な距離ベースの指標の採用に比べて、ほとんど顧みられていません。ベイズアプローチの採用に対する主要な障壁は、特徴埋め込みに対する高次元共分散行列の推定における計算的・統計的課題であり、特にクラスあたりの訓練サンプル数が埋め込み次元に対して少ない場合に顕著です。

手法

理論的関連性：RMDS と DPMM

著者らは、広く使用されている相対マハラノビス距離スコア（RMDS）とベイズ非パラメトリック推論との間の形式的な理論的関係を確立しました。具体的には、RMDS が、結合共分散行列（すべてのクラスが単一の共分散行列を共有する）を持つガウスディリクレ過程混合モデル（DPMM）から導出される外れ値確率の近似であることを示しました。

命題 4.1: 一般的な DPMM のイン라이어確率を、相対マハラノビススコアに類似したスコア $\tilde{C}(x)$ のロジスティック関数として表現できることを示しています。
命題 4.2: 特定の領域（サブガウスデータ、等しいクラスターサイズ、および相対共分散行列に関する特定の条件）において、結合共分散モデルからの DPMM スコアが RMDS とほぼ完全に相関することを証明しています。これにより、ヒューリスティックな RMDS アプローチが厳密なベイズ推論と結びつけられました。

階層ガウス DPMM

クラスが著しく異なる共分散構造を示す場合、結合共分散の仮定（したがって RMDS）が成り立たない可能性があることを認識し、著者らは階層ガウス DPMMを提案しました。これらのモデルは、階層的事前分布を通じてクラス間で統計的強度を共有しつつ、各クラスターに対して個別の共分散行列を推論することで、結合共分散の仮定を緩和します。

本論文では、3 つの具体的なモデル変種を導入しています：

フル共分散モデル: 共役事前分布である正規 - 逆ウィシャート（NIW）分布を使用します。これによりフル共分散行列を可能にしますが、高次元では過学習のリスクがあります。
対角共分散モデル: 次元間で分散が独立であると仮定し、スケーリングされた逆カイ二乗事前分布を使用します。これによりパラメータ数を削減しますが、次元間の独立性を仮定します。
結合対角共分散モデル: 次元間の相関を捉えるためのクラス固有のスケーリング因子 $\gamma_k$ を導入するという新規アプローチです。この因子は特定のクラスのすべての次元の分散をスケーリングし、モデルがクラス間での分散大きさの系統的変動を捉えつつ、計算効率を維持することを可能にします。

推定

著者らは、これらの階層モデルのハイパーパラメータを推定するための効率的な期待値最大化（EM）アルゴリズムを開発しました。

フル共分散および対角モデルの場合、ハイパーパラメータ（集中度 $\nu_0$ および精度スケーリング $\kappa_0$ ）に対する M ステップは、閉形式または一般化ニュートン法によって計算されます。
結合対角モデルの場合、スケーリング因子 $\gamma_k$ に関する事後分布は閉形式を持ちません。著者らは、 $\gamma_k$ が 1 次元であるという事実を活用し、高密度グリッド上の数値積分を用いてこれを近似しました。

主要な結果

合成実験

2 次元データでのシミュレーションは、以下の条件において階層モデルが結合共分散モデル（および RMDS）を上回ることを確認しました：

クラスター間で共分散行列が著しく異なる場合（低い $\nu_0$ ）。
クラスあたりのデータ点数 ( $N_k$ ) が次元 ( $D$ ) に対して小さい場合。
$N_k/D$ が小さい領域では、階層的事前分布なしのクラス別共分散を使用する独立した RMDS は過学習により失敗しますが、階層 DPMM は堅牢な性能を維持します。

OpenOOD ベンチマーク評価

モデルは、CIFAR-10、CIFAR-100、ImageNet-1K データセットと、さまざまな OOD データセット（ニアおよびファア）を使用して、OpenOOD ベンチマークで評価されました。

ImageNet-1K: 結合対角モデルはニア OOD 検出において最良の性能を達成し、標準的な RMDS および結合 DPMM を上回りました。フル共分散モデルは、高次元（768 次元）空間での過学習が原因で性能が低かったと考えられます。
CIFAR-10: フル共分散階層モデルは、ニアおよびファア OOD タスクの両方で最高性能を示しました。これは、低次元の埋め込み（512 次元）と小規模データセットの場合、フル共分散構造が学習可能であり、有益であることを示唆しています。
次元性分析: 特徴次元が増加するにつれて、フル共分散モデルの性能は頭打ちまたは低下しましたが、対角および結合対角モデルは、特にニア OOD ベンチマークにおいて優れた性能を維持しました。

意義と主張

本論文は、階層的事前分布を備えたベイズ非パラメトリック手法が、OOD 検出に対する根拠があり、実用的に競争力のあるアプローチを提供すると主張しています。主な貢献点は以下の通りです：

理論的統合: ヒューリスティックな RMDS とガウス DPMM におけるベイズ推論との間の形式的なリンクを提供し、RMDS をより一般的な確率的枠組みの特定の極限として検証します。
一般化: 等しい共分散の仮定を緩和することにより RMDS を一般化する階層モデルを提案し、クラス共分散が異なるシナリオに適応できるようにします。
実用性: これらのモデルが OOD 検出を改善できることを実証しました。特に以下の領域において：
- クラス間での異質な共分散構造。
- 特徴次元性に対するクラスあたりのデータ量の制限。
- 分布内サンプルと「ニア OOD」サンプルとの間の微細な区別が必要とされる場合。

著者らは、フル共分散モデルが高次元では過学習する可能性がある一方で、結合対角モデルはパラメータの爆発を招くことなくクラス間分散の相関を捉える堅牢な妥協点を提供すると指摘しています。彼らは、OOD 検出を生成モデルにおける推論として定式化することで、既存の距離ベースのベースラインを超えた性能向上につながる原理的なモデル選択が可能になると結論付けています。