技術要約: Medix – 頑健な勾配統計量を用いた、ラベルなしのワイルドデータからの分布外（OOD）検出

問題提起

機械学習モデルを実世界の環境にデプロイすると、モデルが学習していない未知のカテゴリである「分布外（Out-of-Distribution: OOD）」の入力にさらされることになります。ニューラルネットワークは本質的にこのような入力に対して脆弱ですが、推論時にこれらを検出することは困難です。なぜなら、モデルは学習中に未知の分布にさらされていないためです。

近年の手法では、OOD検出を改善するために、ラベルのない「イン・ザ・ワイルド（in-the-wild）」のデータを活用しようとする試みがあります。しかし、大きな障害が残っています。それは、ワイルドなデータが、イン分布（In-Distribution: InD）のサンプルとOODサンプルの複雑な混合物であるという点です。クリーンな補助的OODデータセット（例：Outlier Exposure）へのアクセスを前提とする手法とは異なり、現実世界のワイルドなデータには明確なラベルが存在しません。クリーンなOODサンプルの集合が得られないことは、最適なOOD分類器の学習を困難にします。なぜなら、モデルは明示的な教師なしで、汚染された分布の中からInDサンプルとOODサンプルを区別しなければならないからです。

手法: Medix フレームワーク

著者らは、要素ごとの中央値（element-wise median: EWM）に基づく頑健な勾配統計量を用いて、ラベルなしのワイルドデータから潜在的なアウトライヤーを特定するように設計された新しいフレームワークである Medix を提案しています。このフレームワークは、主に以下の2つの段階で動作します。

1. アウトライヤーの抽出（フィルタリング）

Medixの核心的な革新は、ラベルに関する事前知識なしに、混合されたワイルドデータセット（$S_{wild}$）から候補となるOODサンプルをフィルタリングする能力にあります。

• 参照勾配の推定: まず、ラベル付きのInDデータ（$S_{in}$）のみを用いてInD分類器（$f_\phi$）を学習します。次に、$S_{in}$ に関する損失関数のモデルパラメータに対する平均勾配（$\bar{\nabla}_{in}$）を計算します。これが参照勾配となります。
• EWMによる頑健なフィルタリング: 本手法は、ワイルドデータ内のOODサンプルの存在が、InDの平均勾配とワイルドデータの勾配の中心的傾向との間の乖離を引き起こすという仮説に基づいています。この中心的傾向を頑健に特定するために、Medixは、平均ではなく**要素ごとの中央値（EWM）**を採用します。中央値は、ノイズやアウトライヤーに対する安定性のために選択されました。
• 反復的な貪欲除去: フレームワークは、そのEWMと参照勾配 $\bar{\nabla}_{in}$ との距離を最小化するワイルドデータの部分集合を見つける最適化問題を定式化します。これを厳密に解くことは困難であるため、Medixは貪欲な「leave-one-out（一つ抜き）」アプローチ（アルゴリズム1）を使用します。
  1. 現在のワイルド集合のEWMを計算する。
  2. そのサンプルを除去することで、新しいEWMと $\bar{\nabla}_{in}$ とのL2距離が最も減少するサンプルを特定する。
  3. 上記のトップ-$k$個のサンプルを候補アウトライヤーとして除去する。
  4. 距離の減少が閾値 $\epsilon$ を下回るまで繰り返す。
• 結果: このプロセスにより、候補アウトライヤー（$\hat{S}_{out}$）の集合が分離され、よりクリーンなInDに近いサンプルの集合が保持されます。

2. 検出器の学習

候補アウトライヤーが抽出された後、フレームワークはバイナリOOD検出器（$g_\theta$）を学習します。

• 検出器は、元のラベル付きInDデータ（$S_{in}$）を正例として、抽出された候補アウトライヤー（$\hat{S}_{out}$）を負例として学習されます。
• 目的は、これら2つのグループ間の分離性を最大化することであり、InDサンプルが正の出力を、アウトライヤーが負の出力を与えるような決定境界を強制します。

理論的分析

論文では、ワイルドデータが汚染比率 $\pi$ を持つInD分布とOOD分布の混合物であるとするHuber汚染モデルの下での、フィルタリング段階に関する形式的な理論的保証を提供しています。

• インライア誤分類境界: 真のInDサンプルがアウトライヤーとして誤って破棄される割合の上限を導出しています。この境界は、汚染比率とInD勾配の集中度（サブガウス分布と仮定）に依存します。
• アウトライヤー誤分類境界: 逆に、真のOODサンプルがInDとして誤って保持される割合を制限しています。この境界は、OOD勾配の平均と参照InD勾配の間の分離、およびOOD勾配のサブガウス的な性質に基づいています。
• 重要な知見: 分析は、分布が十分に分離されている場合、OODサンプルが混合物のかなりの部分（最大50%）を占めていても、中央値ベースのフィルタリングが頑健な分離を実現することを証明しています。

実験結果

Medixは、主にCIFAR-10およびCIFAR-100をInDデータセットとし、様々なデータセット（SVHN, PLACES365, LSUN, TEXTURES）をOODソースとする11組のInD-OODデータセットペアを用いて評価されました。本手法は、以下の20の競争力のあるベースラインと比較されました。

• InDのみの手法: MSP, ODIN, Mahalanobis, Energy, ReAct, DICE, KNN, ASH, CSI, KNN+.
• ワイルドデータを用いる手法: Outlier Exposure (OE), Energy-regularization, WOODS, CONJ, DRL.

主な知見:

• 優れた性能: Medixは、すべてのベースラインを網羅的に上回りました。CIFAR-100において、強力なベースラインであるKNN+と比較して、真陽性率95%における平均偽陽性率（FPR95）を**40.98%削減し、前述の最先端のワイルドデータ手法であるWOODSと比較して1.32%**削減しました。
• 汚染に対する頑健性: ワイルドデータに50%のOOD混合が含まれている場合でも、高い性能を維持しました。
• スケーラビリティ: より大きなアーキテクチャ（ResNet-50）や大規模データセット（ImageNet-1k）を用いた実験により、高次元の勾配空間においてもL2ベースのフィルタリング信号が頑健であることが確認されました。
• アブレーション研究: 著者らは、性能の向上は単なる2段階のパイプラインによるものではなく、特に中央値ベースのフィルタリングの精度に由来することを実証しました。中央値フィルターを単純な最大ソフトマックス確率（MSP）フィルターに置き換えると、大幅な性能低下を招きました。

意義と主張

本論文は、MedixがOOD検出における決定的なギャップ、すなわち、クリーンな補助的OODデータセットや強い分布的仮定を必要とせずに、ラベルのない混合された「イン・ザ・ワイルド」のデータを活用できる能力に対処していると主張しています。

• 斬新なメカニリティ: 要素ごとの中央値の頑健性を利用することで、Medixは、明確なOODラベルの欠如によりこれまで困難とされていた、混合データからアウトライヤーをフィルタリングするための理論的に裏付けられたメカニズムを提供します。
• 理論的基盤: 本研究は、インライアとアウトライヤーの両方の誤分類に関する証明可能な誤差境界を確立しており、これまで理論的基盤が乏しかった「イン・ザ・ワイルド」の設定に対して、形式的な理論的基礎を提供しています。
• 実用的な影響: 本手法は、モデルが未知のデータ分布を持つ動的な環境で動作しなければならない、現実世界のデプロイメントにおいて、より高い柔軟性を提供します。実験結果は、Medixが、利用可能なラベルなしデータを用いて、OOD入力を効果的に特定・処理することで、機械学習システムの安全性と信頼性を大幅に向上させ得ることを示唆しています。

著者らは、Medixがオープンワールド学習における重要な一歩であり、頑健な勾配統計量が、ラベルなしのワイルドデータをOOD検出のための有用な教師信号へと効果的に変換できることを示していると結論付けています。