技術的概要：分布外検出のための Vendi 新奇性スコア

問題定義

現代の機械学習システムは、分布外（OOD）の入力に遭遇すると予測不能な挙動を示すことが多く、頻繁に高い確信度を持つが誤った予測を生成します。これは、自動運転、医療画像診断、科学発見などの高リスク分野において重大なリスクをもたらします。OOD 検出は安全性にとって不可欠ですが、既存の事後（post-hoc）手法には限界があります：

• ロジットベースの手法（例：最大ソフトマックス確率、エネルギースコア）は、分布内の特徴統計を無視しており、信頼性が低下します。
• 特徴空間密度手法（例：マハラノビス距離）は、しばしば表現の幾何学構造に関する（例えば、ガウス性、ニューラルクラスタリングなど）制限的な仮定に依存しており、多様なアーキテクチャにわたって成り立たない可能性があります。
• 類似性ベースの手法（例：k 近傍法）は、推論時に大きな計算オーバーヘッドを伴います。
• 勾配ベースの手法は、しばしば複数の順方向および逆方向のパスを必要とし、遅延に敏感なアプリケーションでは実用的ではありません。

制限的な分布仮定に依存せず、限られたトレーニングデータへのアクセスでも効果的に機能する、計算効率の高い事後 OOD 検出器の必要性があります。

手法：Vendi 新奇性スコア（VNS）

著者らは、密度推定ではなく多様性の概念に基づいた事後 OOD 検出器である**Vendi 新奇性スコア（VNS）を提案します。VNS は、類似性ベースの多様性指標であるVendi スコア（VS）**を活用し、テストサンプルが分布内（ID）特徴集合の多様性をどの程度増加させるかを定量化します。

核心アルゴリズム

1. クラス条件付き新奇性：

   • $C$ クラスを持つ学習済み分類器 $f_\theta$ に対して、この手法は最終層の直前の層から埋め込み $h(x)$ を抽出します。
   • 各クラス $c$ について、そのクラスのトレーニング埋め込みからクラス条件付き密度行列 $\rho_c$ を計算します。
   • クラス $c$ に対するテストサンプル $x$ の新奇性は、$x$ をクラス集合に追加した際の 2 次 Vendi スコア（$VS_2$）の対数増加率として定義されます：
     $$\Delta_c(x) = \log VS_2(\rho'_c) - \log VS_2(\rho_c)$$
   • 効率性を確保するため、著者らはランク 1 近似を採用します。$\rho_c$ の完全な固有スペクトルを維持する代わりに、最大の固有値 $\lambda_c$ とそれに対応する固有ベクトル $u_c$ のみを使用して $VS_2$ の変化を近似します。これにより、クラス条件付きスコアの計算複雑性がクラスあたり $O(D)$ に削減されます。

2. 確率重み付き集約：

   • 単一の予測クラスに依存するのではなく、VNS はモデルの予測クラス確率 $p(x)$ を用いてクラス条件付き新奇性スコアを集約します。
   • ローカル OOD スコアは以下のように計算されます：
     $$S_{\text{LOCAL-OOD}}(x) = \sum_{c \in T_K(x)} N_c p_c(x)^\gamma \Delta_c(x)$$
     ここで、$T_K(x)$ はトップ $K$ 予測クラスを表し、$N_c$ はクラスサイズ（スケーリング用）であり、$\gamma$ は集約の鋭さを制御します。

3. グローバル多様性補正：

   • グローバルな密度変動を考慮するため、テストサンプルを全データセットに追加した際の $VS_\infty$（グローバル密度行列の最大固有値に依存）の変化に基づいてグローバル新奇性スコアを計算します。
   • 最終的な VNS スコアは、ローカルおよびグローバル信号を組み合わせます：
     $$\text{VNS}(x) = S_{\text{LOCAL-OOD}}(x) - g \cdot S_{\text{GLOBAL-OOD}}(x)$$
     ここで、$g \in \{0, 1\}$ はグローバル補正を適用するかどうかを決定するバイナリ係数です。

計算複雑性

• 時間計算量： $O(CD)$。ここで$C$はクラス数、$D$は埋め込み次元です。これは両方のパラメータに対して線形であり、マハラノビスベースの手法（$O(CD^2)$）や k-NN 手法よりも著しく高速です。
• 空間計算量： $O(CD)$。各クラスについてトップ固有値と固有ベクトルのみを保存すればよいためです。

主要な貢献

1. 新しいパラダイム： OOD 検出に対する多様性ベースの視点を導入し、従来の密度モデリングやロジット分析から脱却します。
2. Vendi 新奇性スコア（VNS）： テストサンプルが表現多様性に与える影響を通じて新奇性を定量化する特定のアルゴリズムを提案し、Vendi スコアの効率的なランク 1 近似を利用します。
3. ハイブリッド信号統合： 予測確率で重み付けされたローカル（クラス条件付き）およびグローバル新奇性信号を組み合わせ、ロバスト性を向上させます。
4. データ効率： VNS がトレーニングデータのわずか**1%**のみを使用して計算されても、最先端（SOTA）のパフォーマンスを維持することを示し、メモリ制約のある環境での展開を可能にします。
5. 理論的および経験的検証： ランク 1 近似の理論的根拠と、複数のデータセットおよびアーキテクチャにわたる広範な経験的検証を提供します。

実験結果

著者らは、CIFAR-10、CIFAR-100、およびImageNet-1Kの標準 OOD ベンチマークにおいて、ResNet、ViT、Swin-Tを含むアーキテクチャを用いて VNS を評価しました。

• パフォーマンス： VNS は CIFAR-10 において**最先端（SOTA）のパフォーマンスを達成し、CIFAR-100 において競争力のある結果を示しました。ImageNet-1K ベンチマークでは、VNS は 2 番目に優れたアルゴリズムと比較して、95% 真陽性率における偽陽性率（FPR@95）を平均して13%**削減しました。
• ロバスト性： ResNet ではよく機能するがトランスフォーマーでは性能が低下する活性化整形手法とは異なり、VNS は異なるアーキテクチャ（ResNet、ViT、Swin-T）間で一貫したパフォーマンスを示しました。
• 効率性： VNS は、2 番目に精度の高い手法（RMDS++）よりも桁違いに高速であり、ロジットのみの手法（例：GEN、NCI）と同等の遅延を有します。
• データ不足： ImageNet トレーニングデータの 1% のみでトレーニングされた場合、VNS は平均 AUROC **88.96%**を達成し、完全なデータアクセス時のパフォーマンス（88.59% AUROC）とほぼ同等でした。

意義と主張

本論文は、VNS が OOD 検出のための原理的、効率的、かつロバストな解決策を提供すると主張しています。その意義は以下の点にあります：

• 制限的な仮定の回避： ガウス密度仮定ではなく多様性指標に依存することにより、VNS は深層学習表現で一般的に見られる幾何学的仮定の違反に対して敏感になりにくいです。
• 実用的な展開： 線形時間計算量と最小限のトレーニングデータで機能する能力により、トレーニングデータへのアクセスが制限されているか、遅延が重要な現実世界のシナリオに適しています。
• 安全性： この手法は、機械学習システムが自らの能力を超えた入力を特定し、棄権や人間へのエスカレーションなどの安全な応答をトリガーするメカニズムを提供します。

著者らは、ハイパーパラメータの調整（自動検証セットを通じて対応）およびコサインカーネルへの依存を含む限界を指摘しています。彼らは、VNS が安全性を向上させるものの完全な解決策ではなく、監視や人間の監督を含むより広範な安全プロトコルの一部であるべきであると強調しています。