技術的概要：事前学習済み視覚言語モデルを用いた事後分布外検出におけるモダリティギャップの尊重

問題定義

分布外（OOD）検出は、テストサンプルが訓練中に観測されていない未知のクラスに属する可能性があるオープンワールド環境において、機械学習モデルの信頼性を確保する上で極めて重要である。事前学習済み視覚言語モデル（VLM）、特に CLIP の最近の進展により、分布内（ID）訓練データへのアクセスなしにゼロショット OOD 検出が可能になったが、既存のアプローチは特定のパラダイムに依存している：すなわち、クラス名のテキスト埋め込みをクラスプロトタイプとして扱うというものである。

本論文は、この「テキストをプロトタイプとする」というパラダイムの妥当性に疑問を呈する。既存の手法は、テキスト表現が最適な視覚的クラスプロトタイプと十分に整合しているという暗黙の仮定に基づいている。しかし、最近の証拠は、CLIP ベースのモデルにおけるテキストと視覚の表現間に持続的な「モダリティギャップ」が存在し、両者が明確に区別されていることを示唆している。著者らは、市販のテキストプロトタイプは一般的に最適な視覚的プロトタイプと整合しておらず、プロンプトエンジニアリングやネガティブラベルマイニングのみでは解決できない構造的ギャップが内在していると主張する。この不一致が、OOD 検出性能の最適化を阻害している。

手法

事後制約（ID 訓練データが利用できない状況）下でのモダリティギャップに対処するため、本論文は、視覚特徴空間内でクラスプロトタイプを直接学習・更新するオンライン疑似教師ありフレームワークを提案する。

1. モダリティギャップの理論的特徴付け

著者らはまず、理想化された教師あり定式化の下で理論的解析を行う。最適な視覚的クラスプロトタイプに対する閉形式の式を導出し、これらのプロトタイプは視覚特徴空間の張る空間内に完全に存在しなければならないことを証明する。対照的に、テキスト由来のプロトタイプは、この視覚部分空間に対して直交する成分をしばしば含んでいる。

• 定理 1: 最適な視覚的プロトタイプは視覚特徴の線形結合であることを確立する。
• 定理 2: テキスト埋め込みが視覚特徴部分空間外の成分を含む場合、テキストプロトタイプと最適な視覚的プロトタイプとの距離に対して非消失する下限が存在することを証明する。これにより、「モダリティギャップ」が構造的な限界として形式化される。

2. オンライン疑似教師あり学習フレームワーク

ゼロショット設定では真のラベルが利用できないため、本手法は事前学習済み CLIP モデルの強力なゼロショット転移能力を活用して、ソフト疑似ラベルを生成する。

• 疑似教師あり目的関数: このフレームワークは、ハードな真のラベルに代わり、事前学習済み VLM からのソフト予測を用いて疑似教師あり損失関数を構築する。
• オンライン最適化: ラベル付けされていないテスト時データストリームを用いて視覚的プロトタイプを逐次更新するオンライン最適化手順が開発されている。これはデータが到着する際に処理することで、事後制約を尊重する。
• プロトタイプ更新戦略:
  • ID ラベル空間は、$L$ 個の OOD 疑似クラス（プレースホルダー）を含むように拡張される。
  • 既存の OOD スコア（NegLabel などから得られるもの）に基づくハード閾値処理により、流入するテストサンプルを「ポジティブ」（ID である可能性が高い）または「ネガティブ」（OOD である可能性が高い）に分類する。
  • ID クラスプロトタイプは、サンプルが ID と分類された場合のみ更新され、OOD 疑似クラスプロトタイプは、サンプルが OOD と分類された場合に更新される。
  • 不確実なスコアを持つサンプルは無視される。
• 収束保証: 定理 3 は、提案されたオンライン最適化手順の収束に対する理論的保証を提供し、累積後悔を $O(\sqrt{N})$ で抑えることを示す。

3. OOD スコアリング

テスト画像の最終的な OOD スコアは、元のテキスト埋め込みに依存するのではなく、更新された視覚的プロトタイプ（ID および OOD 疑似クラスの両方）に対して画像の視覚特徴を比較し、ソフトマックスベースの類似度指標を用いて計算される。

主要な貢献

1. 理論的洞察: 本論文は、CLIP ベースの事後 OOD 検出における「テキストをプロトタイプとする」という仮定が、内在的なモダリティギャップにより根本的に欠陥があることを理論的に示す。テキスト埋め込みは視覚的な較正なしには最適な視覚的プロトタイプを完全に表現できないことを証明する。
2. 新規フレームワーク: ラベル付けされていないテストストリームとソフト VLM 予測を用いて視覚特徴空間内で直接クラスプロトタイプを学習するオンライン疑似教師ありフレームワークを導入し、モダリティギャップを効果的に橋渡しする。
3. 理論的保証: 著者らは、オンライン最適化アルゴリズムに対する厳密な収束保証を提供する。
4. 最先端の性能: この手法は、ImageNet-1K、OpenOOD、CIFAR データセットを含むさまざまな OOD 検出ベンチマークで新たな最先端の結果を達成し、AdaNeg や NegLabel といった強力なベースラインを上回った。

実験結果

広範な実験により、提案手法の有効性が検証された：

• ImageNet-1K: この手法は AUROC 97.75%、FPR95 12.79% を達成し、以前の最先端手法（AdaNeg）を大幅に上回った（例：AUROC で +1.09%、FPR95 で -6.13%）。
• OpenOOD ベンチマーク: Near-OOD および Far-OOD データセットの両方で一貫した改善が観察され、異なる種類の分布シフトに対して頑健であることを示している。
• CIFAR ベンチマーク: CIFAR-10 および CIFAR-100 の設定において一貫した改善を示した。
• アブレーション研究: この手法はハイパーパラメータの選択に対して頑健であり、異なる視覚エンコーダアーキテクチャ（ResNet-50、ViT-B/32、ViT-L/14）において効果的であり、より大きな入力解像度にもスケーラブルであることが示された。
• ドメイン汎化: ID データがドメインシフト（例：ImageNet-A、ImageNet-R、ImageNet-S）を受ける場合でも、この手法は優れた性能を維持する。

意義と主張

本論文は、その主な意義が、ゼロショット OOD 検出の現在のパラダイムにおける構造的な限界を特定し、それに対処することにあると主張している。テキスト埋め込みを静的なプロトタイプとして依存するのをやめ、代わりにテスト時データから動的で較正された視覚的プロトタイプを学習することにより、この手法はより理論的根拠に裏打ちされ、実証的に効果的な解決策を提供する。

著者らは、自らのアプローチが単なるエンジニアリング的な微調整ではなく、VLM ベースの OOD 検出におけるプロトタイプ構築のあり方における根本的な転換であると強調している。彼らは、モダリティギャップがネガティブラベルマイニング戦略とは無関係な構造的な問題であり、自らのフレームワークはこのギャップを軽減するための原理的な方法を提供し、ID データの再訓練を必要とせずに多様なベンチマークで一貫した性能向上をもたらすと主張している。