Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

技術要約：Few-Shot OOD検出におけるモダリティ・ギャップの緩和

問題提起
Vision-Language Models (VLMs)、特にCLIPは、Out-of-Distribution (OOD) 検出において顕著な存在となっています。しかし、テキスト・プロトタイプのみに依存する既存の手法（例：MCM）は、「モダリティ・ギャップ」という問題に苦しんでいます。これは、画像埋め込みとテキスト埋め込みが埋め込み空間内で異なる領域を占める現象です。この分離により、OOD画像は意味的な関連性ではなく、空間的な近接性によってID（In-Distribution）テキスト・プロトタイプに対して高い類似性を示してしまい、結果として高い偽陽性率（FPR）を招きます。Few-shotチューニング手法も存在しますが、それらは主に負のテキスト・プロンプトの学習に焦点を当てており、画像とテキストのモダリティ間の根本的な不整合を明示的に解決してはいません。

手法：SUPREME
著者らは、モダリティ・ギャップを緩和するために、SUPREME（CLIPを用いたOOD検出のためのfew-shotチューニング・フレームワーク）を提案しています。このアプローチは、以下の3つのコアコンポーネントで構成されています。

1. マルチモーダル・プロトタイプ（理論的および経験的基盤）：
   本論文では、追加の学習なしでID画像プロトタイプをIDテキストプロトタイプと共に組み込むことで、OOD検出が改善されることをまず確立しています。各クラスの画像埋め込みを平均化することで、著者らはマルチモーダル・プロトタイプ・スコア ($S_{MMP}$) を定義しました。理論的解析（定理1）と経験的結果は、このデュアル・プロトタイプ・アプローチがIDサンプルとOODサンプルの間のスコア分離を高め、モダリティ・ギャップによる負の影響を効果的に軽減することを示しています。

2. バイアス付きプロンプト生成 (Biased Prompt Generation: BPG)：
   few-shotチューニング中の汎化性能をさらに高めるために、SUPREMEはBPGを導入しています。プロンプトを学習可能なコンテキストと画像埋め込みのみに依存させる従来のメソッドとは異なり、BPGはテキスト・プロトタイプを以下の3つの要素に基づいて条件付けます：

   • 学習可能なコンテキスト・トークン。
   • マッピングされた画像埋め込み ($m(I)$)。
   • ガウス分布に基づく推定画像ドメイン・バイアス ($\mathcal{N}(\mu, \Sigma)$)。
     このバイアスは、ID画像埋め込みの分布から推定されます。このバイアスをプロンプト生成に組み込むことで、限られたfew-shotデータへの過学習を防ぎ、テキスト・プロトタイプをID画像の真の分布により近く適合させ、画像・テキストの融合を強化します。

3. 画像・テキスト一貫性 (Image-Text Consistency: ITC)：
   モダリティ・ギャップを直接最小化するために、SUPREMEは2つの学習可能なマッピング、すなわち画像からテキストへのマッピング ($f_{img-txt}$) と、テキストから画像へのマッピング ($f_{txt-img}$) を採用しています。これらは、CLIPバックボーンを凍結したまま、2つの損失関数を用いて最適化されます：

   • インターモーダル損失 ($\ell_{inter}$): マッピングされた埋め込みとその元の対応物との距離を最小化します（例：$f_{img-txt}(I)$ がテキスト・プロトタイプと一致するようにする）。
   • イントラモーダル損失 ($\ell_{intra}$): 情報損失を防ぐために、マッピングされた埋め込みから元の埋め込みを再構成します（例：$f_{txt-img}(f_{img-txt}(I)) \approx I$）。

4. 汎用マルチモーダル・プロトタイプ・スコア ($S_{GMP}$):
   マルチモーダルに関する知見に基づき、著者らは新しいOODスコアリング関数 $S_{GMP}$ を提案しています。このスコアは、ユニモーダルおよびクロスモーダルな類似性を活用します。これは、以下の間の最大類似度の平均を計算します：

   • 元の画像埋め込み ($I$) とテキスト/画像プロトタイプ。
   • マッピングされた画像埋め込み ($I' = f_{img-txt}(I)$) とテキスト/画像プロトタイプ。
     この統合により、元の表現と整列された表現の両方が最終的な決定に寄与することが保証され、堅牢性が向上します。

主な貢献

• モダリティ・ギャップの分析： 本論文は、モダリティ・ギャップがVLMベースのOOD検出に悪影響を及ぼすこと、および画像プロトタイプを組み込むことで学習なしにこの影響を軽減できることについて、理論的および経験的な証拠を提供しています。
• SUPREMEフレームワーク： BPG（ドメイン・バイアスによる汎化性能の向上）とITC（一貫性損失によるモダリティ・ギャップの低減）を備えた、新しいfew-shotチューニング手法。
• 新しいスコアリング指標： マルチモーダル・プロトタイプとクロスモーダルな類似性を利用して、ID分布とOOD分布の分離を改善する $S_{GMP}$ の導入。
• 最先端の性能： 既存のゼロショットおよびfew-shot OOD検出手法を一貫して凌駕することを実証する広範な実験。

実験結果
著者らは、IDデータセットとしてImageNet-1kおよびImageNet-100を、4つの多様なOODデータセット（iNaturalist, SUN, Places, Texture）およびOpenOODベンチマークに対して、SUPREMEを評価しました。

• ImageNet-1k: SUPREMEは平均FPR95が 20.70%、AUROCが 95.38% を達成し、NegPrompt (FPR95 23.01%) や LoCoOp (FPR95 28.66%) といった強力なベースラインを上回りました。
• ImageNet-100: この手法は平均FPR95 8.47%、AUROC 98.08% を達成し、CoOpやCoCoOpを大幅に上回りました。
• Hard OOD (ImageNet-10/20): SUPEMAは、高い意味的重複があるシナリオにおいても堅牢性を示し、両方向において最も低いFPR95（4.10% および 3.60%）を達成しました。
• アブレーション研究: BPGまたはITCを除去すると、大幅な性能低下（例：FPR95が約28%まで上昇）を招き、両モジュールの必要性が確認されました。また、$S_{MCM}$ に対する $S_{GMP}$ の使用も、測定可能な改善をもたらしました。
• ID精度: SUPREMEは、高いID分類精度（ImageNet-1kでTop-1 71.8%）を維持しており、他のOOD特化型手法を上回っています。

意義と主張
本論文は、SUPREMEが現在のVLMベースのOOD検出における決定的な限界である「モダリティ・ギャップ」に対処していると主張しています。テキストのみのプロトタイプを超え、BPGとITCを通じて画像とテキストの空間を整列させるメカニズムを導入することで、この手法は偽陽性を大幅に減少させます。著者らは、本手法が学習中にOODデータにアクセスする必要なく、わずかなIDデータ（各クラス16ショット）のみに依存して信頼性を向上させることを強調しています。この研究は、モダリティ間の関係を明示的にモデル化することが、現実世界のデプロイメントにおける堅牢なOOD検出にとって不可欠であることを示唆しています。