Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

技術要約：ゼロショットVLMにおける偽相関の密度認識型変換

問題提起
CLIPなどの視覚言語モデル（VLM）は、共有潜在空間において画像とテキストの埋め込みを整合させることで、強力なゼロショット分類能力を示してきました。しかし、これらのモデルは、意味的に無関係な文脈的キュー（例：背景）に予測が依存してしまう**偽相関（spurious correlations）**に対して非常に脆弱です。

本論文は、この失敗の幾何学的な根本原因を特定しています。すなわち、CLIPの埋め込みは特徴空間において**異方性を持つ楕円状の構造（anisotropic, ellipsoidal structure）**を有しているという点です。一般的なパターン（しばしば偽属性と相関するもの）は分布の平均付近にクラスター化する一方、稀ではあるが意味的に重要なパターンは、より疎な周辺領域に位置します。この幾何学的構造により、以下のような不均衡なアライメントが生じます：

1. 頻出するサンプルはモダリティの平均ベクトルに密接に整合するため、偽相関が増幅される。
2. 意味的に重要だが稀なキューは周辺化され、偽の属性に整合したサンプルよりも低い類似度スコアしか受け取れない。
3. 等方的な分布を前提とする標準的なコサイン類似度は、この密度の変動を考慮できず、過小代表なグループに対する系統的なバイアスを引き起こす。

既存の緩和戦略は、ファインチューニング（ゼロショットの汎化性能を損なう）、プロンプトエンジニアリング（幻覚や不整合を招きやすい）、または教師あり概念発見（ラベル付きの偽属性を必要とする）に依存することが多いです。

手法：密度認識型変換（Density-Aware Translation: DAT）
著者らは、グループ参照セットから導出された局所的な幾何学的密度項を用いて、画像とテキストの類似度スコアを精緻化するゼロショット校正メカニズムである**密度認識型変換（DAT）**を提案します。この手法は、モデルのパラメータを更新することなく、またテスト時に偽属性ラベルにアクセスすることなく動作します。

DATの核となる構成要素は以下の通りです：

1. グループ参照セットの構築： サンプリング手順を用いて、各グループ（クラス $y$ と偽属性 $a$ によって定義される）に対して、小さなバランスの取れた参照サンプルセットを構築します。安定性を確保するため、決定論的な特徴空間におけるエグゼンプラー・ハーディング（exemplar herding）を用い、実行平均がグループ平均と一致する埋め込みを選択します。
2. 密度推定： クエリ画像に対し、グループの参照セットに対する局所密度を、**簡略化された局所外れ値因子（Simplified Local Outlier Factor: SLOF）**を用いて推定します。SLOFの値が高いほど、そのサンプルは疎な領域（代表性が低い）に位置することを示し、低いほど密な領域に位置することを示します。
3. 密度変換： 画像とグループプロンプト間の生の類似度スコアを、推定された密度に基づいて再スケーリングします。具体的には、拡散した（疎な）領域にあるサンプルのスコアは抑制され、密で意味的に一貫した領域にあるサンプルのスコアは保持されます。変換は次のように定式化されます：
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   ここで、$s_{y,a}$ は生の類似度、$D_{y,a}$ は密度のプロキシ、$\lambda$ は変換の強さを制御し、$\epsilon$ は安定性を確保します。
4. 予測集約： 最終的な予測は、グループ補正されたスコアと、属性平均化されたクラス周辺スコアの両方に対して最大化を行うことで行われ、異なる集約戦略に対する堅牢性を確保します。

また、偽属性ラベルが利用できないシナリオ向けに、DAT* というバリアントが導入されています。これは、画像埋め込みとの類似度を最大化する属性プロンプトを選択することで、ゼロショットでグループメンバーシップを推論します。

理論的分析
本論文は、CLIP埋め込みの異方的な性質を捉えるケント（フィッシャー・ビンガム）分布を用いてグループ分布をモデル化することにより、DATの理論的正当性を提示しています。

• コサイン類似度のバイアス： 著者らは、生のコサイン類似度が異方的な空間においてベイズ最適決定境界から系統的に逸脱することを証明しています。これは対数密度の線形軸項を回収しますが、二次的な異方性項を無視しています。
• ベイズ・アライメント： 密度のプロキシ（SLOF）の対数が負の対数密度に対して忠実であるという仮定の下で、DATが欠落していた異方性感受性の対数尤度項を復元することを示します。その結果、DATの判別関数はベイズ最適スコアリングルールと一致し、純粋なコサイン・スコアリングに内在するバイアスを修正します。

主な貢献

1. DATメカニズム： ファインチューニング、プロンプトエンジニアリング、およびテスト時の偽属性ラベルへのアクセスを必要とせずに、グループ参照密度を用いて画像・テキスト類似度を再スケーリングするゼロショットメカニズムの導入。
2. 理論的修正： DATが、欠落した対数尤度項を復元し、ベイズ最適決定則と一致させることで、異方的な埋め込み下でのコサイン類似度のバイアスを修正することを実証する理論的分析。
3. 実証的検証： 複数のベンチマーク（Waterbirds, CelebA, COVID-19, FMoW）およびVLMバックボーン（CLIPの各バリアント, ALIGN, AltCLIP）にわたる包括的な実験により、Worst-Group（WG）精度および平均精度の継続的な向上を示した。

実験結果
著者らは、標準的な偽相関ベンチマークにおいてDATを評価しました：

• Waterbirds： DATは、すべてのCLIPバックボーンにおいて最高のWorst-Group（WG）精度を達成し、最も強力な先行手法であるTIEを、バックボーンに応じて約4〜14%上回りました。例えば、CLIP ViT-L/14を用いた場合、DATは83.33%のWG精度を達成しました（TIEは78.82%）。
• CelebA： DATおよびDAT*は、ほとんどの指標、特にWG精度において最強のパフォーマンスを示し、TIEやROBOSHOTといった最先端の手法をしばしば上回りました。
• 医療およびマルチラベルドメイン： COVID-19データセット（BiomedCLIPを使用）において、DATは最新のベースラインと比較してWG精度を20%以上向上させました。複雑なFMoWデータセットにおいて、DATは最高のWGおよび平均精度を達成すると同時に、両者のギャップを大幅に縮小しました。
• 汎用性： 本手法は、ALIGNやAltCLIPを含む異なるVLM間でも堅牢性を示し、従来のデバイアス手法を一貫して上回りました。

意義と主張
本論文は、DATが信頼性の高いゼロショット分類のためのシンプルかつ効果的な校正メカニズムを提供すると主張しています。その意義は、ゼロショットの枠組みを損なうことなく、VLMの幾何学的な限界に対処することにあります。異方性と局所密度を明示的にモデル化することで、DATは標準的な類似度ベースの推論を悩ませる偽相関の増幅を軽減します。

著者らは、DATを学習ベースのデバイアス手法の代替としてではなく、学習済みマルチモーダル埋め込みに内在する幾何学的バイアスに対する、必要なポストホック（事後的）な修正策として位置付けています。彼らは、今後の研究として、参照選択やプロンプト設計への感度がより低い、密度推定のための適応的なマルチモーダル・アプローチを探求すべきであると述べていますが、現在の手法が、グループの堅牢性を向上させるための強力なパラメータフリーのベースラインを提供することを強調しています。