Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers

技術的サマリー：「あなたの CLIP には 164 次元のノイズが存在する」

問題定義
対照的学習で事前訓練されたビジョン・ランゲージモデル（VLM）（CLIP や SigLIP など）は、ゼロショット分類からクロスモーダル検索まで多様なタスクにおける特徴抽出器として広く展開されている。しかし、これらの共有潜在空間は構造的な異常を示し、非意味的かつマルチモーダルなノイズの貯蔵庫として機能している。先行研究では、単一モーダルモデルにおいて「コーン効果」「モーダリティギャップ」「次元崩壊」といった現象が特定されているが、これらのモデルが高次元潜在空間内でいかに無関係なデータを符号化しているかを理解する必要がある。著者らは、現代の VLM における潜在幾何学の相当部分が、タスクに関連する意味ではなく、共有されたアーキテクチャレベルのノイズによって支配されていると仮説立てている。

手法
著者らは、VLM 潜在空間の幾何学を分析するために共分散行列のスペクトル分解を採用している。

1. 共分散推定: 大規模データセット（ImageNet-1K および LAION-2B）から導出されたテキストおよび画像埋め込みに対して、それぞれ経験的共分散行列（$\Sigma_{text}$ および $\Sigma_{img}$）を計算する。また、結合潜在空間を分析するために、平均クロスモーダル共分散行列（$\Sigma_{avg}$）を定義する。
2. スペクトル分解: 行列を分解して固有値と固有ベクトルを特定する。著者らは、特定の閾値（約 $10^{-3.6}$）を超えると、さまざまなモデル（CLIP および SigLIP のバリエーション）において固有値が一貫して急激に減少することを観察する。
3. ノイズ閾値設定: $\Sigma_{avg}$ に対して「エルボー法」を用いて、「信号」（上位固有値）と「ノイズ」（固有値の下部の塊）を分離するカットオフ閾値を特定する。この閾値を下回る次元を「共有ノイズ部分空間」として識別する。
4. 部分空間の整合性確認: これらのノイズ次元の普遍性を検証するために、グローバルに抽出されたノイズベクトルと特定データ部分集合（例：個々の ImageNet クラス）の低分散固有ベクトルとの間の部分空間角度の平均二乗コサイン（mSCSA）を計算する。
5. プルーニングと評価: ノイズ除去用射影行列（$P = I - VV^T$）を構築し、埋め込みをノイズ部分空間の直交補空間 onto 射影する。このプルーニングが下流タスク（ImageNet ゼロショット分類および LAION-2B 画像・テキスト整合）に与える影響を評価する。

主要な結果

• 共有ノイズの存在: 分析により、共分散固有値の下部の塊から構成される明確な「ノイズ部分空間」の存在が明らかになった。CLIP ViT-L/14 の場合、これは 768 次元空間の 21% に相当する 164 次元に対応する。
• サブグループ不変性: 特定されたノイズ次元は、異なるデータ部分集合間で強い不変性を示す。グローバルなノイズ部分空間とクラス固有の低分散部分空間との間の mSCSA スコアは高く（大規模モデルではしばしば 90% 超）、これらのノイズ方向は普遍的であり、単一のクラスやデータ部分集合に特化したものではないことを示している。
• プルーニングの影響:
  • 分類: ノイズ次元を除去しても、ImageNet ゼロショット Top-5 精度の低下は無視できるレベルである（例：CLIP ViT-L/14 は 91.2% から 91.1% へ低下）。同じ数の次元をランダムに除去した場合、性能は著しく悪化し、ノイズ次元がほとんど意味情報を担っていないことを確認する。
  • 整合性: プルーニングが整合性を損なうという仮説とは異なり、著者らはノイズ除去後に LAION-2B 上の画像・テキストペアの平均コサイン類似度が体系的に増加することを観察する。この改善は潜在次元のサイズに比例して拡大する。
• 定性的検査: ノイズ部分空間で高い活性化を示すサンプルの視覚的検査により、それらはしばしば利用不可能な画像プレースホルダーや分布外のアートファクト（例：ImageNet 単独で推定された際のマーベル映画のトピックなど）に対応することが明らかになり、これらの次元が非意味的であることをさらに支持する。

意義と主張
本論文は、現代の VLM の表現構造に関する新たなメカニズム的洞察を提供することを主張する。潜在空間をマルチモーダルな意味信号と共有ノイズ部分空間に形式的に分解することにより、著者らは以下のことを実証する：

1. 対照的学習済みモデルにおける潜在幾何学の相当部分は、タスクに関連する意味ではなく、共有されたアーキテクチャレベルのノイズによって支配されている。
2. これらの共有ノイズ次元をプルーニングすることは「主に無害」であり、分類能力を低下させることなく、下流の整合性パフォーマンスを積極的に向上させることができる。
3. 次元崩壊の現象は現代の VLM においても存続しているが、空間の完全な崩壊ではなく、無関係なデータの貯蔵庫として現れる。

著者らは慎重な立場を維持し、最適なノイズ閾値は特定のモデルアーキテクチャやデータ分布に依存する可能性を認めている。固有スペクトルの低下は急激であるが、以前の単一モーダル研究で観察された位相転移ほど瞬時的ではないことに言及し、潜在容量割り当ての背後には複雑なメカニズムが存在することを示唆している。今後の研究として、この評価をより広範なバックボーンに拡張し、このノイズメカニズムとモーダリティギャップの出現を結びつける形式的な理論的枠組みを確立することが提案されている。