論文要約：「Is the Modality Gap a Bug or a Feature? A Robustness Perspective」

1. 概要と背景

本論文は、CLIP などの現代のマルチモーダルモデルにおいて広く観察される「モダリティギャップ（Modality Gap）」という現象に焦点を当てています。モダリティギャップとは、画像とテキストが共有埋め込み空間（unit hypersphere）上で、線形に分離可能な領域に分布し、完全に重なり合わない現象を指します。

従来の研究では、このギャップがなぜ発生するのか、またそれを解消することが下流タスクの性能向上に寄与するのかが明確ではありませんでした。本論文は、このギャップが「バグ（欠陥）」であり、モデルのロバスト性（頑健性）を低下させる要因であることを理論的・実証的に示し、ギャップを解消する簡易なポストプロセッシング手法を提案します。

2. 問題設定

• モダリティギャップの存在: 対照損失（Contrastive Loss）で訓練されたモデルは、類似する画像とテキストを近づけるように学習されますが、実際には画像とテキストの分布間に大きなギャップが生じます。
• 既存研究の限界: 以前の研究では、情報量の不均衡や次元の崩壊（Dimensionality Collapse）が原因として指摘されていましたが、明確な説明や、ギャップ解消が下流タスクに与える影響（特にロバスト性）についての結論は得られていませんでした。
• ロバスト性の問題: マルチモーダルモデルは、入力（画像のわずかなシフトやテキストの言い換えなど）の微小な変化に対して敏感であり、予測が不安定になることが知られています。

3. 手法と理論的貢献

著者らは、対照損失のダイナミクスと初期化条件に基づき、以下の理論的証明とアルゴリズムを提案しました。

3.1. 理論的発見

1. ギャップの発生メカニズム:

   • 対照損失を最小化する場合、初期化が「分離された密なクラスター」である条件下では、勾配降下法は最終的にグローバルなギャップベクトルが存在する解に収束します。
   • このギャップベクトルは、画像とテキストの両方のアフィン部分空間に対して**直交（Orthogonal）**する性質を持ちます（Assumption 3.3）。
   • 従来の「次元の崩壊」仮説は必須条件ではなく、等方性ガウス分布からの初期化でも同様の現象が観測されることを示しました。

2. ギャップとロバスト性の関係（定理 3.4）:

   • 核心: モダリティギャップが存在すると、埋め込み空間へのノイズ（摂動）に対してモデルの出力が変化しやすくなり、ロバスト性が低下します。
   • 証明: 直交仮定の下、一方のモダリティ（例：テキスト）を他方のモダリティ（例：画像）の平均方向へギャップベクトル分だけ移動させる（ギャップを縮小する）ことで、ノイズに対する耐性（ロバスト性）が向上することが証明されます。

3. 性能への影響（定理 3.5）:

   • ギャップベクトル方向への移動は、その方向がモダリティ空間に対して直交しているため、クリーンデータ（ノイズなし）における近傍検索（Nearest Neighbor）の順序を変えません。
   • つまり、ギャップを解消しても、ゼロショット分類や検索タスクなどのクリーン精度（Clean Accuracy）は低下しないことが保証されます。

3.2. 提案アルゴリズム

理論に基づき、モデルの再学習や微調整（Fine-tuning）を必要としない、単純で効率的なポストプロセッシング手法を提案しました。

• 手順:
  1. 取得対象のモダリティ（例：テキスト）の主成分（Principal Components）を計算し、そのアフィン部分空間を定義する。
  2. 計算されたグローバルギャップベクトル $\vec{g}$ を、上記部分空間に直交する成分のみ残すように射影する（$\vec{g}' = \vec{g} - VV^T\vec{g}$）。
  3. 取得対象のモダリティの埋め込みを、$\vec{g}'$ 分だけ他方のモダリティの平均方向へ移動させる。
• 特徴: 任意の対照学習モデルに適用可能で、追加の学習コストが不要。

4. 実験結果

提案手法の有効性を、制御されたノイズと実世界のノイズの両面で検証しました。

• 制御されたノイズ（ガウスノイズ）:

  • CIFAR-10/100、A-OKVQA などのデータセットで、CLIP や SigLIP などのモデルを用いた実験を行いました。
  • ギャップを縮小すると、ノイズ添加時のロバスト性が単調に向上しましたが、クリーン精度は変化しませんでした。
  • ギャップを拡大するとロバスト性が低下しました。

• 量子化ノイズ（Quantization）:

  • 埋め込みベクトルの量子化（低ビット化）に対する耐性を検証。
  • 量子化前の空間でギャップを最小化することで、量子化後のロバスト性が大幅に向上しました。

• テキストの言い換え（Rephrasing）:

  • 入力テキストの表現を変化させる（「a photo of a dog」→「an image of a dog」）という実世界のノイズに対して検証。
  • 理論的な直交仮定が完全に成り立たない状況でしたが、ギャップを解消する手法を適用することで、言い換えに対する精度（ロバスト性）が向上し、クリーン精度は維持されました。

5. 結論と意義

• 結論: モダリティギャップは、対照損失と初期化の相互作用によって生じる「バグ」であり、モデルのロバスト性を損なう要因です。本論文は、このギャップを「機能（Feature）」として維持すべきという見解を否定し、解消すべき課題であることを示しています。
• 貢献:
  1. ギャップの発生メカニズムと、それがロバスト性に与える負の影響を理論的に解明しました。
  2. クリーン精度を犠牲にすることなく、ロバスト性を大幅に向上させる実用的なポストプロセッシング手法を提案しました。
  3. 再学習なしに既存の VLM（Vision-Language Models）を強化できるため、実システムへの導入が容易です。

本論文は、マルチモーダルモデルの設計と評価において、「ロバスト性」を重要な指標として捉え直すきっかけとなり、既存モデルの性能をコストをかけずに向上させるための指針を提供しています。