MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

技術要約：MultiMem：マルチモーダル対照学習における記憶（Memorization）の測定と緩和

1. 問題提起

機械学習モデルにおける「記憶（Memorization）」は、非典型的なパターンを捉えることで分布内（in-distribution）の稀なサンプルに対する性能向上に寄与する一方で、ノイズや外れ値の有害な保持を招き、汎化性能を低下させることが知られている。これまでの研究では、ビジョン領域における教師あり学習（SL）および自己教師あり学習（SSL）における記憶の特性化が進んできた。しかし、マルチモーダル対照学習における記憶については未探索のままである。

既存の記憶の定義は、多くの場合、特定のモダリティに特化している（例：SLにおけるラベル予測や、SSLにおけるオーグメンテーションの一致に基づく）。あるいは、二峰性（bi-modal）の設定（例：CLIPにおける画像とテキストのペア）に限定されている。これらの定義は、マルチモーダルモデルに固有の、多様なモダリティ（音声、ビデオ、画像、テキストなど）にわたる複雑かつグローバルな相互作用を捉えることができない。さらに、déjà vu や CLIPMem といった先行手法は、3つ以上のモダリティを含むモデルには直接適用できない。あらゆるモダリティに対して同時に記憶を定量化し、クロスモーダルな不一致がいかにしてこの現象を駆動するかを理解するためのフレームワークが切実に求められている。

2. 手法

MultiMem メトリック
著者らは、任意の数および種類のモダリティに対してマルチモーダル対照学習における記憶を定量化するために設計された初の指標である MultiMem を導入する。

• フレームワーク: これは leave-one-out フレームワークに基づいている。全データセット $S$ で学習されたモデル $f$ と、特定のマルチモーダル・サンプル $x_i$ を除外したデータセット $S \setminus i$ で学習されたモデル $g$ の2つのモデルを訓練する。
• 記憶のプロキシ（代理指標）: ラベル予測やペアワイズな整列のみに依存するのではなく、MultiMem は クロスモーダル一貫性（Cross-Modal Consistency: CMC） をプロキシとして使用する。CMC は、特定のサンプルの全モダリティ間の表現の整列度を、保持されたセット $H$ からの無関係なサンプルとの整列度と比較して測定する。
• 計算方法:
  1. サンプル $x_i$ の $n$ 個のモダリティにおける表現を正規化し、表現空間 $\Phi$ に集約する。
  2. CMC は、サンプル内の期待類似度（サンプル内一貫性）と、サンプルと保持されたサンプルとの間の期待類似度（サンプル間分離）の差として計算される。
  3. MultiMem は、モデル $f$ とモデル $g$ の間の CMC スコアの差として定義される：
     $$\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$$
     MultiMem スコアが高いことは、サンプル $x_i$ のモダリティを整列させる能力が、訓練セットにおける $x_i$ の存在に強く依存していることを示しており、これは記憶を意味する。

実験設定
著者らは、以下のモデルを用いて MultiMem を評価した：

• AudioCLIP: 音声、画像、テキスト。
• AVT-CLIP: 音声、ビデオ、テキスト（カスタム構築）。
• AVIT-CLIP: 音声、ビデオ、画像、テキスト（カスタム構築）。
• ベースライン: OpenCLIP, VideoCLIP。
  データセットには、UrbanSound8K、MSR-VTT、COCO が含まれる。

緩和戦略
この指標に基づき、記憶を緩和するための2つの戦略が提案された：

1. 学習中の緩和（In-Training Mitigation）: 学習中、最も記憶されている上位 5% のサンプル（定期的な MultiMem 評価によって特定される）を新しいバッチに再グループ化する。これらのサンプルに対してのみ、表現に対するターゲットを絞ったノイズベースのオーグメンテーション（ガウスノイズ）を適用し、他のバッチは変更を加えない。
2. 学習後の緩和（Post-Training Mitigation）: 初期学習の後、記憶されている上位のサンプルを特定し、訓練セットから削除する。その後、残りのデータを用いてモデルをファインチューニングする。

3. 主な結果と知見

記憶の特性化

• グローバル vs パーシャル: すべてのモダリティにわたって測定された記憶（Global MultiMem）は、一部のモダリティのサブセット（例：画像とテキストのみ）で測定されたものとは異なる挙動を示す。正確な評価にはグローバルな評価が必要である。
• 記憶の要因: 最も記憶されているサンプルは、単にキャプションが誤っている（二峰性モデルでよく見られる現象）だけでなく、全モダリティにわたるセマンティックな不整合（semantic misalignment） を示している。異なるモダリティから提供される情報が、互いに矛盾しているか、あるいは無関係である場合が多い。
• モダリティの影響: クロスモーダルなセマンティック不整合は、記憶に最も強い影響を与える。テキストが記憶を駆動する主要なモダリティであり、次いでビデオ、画像、音声の順となる。
• 行動の変化: マルチモーダルモデルは、教師あり学習（ラベルの記憶）よりも、自己教師あり学習（SSL）（パターンの記憶）に近い記憶挙動を示す。音声やビデオの導入により、ビジョンエンコーダーの挙動は純粋にキャプション駆動である状態から離れていく。
• 汎化との相関: グローバルな記憶と、汎化性能（リトリーバル、線形プロービング、ゼロショットタスクによって測定）の間には、強い負の相関がある。高い記憶は、低いダウンストリーム性能につながる。

緩和の影響

• オーグメンテーション: すべてのモダリティにオーグメンテーションを適用することが、最も低い記憶量と最高の性能をもたらす。単一のモダリティにのみオーグメンテーションを適用すると、オーグメンテーションされていないモダリティのペアにおいて記憶が増加する場合がある。
• 緩和の有効性: 学習中および学習後の両方の緩和戦略は、記憶を大幅に減少させ（最大 20%）、モデルの性能を向上させた：
  • リトリーバル: 最大 8% の向上。
  • ゼロショット分類: 最大 10% の向上。
  • ダウンストリーム分類: 最大 4% の向上。
• メカニズム: 緩和は、高度に記憶されたサンプルにおいて平均的なモダリティ距離を増加させる（ノイズによる「過剰な整列」を減少させる）一方で、データセット全体のモダリティギャップを維持することで機能する。学習中の緩和は、学習後の緩和よりもわずかに効果的であることが判明した。

4. 重要性と主張

本論文は、マルチモーダル対照学習に特化した記憶を測定および緩和するための初のフレームワークを確立したと主張している。その重要性は以下の点にある：

1. 新しい指標の定義: 二峰性の制限を超え、任意のモダリティ構成におけるグローバルな相互作用を捉える MultiMem を提供すること。
2. 新たなパターンの解明: マルチモーダルな記憶は、単なるラベルノイズや単一モダリティの外れ値ではなく、クロスモーダルなセマンティック不整合によって駆動されていること、およびこれらのモデルが SL よりも SSL に近い挙動を示すことを実証したこと。
3. 実用的な緩和: この指標に基づく標的を絞った介入（特に記憶されたサンプルへのノイズオーグメンテーション）が、大量のデータを削除することなく、有害なデータの保持を効果的に防ぎ、より堅牢で高性能なモデルを実現できることを示したこと。

著者らは、本研究が有害なデータの保持を防ぎ、より汎化性能の高いマルチモーダルモデルの開発に貢献し、ユニモーダルまたは二峰性の研究によって残された課題に対処するものであることを強調している。