技術要約：マルチモーダル対照学習における表現力

問題提起

対照学習、特にCLIPアーキテクチャは、異なるモダリティ間（例：テキストと画像）の結合表現を学習するための基礎的な手法となっている。経験的には成功しているものの、その表現力（具体的には、複数のモダリティにわたる任意の結合確率分布を近似する能力）の理論的限界については、未だ十分に理解されていない。

既存の文献は、情報理論的な境界（例：相互情報量の最大化）やダウンストリームタスクの性能に焦点を当てることが多い。しかし、これらの分析は、選択されたパラメータ化が対象となる関係を表現できることを前提としている場合が多い。本論文は、基礎的なギャップに対処するものである。すなわち、対照学習のパラメータ化自体が、結合分布を普遍的に近似できるほど表現力があるのか、それとも特定の条件付き分布を近似することに限定されているのか？ という問いである。

著者らは、集団レベルの密度推定の観点を採用している。有限サンプルの推定や最適化のダイナミクスを分析するのではなく、データを既知の結合確率測度 $\mu$ として扱い、積の周辺分布 $\mu_P$ を真の $\mu$ に一致させるように調整する「傾斜関数（tilting function）」$\Phi$ を学習することで、与えられた対照学習アーキテクチャが $\mu$ を任意に近似できるかどうかを問うている。表現力の尺度として、パラメータ空間におけるカルバック・ライブラー（KL）ダイバージェンス $D_{KL}(\mu \parallel \mu_a)$ の下限（infimum）を用いる。

手法

本論文は、対照学習を、近似測度が次のように定義される傾斜関数 $\Phi$ の学習として定式化する：
$$\frac{d\mu_a}{d\mu_P}(x) = \frac{1}{Z} \exp(\Phi_a(x))$$
ここで、$\Phi$ は周辺分布の積に対する真の結合分布の対数密度比（傾斜関数）である。

著者らは、一連の理論的結果を確立する：

1. 損失の階層性： 結合KLダイバージェス $D_{KL}(\mu \parallel \mu_a)$ を最小化することは、実用的な対照学習で使用される条件付き損失（全条件付きおよびペアワイズ条件付きの両方）を厳密に上界で抑えることを証明する。したがって、もしアーキテクチャが結合分布を近似できないのであれば、たとえ条件付き損失を最小化できたとしても、結合KLダイバージェンスをゼロにすることはできない。
2. 関数から測度への近似： パラメトリックな関数の族が連続な傾斜関数を一様に近似できる（$C_0$ における普遍近似）ならば、誘導された測度の族はKLダイバージェンスにおいて真の結合分布を近似できることを示す。
3. アーキテクチャの分析： これらの一般的な定理を特定のアーキテクチャに適用する：
   • 二峰性CLIP ($m=2$)： 内積スコアリングを用いる標準的な2タワー・アーキテクチャ。
   • Sum-of-Pairs CLIP ($m \ge 3$)： ペアワイズの類似度の総和をスコアとする一般的な拡張。
   • Hadamard-CLIP (H-CLIP)： エンコーダ出力の要素ごとの（アダマール）積に学習可能な重みベクトルを加える、提案された修正案。

主な貢献と結果

1. 二峰性CLIPは普遍近似器である

二つのモダリティ（$m=2$）の場合、標準的な2タワーCLIPアーキテクチャは一般的な結合ネットワークと同等の表現力を持つことを本論文は証明している。

• 結果： $\Phi_{2\text{-clip}}(x_1, x_2) = \langle \bar{g}_1(x_1), \bar{g}_2(x_2) \rangle / \tau$ によって定義される関数の族は、連続関数の空間において稠密である。
• 示唆： 十分な容量と学習可能な温度 $\tau$ が提供されれば、二峰性CLIPは任意の結合分布を任意に近似できる。これは、テキスト・画像タスクにおけるCLIPの経験的な成功に対する理論的な正当性を与えるものである。
• 注意点： 著者らは、これが次元削減を保証するものではないことを指摘している。完全な近似を実現するために必要な潜在次元は、元の結合ドメインの次元に等しいか、それを上回る場合がある。

2. Sum-of-Pairs CLIPは $m \ge 3$ で失敗する

本論文は、三つ以上のモダリティに対してペアワイズの類似度を合計する（$\Phi_{m\text{-clip}} = \sum_{i<j} \langle \bar{g}_i, \bar{g}_j \rangle$）という、広く用いられているCLIPの拡張手法が、任意の結合分布を普遍的に近似できないことを示している。

• 結果： このアーキテクチャはすべてのペアワイズ条件付き（$x_i | x_j$）を任意に近似できる一方で、高次の相互作用（例：$x_1, x_2, x_3$ のような三者間の相互作用）を捉える構造的な欠陥がある。その結果、完全な結合分布や完全な条件付き分布（$x_i | x_{-i}$）を近似することはできない。
• 意義： これは現在のマルチモーダルな慣行における理論的な限界を明らかにしている。すなわち、sum-of-pairs損失は、その経験的な有用性にもかかわらず、三つ以上のモダリティ間の複雑な依存関係をモデル化するには不十分である。

3. Hadamard-CLIP (H-CLIP) が普遍近似を回復させる

Sum-of-Pairsのアプローチの失敗に対処するため、著者らはHadamard-CLIPを提案する。

• アーキテクチャ： この手法は、すべてのエンコーダ出力の要素ごとの積に、単一の学習可能な重みベクトル $\omega \in \mathbb{R}^{d_{Lat}}$ を加えるものである：
  $$\Phi_{Had}(x_1, \dots, x_m) = \omega^\top (\bar{g}_1(x_1) \odot \dots \odot \bar{g}_m(x_m))$$
• 結果： 著者らは、H-CLIPが任意の数のモダリティ $m$ に対して普遍近似を回復させることを証明している。これは、任意の結合分布を任意に近似できる。
• 効率性： 決定的なことに、H-CLIPは標準的なCLIPの推論時の効率性を維持している。一般的な結合ネットワーク（すべての生のモダリティを同時に処理する必要がある）とは異なり、H-CLIPは、クエリとなるモダリティを除くすべてのモダリティのアダマール積を事前計算できるため、標準的なCLIPと同様に、単一のドット積による高速な検索が可能である。

意義と主張

本論文は、対照学習アーキテクチャの表現能力に関する基礎的な理論的理解を提供すると主張しており、有限サンプルの推定や最適化の問題から表現力を切り離して分析している。

• 理論的ギャップ： 標準的なマルチモーダル拡張（sum-of-pairs）において、任意の結合分布をモデル化することを妨げる特定の構造的な失敗を特定した。これは、これまでの文献では特徴付けられていなかったギャップである。
• 最小限の修正： 普遍近似を回復させつつ、対照学習のスケールメリットである（事前計算可能な埋め込みといった）計算効率を損なわない、理論的に健全で最小限の修正案としてH-CLIPを提案している。
• 範囲： 著者らは、自らの結果が集団極限（無限のデータ）に限定されていることを明示している。有限サンプルの汎化、最適化の収束、または特定のダウンストリームタスクの性能保証に関する問題を解決すると主張しているわけではないが、これらが自然な今後の研究領域であることを示唆している。

要約すると、本論文は、二峰性CLIPは理論的に普遍近似に十分であるが、現在のマルチモーダルな拡張はそうではなく、実用的な効率性を維持しながら完全な表現力を達成するためには、テンソル分解に着想を得た単純な融合（H-CLIP）が必要であると論じている。