技术摘要：多模态对比学习中的表达能力

问题陈述

对比学习，特别是 CLIP 架构，已成为学习跨模态（如文本和图像）联合表示的基础技术。尽管在经验上取得了成功，但其表达能力（即近似多个模态任意联合概率分布的能力）的理论极限仍不为人所知。

现有文献通常侧重于信息论界限（例如互信息最大化）或下游任务性能。然而，这些分析往往预设了所选参数化方案能够表示目标关系。本文旨在解决一个基础性的空白：对比参数化本身是否具有通用近似底层联合分布的表达能力，还是仅限于近似某些条件分布？

作者采用了群体层面、密度估计的视角。他们没有分析有限样本估计或优化动力学，而是将数据视为已知的联合测度 $\mu$，并探讨给定的对比架构是否可以通过学习一个“倾斜函数”（tilting function）$\Phi$ 来将边缘分布的乘积 $\mu_P$ 调整为匹配联合分布 $\mu$，从而实现对 $\mu$ 的任意好近似。表达能力的衡量标准是参数空间中 KL 散度 $D_{KL}(\mu \parallel \mu_a)$ 的下确界。

方法论

本文将对比学习框架化为学习一个倾斜函数 $\Phi$，其中近似测度定义为：
$$\frac{d\mu_a}{d\mu_P}(x) = \frac{1}{Z} \exp(\Phi_a(x))$$
其中 $\Phi$ 是真实联合分布相对于边缘分布乘积的对数密度比（倾斜函数）。

作者建立了一套层级化的理论结果：

1. 损失层级（Loss Hierarchy）： 他们证明了最小化联合 KL 散度 $D_{KL}(\mu \parallel \mu_a)$ 严格上界于实际对比学习中使用的条件损失（包括全条件和成对条件）。因此，如果一个架构无法近似联合分布，那么即使它能最小化条件损失，也无法将联合 KL 散度降至零。
2. 从函数到测度的近似（Function-to-Measure Approximation）： 他们证明，如果一个参数化函数族可以一致地近似连续倾斜函数（$C_0$ 中的通用近似），那么由此产生的函数族可以使联合分布在 KL 散度意义下实现任意好近似。
3. 架构分析： 他们将这些通用定理应用于特定架构：
   • 双模态 CLIP ($m=2$)： 标准的双塔架构，采用内积评分。
   • 成对求和 CLIP ($m \ge 3$)： 常用的扩展方式，其分数为所有成对内积之和。
   • Hadamard-CLIP (H-CLIP)： 一种提议的改进方案，通过在编码器输出的逐元素（Hadamard）乘积上添加一个可学习的权重向量来增强。

核心贡献与结果

1. 双模态 CLIP 是通用近似器

对于两种模态（$m=2$），本文证明了标准的双塔 CLIP 架构具有与任何通用联合网络同等的表达能力。

• 结果： 由 $\Phi_{2\text{-clip}}(x_1, x_2) = \langle \bar{g}_1(x_1), \bar{g}_2(x_2) \rangle / \tau$ 定义的函数族在连续函数空间中是稠密的。
• 启示： 只要具备足够的容量和可学习的温度参数 $\tau$，双模态 CLIP 就可以任意好地近似任何联合分布。这为 CLIP 在文本-图像任务中的经验成功提供了理论依据。
• 注意事项： 作者指出，这并不保证降维；在某些情况下，实现完美近似所需的潜在维度可能等于或超过原始联合域的维度。

2. 成对求和 CLIP 在 $m \ge 3$ 时失效

本文证明，将 CLIP 推广到三种或更多模态时广泛使用的成对相似度求和架构（$\Phi_{m\text{-clip}} = \sum_{i<j} \langle \bar{g}_i, \bar{g}_j \rangle$），无法通用近似任意联合分布。

• 结果： 虽然该架构可以任意好地近似所有的成对条件（$x_i | x_j$），但在结构上无法捕捉高阶交互（例如 $x_1 x_2 x_3$ 这种三向交互）。因此，它无法近似完整的联合分布或全条件（$x_i | x_{-i}$）。
• 意义： 这揭示了当前多模态实践中的一个理论局限：对于建模三个或更多模态之间的复杂依赖关系，成对求和损失是不够的，尽管它在经验上很有用。

3. Hadamard-CLIP (H-CLIP) 恢复了通用近似

为了解决成对求和方法的失效问题，作者提出了 Hadamard-CLIP。

• 架构： 该方法通过将一个学习到的权重向量 $\omega \in \mathbb{R}^{d_{Lat}}$ 添加到所有编码器输出的逐元素乘积中来实现：
  $$\Phi_{Had}(x_1, \dots, x_m) = \omega^\top (\bar{g}_1(x_1) \odot \dots \odot \bar{g}_m(x_m))$$
• 结果： 作者证明 H-CLIP 恢复了针对任意数量模态的通用近似能力。它可以任意好地近似完整的联合分布。
• 效率： 至关重要的是，H-CLIP 保留了标准 CLIP 的推理效率（预计算嵌入）。可以预先计算除查询模态之外的所有模态的 Hadamard 乘积，从而实现类似于标准 CLIP 的快速检索（通过单次点积完成）。

意义与主张

本文声称提供了一个关于对比学习架构表示能力的底层理论理解，将表达能力与有限样本估计及优化问题隔离开来。

• 理论差距： 它识别了标准多模态 CLIP 扩展（成对求和）中存在的特定结构性失效，这种失效使其无法建模任意的联合分布，这一差距此前在文献中未被刻画。
• 最小化修改： 作者提出 H-CLIP 作为一种最小的、在理论上完备的修改方案，在恢复通用近似能力的同时，并未牺牲使对比学习具备可扩展性的计算效率（预计算嵌入）。
• 范围： 作者明确指出，其结果仅限于群体极限（无限数据）。他们并不声称解决了有限样本泛化、优化收敛或特定下游任务性能保证的问题，尽管他们认为这些是未来研究的自然方向。

总之，本文认为，虽然双模态 CLIP 在理论上足以实现通用近似，但目前的多种模态扩展并非如此，需要一种受张量分解启发的简单融合方式（H-CLIP），才能在保持实用效率的同时实现完全的表达能力。