🤖 machine learning

On the modality gap and the contrastive loss in multi-modal representation learning

本文将 CLIP 式对比学习中的模态间隙识别为具有独立编码器的 InfoNCE 目标函数在低温度参数下的失效，并提出了 xNCE，一种通过引入模态内负样本来消除该间隙，同时在不牺牲检索准确性的前提下提升零样本分类性能的改进型损失函数。

原作者： Fabian Mager, Hiba Nassar, Lars Kai Hansen

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabian Mager, Hiba Nassar, Lars Kai Hansen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两个最好的朋友：一个只会说“图像”，另一个只会说“文字”。你想让他们在同一个房间里（一个共享的数字空间）聚会，以便他们能完美地理解彼此。这正是像 CLIP 这样的 AI 模型试图做的事情：它们学习如何将图像与其描述进行匹配。

但奇怪的是，即使经过训练后，这两个朋友往往还是站在房间的两个对角处。他们虽然仍能交流，但从未真正融合在一起。图像嵌入（image-embeddings）聚集在一个簇中，而文本嵌入（text-embeddings）则聚集在另一个簇中。这被称为**“模态间隙”（modality gap）**。

长期以来，科学家们认为这种分离是因为这两个朋友最初性格不同（随机初始化）或者来自不同的社区（不同的数据）。但 Fabian Mager、Hiba Nassar 和 Lars Kai Hansen 的这篇论文指出：“等一下。事实并非如此。”

真正的罪魁祸首：一场糟糕的“烫手山芋”游戏

作者通过一个巧妙的实验证明了他们的观点。他们拿了两对完全相同的双胞胎（两个具有完全相同初始权重的独立编码器），并给它们喂食了完全相同的图片，只是做了微小的调整（比如旋转或缩放）。在理想情况下，这对双胞胎应该产生完全相同的输出。

然而，当他们使用标准的训练方法（称为 InfoNCE）并配合一个特定的设置（即“低温度”，这会让 AI 变得非常挑剔）时，这对双向竟然还是产生了分歧。尽管它们看到的都是同一个东西，但一个双胞胎开始说“图像”，而另一个却开始说“文字”！

这证明了间隙并不是由数据或起点引起的。相反，论文指出，InfoNCE 公式本身存在一个缺陷。

你可以这样理解：训练游戏告诉 AI，“让匹配对（图像 + 文本）靠得超级近，让所有不匹配的对离得超级远。”

缺陷在于： 为了让不匹配的对“离得远”，AI 找到了一个偷懒的捷径。它把整个“图像”组推向房间的一侧，把整个“文本”组推向另一侧。这满足了“让它们分开”的规则，却并没有真正学会将它们融合。论文称之为**“模式失效”（mode-failure）**——AI 找到了一个局部最优解，它觉得自己做得很好，但实际上它只是把两组人藏在了各自的角落里。

这种情况特别发生在 AI 被设定得非常严格（低温度）的时候。如果你让 AI 变得更宽松（高温度），这些组就会混合在一起，但那样的话，AI 就会忘记如何区分不同的物体，从而破坏它识别事物的能力。

解决方案：xNCE（“调酒师”）

作者提出了一个简单的修复方案，叫做 xNCE。

再次想象那个训练游戏。在旧版本中，当 AI 试图将一个“不匹配”的图像推离一个“不匹配”的文本时，它只是把它们推到了对角的角落。
在新的 xNCE 版本中，游戏的规则改变了：“你不能只把文本推离图像。你还必须把文本推离其他文本，把图像推离其他图像。”

通过混合“负样本”（即 AI 不应该 匹配的东西）使得这些样本同时来自两个组，AI 就被迫停止躲在角落里。它必须学会保持两组数据的混合状态，同时仍保持特定匹配项的接近。

实验室里发生了什么？

作者在两件事上测试了该方法：

MNIST（手写数字）： 他们将两个编码器视为两种不同的“模态”。
- 结果： 使用旧方法在低温度下，两组是完全分离的（100% 可分）。使用 xNCE 后，即使在那些严格的低温度下，间隙也显著缩小了。
COCO（图像与说明文字）： 这是现实世界的测试。
- 间隙： 标准方法留下了巨大的间隙（距离为 0.88）。新方法将其缩小到了 0.12（使用极少量混合）甚至 0.05（使用大量混合）。
- 权衡： 作者找到了一个平衡点。如果他们只混合一小部分负样本（1% 到 5%），他们几乎可以完全消除间隙，同时不会损害 AI 寻找正确图像的能力（检索能力）。
- 额外收获： 最重要的是，这种新方法让 AI 在无需学习的情况下猜测图像内容（零样本分类）的能力变得更好了。在四项不同的测试中，新方法都击败了旧方法。例如，在 CIFAR-100 测试中，它的准确率提升了 4.2 个百分点。

这篇论文没有说的话

了解这篇论文没有声称的内容也很重要：

它并不认为高温度是解决办法。事实上，论文表明，仅仅通过提高温度来混合两组数据，就会破坏 AI 识别特定物体的能力（使 ImageNet 准确率从 51.9% 降至 15.5%）。
它并不说添加额外的“正则化”（强制 AI 趋于均匀分布）是最好的修复方法。作者测试了一个正则化版本，发现它在零样本性能上的提升不如他们的混合方法。
它并不声称这是解决所有问题的万灵药。论文建议，对于需要极端精确的任务（如寻找第 1 名的精确匹配），你可能需要混合得很少（1-5%）；对于需要更通用理解的任务，你可以进行更多混合。

总结

这篇论文表明，“模态间隙”并不是自然的奥秘，而是标准训练配方中的一个漏洞。通过简单地混合训练游戏中的“负样本”，作者创造了一种方法（xNCE），它迫使 AI 真正学习一种共享语言，而不是仅仅躲在各自的角落里。这是一个微小的改进，它让 AI 变得更聪明、更统一，并且在保持通常使其擅长捕捉细节的“挑剔”设置的同时，还能更好地进行预测。

技术摘要：论多模态表示学习中的模态间隙与对比损失

问题陈述

本文研究了在 CLIP 式双编码器对比学习模型中观察到的模态间隙（modality gap）现象。尽管经过训练后图像和文本嵌入处于共享的表示空间中，但它们往往占据不同的、互不重叠的区域（子流形），而非形成一个完全混合的分布。虽然之前的文献将这一现象归因于初始化偏差、数据异质性、维度或温度设置等因素，但作者认为，该间隙本质上是由应用在独立编码器上的 InfoNCE（信息噪声对比估计）公式所诱发的。

作者假设，在具有独立编码器的多模态设置下，InfoNCE 目标函数中的均匀性项（uniformity term）不仅是一个信息保持机制，更是一个带有发散目标的“退化项”。具体而言，可以通过将两种模态推开，同时保持正对（positive pairs）的正确排序来最小化损失函数，从而导致一个模态分离的局部最优解，尤其是在低温度条件下。

方法论

理论分析

作者对温度参数 $\tau \to 0^+$ 时的 InfoNCE 损失极限进行了理论分析。他们证明了对于独立编码器，在低温度下最小化损失会促使负样本相似度（ $a_{ik}$ ）向其均值（ $m_i$ ）收敛，同时保持对的排序不变。这导致了一个“窄相似度分布”，其中来自另一模态的所有负样本都形成了一个远离锚点（anchor）的紧密簇，从而产生了模态间隙。作者将其识别为 InfoNCE 在低温度条件下的模式失效（mode-failure）。

提议的方法：xNCE

为了解决这一问题，作者提出了 xNCE（混合噪声对比估计），这是对标准 InfoNCE 损失的一个简单修改。

机制： xNCE 不再仅从相反模态中采样负对（跨模态），而是在 Softmax 分母中混合了模态内负对（例如：图像-图像）和跨模态负对（图像-文本）。
原理： 通过引入模态内负对，损失函数防止了分离两种模态这一平凡解。如果模态发生漂移，模态内负对也会变得不相似，从而增加损失。这迫使编码器通过满足混合集合中的均匀性约束来对齐模态。
实现： 混合比例（ $r_{mix}$ ）控制着模态内与跨模态负对的比例。该损失仍是对混合相似度矩阵进行对称的交叉熵计算。

实验设置

研究在两种设置下进行了实验：

单模态（图像到图像）： 使用 MNIST/EMNIST，并使用两个独立且初始化相同的编码器（无权重共享），以隔离损失公式的影响，排除初始化或数据特性的干扰。
多模态（图像到文本）： 在 MS-COCO 数据集上微调 CLIP (ViT-B/16)。
- 基线模型： 标准 InfoNCE（使用可学习和固定的温度）、正则化 InfoNCE（添加显式的对齐/均匀性项）以及高温度 InfoNCE。
- 评估指标： 用于模态可分性和下游效用的线性探测（数字分类、目标检测 mAP）、检索性能（R@1, R@5, R@10）以及在 CIFAR-10/100、Caltech-101 和 ImageNet 上的零样本分类。

关键结果

1. 单模态验证 (MNIST)

间隙诱导： 即使使用相同的初始化和独立的编码器，在低温度（ $\tau=0.01$ ）下的 InfoNCE 也会主动产生模态间隙（模态距离 $\approx 0.75$ ，模态分类准确率 100%）。
xNCE 的有效性： xNCE 在所有温度下都显著降低了这种间隙。在 $\tau=0.01$ 时，模态距离降至 $0.09$，且模态分类准确率降至 100% 以下，表明实现了成功的对齐。
温度敏感性： InfoNCE 在 $\tau \approx 0.09$ 附近表现出模态重叠的剧烈转变。xNCE 则表现出更平缓的转变过程，并始终保持较低的模态距离。

2. 多模态性能 (MS-COCO)

模态间隙缩减： 标准 InfoNCE（可学习 $\tau$ ）产生的间隙较大（距离 $0.88$）。正则化 InfoNCE 将间隙降至 $0.12$，但带来了约 25-30% 的训练开销。xNCE 在 $r_{mix}=0.01$ 时将间隙降至 $0.12 $，在$ r_{mix}=0.50 $时降至$ 0.05$，且无需额外的损失项或显著的计算成本。
检索性能：
- 标准 InfoNCE 获得了最高的 R@1 检索得分。
- 使用小混合比例（ $r_{mix}=0.01, 0.05$ ）的 xNCE 在 R@5 和 R@10 上与 InfoNCE 保持近乎持平的表现，仅在 R@1 上有轻微下降。
- 高温度 InfoNCE 虽然大幅降低了间隙，但严重损害了检索性能（R@1 降至 $\approx 15\%$ ）。
零样本分类：
- 核心发现： 与 InfoNCE 基线相比，采用小比例混合（ $r_{mix}=0.01$ ）的 xNCE 提升了所有四个基准测试（CIFAR-10, CIFAR-100, Caltech-101, ImageNet）的零样本 Top-1 准确率。
- 相比之下，正则化 InfoNCE 和高温度 InfoNCE 都未能提升（且通常会降低）相对于基线的零样本性能，这表明显式正则化或高温度会破坏用于迁移的判别几何结构。
权衡： 进一步增加混合比例（ $r_{mix}$ ）会减少间隙并增加实例级语义性（mAP），但会单调地降低零样本准确率和检索精度，这表明存在一个可在模态可分性与模态内语义性之间调节的权衡。

意义与主张

本文声称，模态间隙并非数据或初始化的必然产物，而是当在低温度下使用独立编码器时，InfoNCE 目标函数的模式失效。

机制洞察： 作者证明了间隙的产生是因为 InfoNCE 中的均匀性项可以通过使模态发散来满足。xNCE 通过引入模态内负对纠正了这一点，有效地消除了“发散目标”。
实际优势： 与高温度训练或添加复杂的正则化项不同，xNCE 提供了一种简单、计算高效的修改方式，在减少模态间隙的同时，不会牺牲（在某些情况下甚至能提升）实现零样本迁移所需的判别几何结构。
可调性： 该方法提供了一种可控的权衡机制，可在模态对齐与模态内语义性之间进行调节，允许从业者根据特定的下游需求（例如，严格的 Top-1 检索 vs. 模态不变表示）来调整混合比例（ $r_{mix}$ ）。

作者总结道，xNCE 成功地减轻了模态间隙，同时保留或增强了多模态模型的迁移能力，挑战了通过复杂的正则化策略或高温度机制来实现对齐的必要性。