🤖 machine learning

The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning

本文建立了一个测度论框架，证明了正对采样（positive-pair sampling）的多样性是对比学习中恢复有意义的潜在几何结构的关键条件，揭示了采样不足会导致非正交解，并指出必须通过修正损失函数或引入更强的架构归纳偏置来确保可辨识性。

原作者： Justinas Zaliaduonis, Patrick Putzky, Till Richter, Sergios Gatidis

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Justinas Zaliaduonis, Patrick Putzky, Till Richter, Sergios Gatidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过向机器人展示成对的照片来教它理解世界。例如，你给它看一张猫的照片，然后是同一只猫的略微不同的照片（可能是放大的，或者加了不同的滤镜）。机器人的任务是学习到这两张照片代表同一个“核心概念”（即那只猫），同时忽略掉其中的差异（如缩放或滤镜）。

这个过程被称为对比学习（Contrastive Learning）。这是计算机在没有人工标签的情况下进行学习的一种流行方式。但本文提出了一个关键问题：机器人究竟是学习到了世界的真实结构，还是仅仅学会了“作弊”？

作者认为，仅仅靠“损失函数”（机器人试图最小化的评分）是不够的。机器人能否学到真理，取决于两件事：你如何向它展示照片，以及你给了它什么样的“大脑”（架构）。

以下是使用简单类比进行的详细拆解：

1. “多样性”规则（采样条件）

想象你正试图通过只展示二维阴影来教一个人识别一个三维物体（比如一个球体）的形状。

理想情况（全多样性）： 你在每一个可能的方向上旋转球体，并向那个人展示来自所有角度的阴影。因为他看到了物体在所有可能的视角下的样子，所以他能在脑海中完美地重建出这个三维形状。
现实世界的问题（违反多样性）： 在实践中，我们通常无法展示所有的角度。也许你只让球体左右旋转，而从未让它上下旋转。那么这个“阴影”（数据）就缺失了关于垂直轴的信息。
论文的发现： 如果你限制了观察视角（比如只进行左右旋转），机器人就会感到困惑。它意识到自己无法弄清楚垂直轴的情况。因此，它并没有学习到真实的三维形状，而是学习了一个扭曲的版本来“作弊”。它找到了一个捷径，虽然能在测试中获得高分，但并没有真正理解物体的真实几何结构。

作者称之为多样性条件（Diversity Condition）。如果你的数据采样没有覆盖足够的“领域”（多样性），机器人就会学习到一个破碎且扭曲的世界地图。

2. “大脑”至关重要（归纳偏置）

如果数据是不完整的（低多样性），机器人还能学习到真理吗？论文给出的答案是：可以，但前提是你必须给它一个正确类型的“大脑”。

“白纸”式大脑（低归纳偏置）： 想象一个拥有通用大脑（标准的神经网络）的机器人，它对世界运作方式没有任何内置假设。如果你喂给它这种有限的、扭曲的数据，它会失败。它会产生那种“作弊”的扭曲地图，因为它没有理由去正确地推测缺失的部分。
“专业化”大脑（高归纳偏置）： 现在想象一个具备特定任务知识的机器人。例如，在教它认识猫时，你给它一个专门用于识别毛发纹理和耳朵形状的大脑（如卷积神经网络）。即使数据有限，这个专业的脑子也会利用其内置的“常识”来填补空白。它会忽略那些糟糕的数据捷径，从而恢复出真实的结构。

类比：
把数据想象成一个缺少拼图块的拼图游戏。

如果你有一个通用的解题者（低偏置），他会试图强行将现有的拼图块组合在一起，使其看起来“还行”，但最终会创造出一幅奇怪且扭曲的图像。
如果你有一个专家级的解题者（高偏置），他知道一只猫“应该”长什么样，因此即使只有一些碎片，他也能正确地猜出缺失的部分应该在哪里，从而重建出真实的图像。

3. “修复方案”（修正损失函数）

作者尝试通过改变游戏的规则（机器人使用的数学公式）来解决这个问题。他们创建了一个“修正版”的评分系统，强制机器人只比较那些在有限数据下“实际上可能存在”的视图。

结果： 这种修复阻止了机器人的“作弊”行为。它使得机器人重新学习真实形状变得可能。
代价： 但这并不能保证机器人一定会学到真理。它只是移除了对“正确”的惩罚。机器人仍然需要那个“专业化的大脑”（归纳偏置）来在众多奇怪的可能性中，真正选择出正确的那个方案。

主要结论总结

数据的多样性是王道： 如果你没有向 AI 展示足够多不同的数据变体（多样性），无论算法多么聪明，它学到的都将是一个扭曲、破碎的现实版本。
架构是安全网： 当数据不完美时，AI 模型的结构设计（其“归纳偏置”）就变得至关重要。一个拥有正确假设的模型可以从糟糕的数据中恢复真相；而一个通用的模型则不行。
损失函数并非万能： 你不能仅仅依赖数学公式（损失函数）来完成工作。数据采样方式与模型构建方式之间的相互作用，决定了 AI 是学习到了真理，还是仅仅学会了钻系统的空子。

简而言之：你不能只是把数据扔给一个通用的 AI 并期望它能学到真理。如果你的数据有限，你需要一个专门化的 AI 来理解它。

技术摘要：损失是不够的：对比表示学习中的采样条件与归纳偏置

问题陈述

对比学习（CL）已成为自监督表示学习的一种主导范式，然而，其成功恢复有意义潜在几何结构的理论条件尚未得到充分理解。尽管其经验上的成功广泛存在，但驱动对比学习的精确机制通常是启发式的，这导致了资源利用效率低下，以及可能无法充分挖掘该方法潜力的设计选择。

现有的理论解释大致分为两类：

不变性解释（The Invariance Explanation）： 认为对比学习诱导了对干扰因子（nuisance factors）的不变性。然而，该框架并未明确哪些因子属于干扰因子，也未说明数据增强如何隐式地决定这种划分。此外，被对比目标视为“干扰”的因子可能携带对于特定下游任务至关重要的判别信息。
恢复解释（The Recovery Explanation）： 假设数据位于高维流形上，并具有低维潜在结构，而对比学习旨在恢复这一潜在结构。虽然这一观点很有前景，但先前的可辨识性结果（例如 Zimmermann 等人，2021）依赖于强假设，即正对采样遵循全支撑的 von Mises-Fisher (vMF) 分布。

核心问题在于，现实世界的采样机制（增强手段）很少满足全支撑假设。它们通常会限制正对的支撑集（例如，固定某些语义特征，同时扰动其他特征）。本文研究了当这种“多样性条件”被违反时，仅靠对比目标是否足以恢复潜在几何结构，以及架构的归纳偏置如何与采样多样性相互作用。

研究方法

理论框架

作者开发了一个测度论框架来分析对比学习，将数据生成过程建模为从潜在空间 $\mathcal{Z}$ 到观测空间 $\mathcal{X}$ 的单射映射 $g: \mathcal{Z} \to \mathcal{X}$ 。编码器 $f: \mathcal{X} \to \mathcal{Z}$ 旨在学习一个恢复映射 $h = f \circ g$ 。

关键定义：

多样性条件（Diversity Condition）： 对正对条件分布 $P_{\tilde{Z}|Z}$ 的支撑集要求。如果对于几乎所有的锚点 $z$ ，边际测度 $P_Z$ 相对于条件测度 $P_{\tilde{Z}|z}$ 是绝对连续的（即 $P_Z \ll P_{\tilde{Z}|z}$ ），则该条件成立。直观地说，视图生成过程必须扰动所有的潜在特征；如果任何潜在维度保持固定，编码器就无法区分该维度上的变化。
InfoNCE 损失： 被分析为真实采样条件 $P_{\tilde{Z}|z}$ 与模型条件 $Q_{h,z}$ 之间的交叉熵最小化问题。

理论分析

论文通过三个分析阶段展开：

全支撑情况（Full-Support Case）： 文中证明了标准的全支撑 vMF 设置意味着满足多样性条件。利用概率性的 Mazur-Ulam 论证，作者表明任何渐近对比损失的全局极小值都会恢复潜在空间（在正交变换/等距变换意义下）。
违反多样性情况（Violated Diversity Case）： 作者模拟了条件支撑集被限制在低维子流形上的场景（例如，固定潜在坐标 $u$ 而改变 $v$ ）。他们证明了在违反多样性的情况下，非正交映射可以获得比任何正交映射都严格更低的渐近对比损失。具体而言，损失函数会主动抑制保持几何结构的解，从而导致潜在空间结构不良，使得语义关系无法得到保留。
修正模型（Corrected Model）： 为了解决支撑集不匹配的问题，作者引入了一种“支撑集修正型”InfoNCE 变体，其中负样本是从与正对相同的受限子流形中抽取的。他们证明了这种修正使得等距（正交）解变得可实现（即它们成为了全局极小值），但关键在于，它并不能保证这些解是唯一的极小值。

实验验证

理论预测通过两组实验进行了验证：

合成基准测试： 使用球面潜在空间（ $S^2$ $S^{2}$ ）和五种生成过程（恒等、线性、螺旋、补丁、可逆 MLP），作者对比了低归纳偏置编码器（MLP）与高归纳偏置编码器（旨在镜像生成过程的反向模型）。
- 指标： 线性可辨识度（ $R^2$ ）、平均相关系数（MCC）和角度保持误差（APE）。
- 条件： 保持多样性（全支撑）对比违反多样性（固定维度）。
CIFAR-10 实验： 使用 SimCLR 结合三种架构（MLP、ViT、ResNet-18）以及不同的增强方案（全部增强、仅裁剪、全部但不含裁剪）。
- 目标： 定性考察在潜在真值未知的情况下，架构归纳偏置如何补偿有限的采样多样性。

关键结果

理论发现

多样性的必要性： 多样性条件对于等距潜在空间恢复是必要的。当该条件被违反时，对比目标本身无法恢复潜在几何结构，即使拥有无限的数据和极具表达能力的编码器也是如此。
标准 InfoNCE 的失效： 在违反多样性的情况下，标准 InfoNCE 损失会倾向于几何畸变映射，而非正交映射。
支撑集修正的作用： 使用支撑集修正后的 InfoNCE 目标（从受限流形中采样负样本）可以恢复等距解的可实现性，但不能保证其被选中。如果没有额外的约束，解空间仍然是非唯一的。
归纳偏置的补偿作用： 当采样多样性不足时，架构的归纳偏置变得至关重要。高归纳偏置编码器（即接近生成过程逆过程的编码器）即使在多样性条件被违反时也能恢复潜在结构，而低归纳偏置编码器则会失败。

实证发现

合成实验结果：
- 多样性保持： MLP 编码器实现了接近完美的线性可辨识度（ $R^2 \ge 0.99$ ），证实了当满足多样性条件时，具有表达能力的编码器可以恢复潜在几何。
- 多样性违反： MLP 的性能崩溃（大多数过程的 $R^2 \in [0.05, 0.13]$ ）。相比之下，逆向编码器（高归纳偏置）保持了高水平的恢复性能（ $R^2 \ge 0.88$ ）。
- 适配型 InfoNCE： 应用支撑集修正后的损失函数只能部分恢复 MLP 的性能（ $R^2 \approx 0.60\text{--}0.65$ ），但无法达到高归纳偏置编码器的性能，这证实了仅靠损失函数修正是不够的，无法实现唯一选择。
CIFAR-10 实验结果：
- 更广泛的采样支撑（“All”增强）在所有架构中都带来了最高的下游准确率。
- 更高的归纳偏置（ResNet-18 > ViT > MLP）一致地提升了性能。
- 交互效应： 随着多样性条件被日益违反（例如，“All w/o crop”），不同架构之间的性能差距会扩大。在受限采样下，高归纳偏置的 ResNet-18 显著优于低归纳偏置的 MLP，这表明架构先验在采样多样性有限时至关重要。

意义与主张

本文声称提供了一个严谨的框架，用于理解对比学习成功与失败的机制。其主要贡献包括：

形式化多样性条件： 将其与先前工作中使用的全支撑 vMF 假设区分开来，并证明了该条件的违反会从根本上改变优化景观，使得保持几何结构的解在标准目标下不再是最优解。
澄清归纳偏置的角色： 确立了当采样多样性有限时，架构归纳偏置不仅是启发式的改进，更是恢复有意义潜在结构的必要机制。
损失修改的局限性： 表明虽然通过修正支撑集不匹配使等距解变得可实现，但这并不能保证其被选中，从而强化了归纳偏置的必要性。

作者总结道，采样机制与编码器归纳偏置之间的相互作用共同决定了表示质量。他们建议，增强流水线和编码器架构的设计应由这种理论一致性来指导，从而可能减少由于试错实验导致的计算浪费。这项工作并不声称解决了所有的可辨识性问题，而是阐明了对比学习在恢复潜在几何结构时成功与失败的具体条件。