🤖 machine learning

Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets

本文刻画了类别不平衡下对比学习中最优表示的几何特性，证明了虽然平衡类别呈现神经坍缩，但不平衡类别遵循一种依赖于比例的角对称性，且当不平衡程度超过特定阈值时会导致“少数类坍缩”。

原作者： Thuan Nguyen, Shuchin Aeron, D. Richard Brown III, Prakash Ishwar

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Thuan Nguyen, Shuchin Aeron, D. Richard Brown III, Prakash Ishwar

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对这篇论文的解读。

全景图：教机器人整理凌乱的衣柜

想象你正在教机器人整理一大堆衣服。机器人的任务是学习什么让“衬衫”看起来像衬衫，什么让“裤子”看起来像裤子。

在**对比学习（Contrastive Learning, CL）**中，机器人通过玩一个游戏来学习：

锚点（The Anchor）： 机器人拿起一件物品（例如一件蓝色衬衫）。
正样本（The Positive）： 它找到另一件相似的物品（另一件蓝色衬衫）。它试图在脑海中将这两者拉近。
负样本（The Negatives）： 它观察不同的物品（一条牛仔裤、一顶帽子、一只袜子）。它试图将这些物品推得离蓝色衬衫远远的。

目标是让机器人在脑海中构建一张地图，使相似的事物聚集在一起，而不同的事物彼此远离。

问题：“不平衡”的衣柜

大多数研究假设衣柜是完美平衡的：100 件衬衫、100 条裤子、100 顶帽子。但在现实世界中，衣柜是凌乱的。你可能有 1,000 件衬衫，却只有 5 条裤子和 3 顶帽子。这些就是不平衡数据集。

这篇论文的作者问道：当衣柜严重倾斜时，机器人的心理地图会发生什么变化？它还能正确分类事物吗？

主要发现：“神经崩溃”与“少数类崩溃”

这篇论文证明了当机器人试图做到最好时，它是如何组织其思维的，主要有两点：

1. “完美的簇”（类内方差崩溃）

当机器人完美学习时，它不再将每一件衬衫视为独特的。相反，它意识到：“嘿，所有这些蓝色衬衫本质上都是一样的。”

类比： 想象一群鸟。在学习之前，它们像散乱的云一样四处飞舞。学习之后，“蓝色衬衫”组中的每一只鸟都飞到了天空中的同一个确切位置。它们都坍缩成一个单点。
结果： 论文证明，对于任何类别（即使是稀有类别），机器人学习的最佳方式是将该类别中的每个项目都变成该类别的“平均值”。

2. “几何之舞”（簇的形状）

一旦机器人将所有衬衫坍缩到一个点，将所有裤子坍缩到另一个点，将所有帽子坍缩到第三个点，这些点是如何排列的？

平衡的衣柜： 如果你拥有数量相等的衬衫、裤子和帽子，这些点会排列成一个完美的对称形状（如等边三角形或完美的金字塔）。这被称为等角紧框架（Equiangular Tight Frame, ETF）。
不平衡的衣柜： 如果你的衬衫数量远多于裤子，对称性就会被打破。“衬衫”点会移动，而“裤子”和“帽子”点也会发生偏移，以容纳衬衫的重量。
发现： 论文提供了一个数学配方（一个凸优化问题），用于精确计算这些点应该位于何处才能达到最高效率，即使数量不均匀。

3. “少数类崩溃”（危险阈值）

这是最惊人的发现。作者观察了当不平衡极端时会发生什么。

场景： 想象你有 95% 的衬衫，2.5% 的裤子和 2.5% 的帽子。
现象： 论文证明，如果“少数”群体（裤子和帽子）变得太小，它们就不再具有区分度。机器人会感到困惑并决定：“裤子和帽子太罕见了，我就把它们当作完全相同的东西处理吧。”
类比： 想象广阔海洋中的两个小岛。如果岛屿变得太小，它们之间的海水就会消失，它们会合并成一个单一的微小斑点。机器人会将“裤子”点和“帽子”点坍缩成一个向量，通常指向与“衬衫”点完全相反的方向。
阈值： 作者计算出了一个特定的“临界点”（阈值）。如果多数类占据了超过约**93%**的数据（针对特定类型的学习算法），少数类将不可避免地坍缩成一个点。

他们是如何证明的

作者并非凭空猜测；他们利用复杂的数学证明了在“理想”场景下（即机器人拥有无限脑力，称为“无约束特征模型”）这种情况确实会发生。

下界： 他们为机器人表现可能达到的最坏程度设定了一个“底线”。他们证明，为了达到这个完美的底线，机器人必须将项目坍缩为其类别平均值。
凸优化： 他们表明，找到这些坍缩点的完美排列就像解决一个谜题，其中只有一个正确答案，并且你可以使用标准的数学工具找到它。
模拟： 他们使用真实图像数据（来自 CIFAR-10 数据集）运行了计算机实验。他们人为地创建了不平衡数据集，并观察机器人学习的过程。
- 结果： 计算机结果与数学完美吻合。正如理论预测的那样，在可视化中，“少数”图像物理上坍缩成了一个单点。

关键要点总结

不平衡改变了几何结构： 当数据不平衡时，学习到的特征的最佳排列不再是对称形状；它是由数据比例决定的扭曲形状。
一切都会坍缩： 为了完美学习，机器人必须使类别中的每个项目看起来完全像该类别的平均值。
极端不平衡是危险的： 如果一个类别占据过多（例如 >93%），稀有类别就会失去个性并合并成一个单点，导致机器人无法区分它们。
这是可解的： 尽管几何结构很复杂，但论文提供了一种使用凸优化来计算最佳排列的方法。

这篇论文本质上描绘了机器学习模型在从混乱且不平衡的世界中学习时，组织信息的“物理”规律。

技术摘要：不平衡数据集下广义对比学习的最佳表示

问题陈述

对比学习（CL）旨在学习表示映射，将“相似”（正样本）拉近，将“不同”（负样本）推远。虽然平衡数据集下最佳表示的几何结构已得到充分理解——表现为神经坍缩（NC），即各类均值构成等角紧框（ETF）——但类别分布不平衡下对比学习的行为仍 largely 未被刻画。现有的理论工作主要集中于：

具有特定、接近最大数量负样本（ $k \approx$ 批次大小）的 InfoNCE 损失的实证版本。
所有类别概率相等的平衡类别设置。
带有显式标签依赖损失（如 MSE、交叉熵）的分类器网络，而非广义对比学习风险。

本文旨在填补理解任意类别不平衡下广义对比学习损失最佳表示几何结构的空白，具体调查 ETF 结构是否依然存在，并识别如**少数类坍缩（MC）**等新现象。

方法论

作者采用**无约束特征模型（UFM）**框架，将最后一层特征向量视为自由优化变量，而非网络权重。这使得对全局最优解的可处理分析成为可能。

关键假设与设置

广义损失函数： 本研究考虑了一类广泛的对比学习损失，定义为 $\ell_k = \psi(\dots)$ ，其中 $\psi: \mathbb{R}^k \to \mathbb{R}$ 是严格凸且关于每个参数严格递增的。这涵盖了 InfoNCE 等流行损失。
采样分布： 分析涵盖了无监督对比学习（UCL）（负样本从整个数据集中抽取，允许“类别碰撞”）和有监督对比学习（SCL）（负样本从与锚点不同的类别中抽取）。
类别不平衡： 本文对类别概率 $\lambda_i$ 不一定相等的数据集进行建模，包括极端不平衡场景（一个多数类和多个等概率少数类）。
优化策略：
1. 下界构建： 推导了对比学习风险的紧下界 $G(M)$ ，该下界仅用类别均值向量 $M = [\mu_1, \dots, \mu_C]$ 表示。
2. 凸松弛： 将最小化风险的问题转化为在格拉姆矩阵 $A = M^\top M$ 上最小化函数 $S(A)$ 。作者证明了 $S(A)$ 在有效相关矩阵集合上是严格凸的。
3. 解析刻画： 分析唯一极小值 $A^*$ 的性质，以确定最佳类别均值的几何结构。

主要贡献

1. 广义下界与方差坍缩

本文建立了一个新的对比学习风险下界（引理 1），适用于任何严格凸、关于每个参数递增的损失函数以及任意数量的负样本 $k$ 。

类内方差坍缩： 作者证明，要达到该下界，表示映射必须将类内所有样本坍缩到其类别均值（即 $f(x) = \mu_{y(x)}$ ）。
单位范数： 最佳类别均值必须具有单位欧几里得范数。

2. 最佳类别均值的几何结构

对于表示维度 $d \ge C-1$ ：

秩亏缺： 证明了唯一的最优格拉姆矩阵 $A^*$ 是秩亏缺的，其秩最多为 $C-1$ ，即使没有显式的秩约束。
凸计算： 最佳类别均值可以通过求解格拉姆矩阵上的凸优化问题，随后进行谱分解来计算。
对称结构： 与均值构成 ETF 的平衡情况不同，不平衡类别的最佳几何结构表现出由相对类别比例决定的等角对称结构。具体而言，如果两个类别具有相等的概率，它们的均值与所有其他类别均值保持相同的内积（定理 3）。

3. 少数类坍缩（MC）现象

本文提供了对比学习中少数类坍缩的严格理论证明。

定义： 当类别不平衡极端时（具体而言，当多数类概率 $\lambda_1$ 超过非渐近阈值 $\tau$ ），所有少数类样本的最佳表示坍缩为单个向量。
阈值推导： 推导了关于类别数量 $C$ 、负样本数量 $k$ 以及损失函数 $\psi$ 的 Lipschitz 性质的少数类坍缩充分条件。
InfoNCE 具体参数： 对于 InfoNCE 损失，本文推导了无参数阈值：
- UCL 设置下， $\tau \approx 0.9292$ 。
- SCL 设置下， $\tau \approx 0.9438$ 。
  这些阈值保证了无论 $C$ 或 $k$ 如何，都会发生少数类坍缩。

4. 设置统一

结果表明，通过对概率分布进行微调，这些结论同时适用于 UCL 和 SCL 设置，从而统一了不同采样机制下对比学习的理论理解。

结果与验证

理论一致性： 推导出的下界和几何性质在数学上被证明是无约束特征模型（UFM）下最优性的必要且充分条件。
数值实验：
- 类内坍缩： 使用 ResNet-50 在不平衡的 CIFAR-10 子集（3 个类别）上的实验证实，训练后的网络将类内方差坍缩为类别均值。生成的格拉姆矩阵与通过凸优化（CVX）计算的结果相匹配。
- 少数类坍缩： 极端不平衡（ $\lambda_1 = 0.9$ ）的实验表明，少数类均值坍缩为一个与多数类均值方向相反的单一向量，验证了理论上的少数类坍缩现象。
- 几何结构： 实验证实，不平衡类别不形成等边三角形（ETF），而是形成等腰三角形，这与推导出的对称性质一致。

意义与主张

本文声称提供了广义类别不平衡下可计算的对比学习最佳表示的首次刻画。其意义在于：

推广神经坍缩： 将神经坍缩（NC）现象从平衡设置扩展到不平衡设置，表明虽然类内坍缩持续存在，但类间几何结构（ETF）并不存在。
解释少数类坍缩： 为对比学习中经验观察到的“少数类坍缩”提供理论基础，将其识别为极端不平衡下风险最小化问题的最优（尽管可能不理想）解。
计算效率： 证明了最佳类别均值可通过凸优化找到，表明高维表示空间对于学习对比学习中的最佳特征可能是低效的。
理论的鲁棒性： 确立了这些现象是损失函数几何结构和采样分布的固有属性，而非特定网络架构或训练动态的产物。

作者最后指出了开放性问题，包括当 $d < C-1$ 时（与大语言模型相关）最佳几何结构的刻画，以及对难负样本采样效应的分析。