🤖 machine learning

On the Importance of Embedding Norms in Self-Supervised Learning

本文通过理论与实验分析，证明了尽管余弦相似度广泛流行，但嵌入范数（embedding norms）对于控制收敛速率并编码网络置信度（其中较小的范数表示非预期样本）至关重要，从而解决了关于嵌入范数在自监督学习中所扮演角色的表观矛盾。

原作者： Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《论嵌入范数在自监督学习中的重要性》（On the Importance of Embedding Norms in Self-Supervised Learning）的解释，使用了通俗易懂的语言和日常类比。

大局观：“尖刺球”问题

想象一下，你正在教一台计算机识别图片（比如猫和狗），但没有给它任何标签。这被称为自监督学习（Self-Supervised Learning, SSL）。

为了实现这一点，计算机将每张图片转化为巨大多维空间中的一个数学点。为了让数学计算成立，计算机通常会强制让这些点落在完美的、光滑的球体表面（超球体）上。它通过测量两个点之间的相似度来完成这项工作，这种相似度是基于方向（就像检查两个箭头是否指向同一个方向）来衡量的，而忽略了箭头的长度。

论文的发现：
作者发现，尽管计算机理应忽略这些箭头的长度（即“嵌入范数”），但长度实际上非常重要。事实上，训练过程自然地会让常见、易识别图片的箭头变得非常长，而让罕见或令人困惑的图片的箭头保持较短。

这使得计算机的“完美光滑球体”变成了一个**“尖刺球”**。尖刺是代表熟悉数据的长箭头，而平坦区域则是代表不熟悉数据的短箭头。

论文的两个主要规则

论文解释了关于这些“箭头长度”（范数）的两件主要事情：

1. “沉重背包”效应（收敛速度）

类比： 想象你正试图走向一个目的地（学习正确答案）。如果你背着一个沉重的背包（长箭头/范数），你的移动速度会变慢。如果你很轻盈（短箭头），你可以冲刺。

论文的内容：
数学证明，箭头越长，计算机学习的速度就越慢。具体来说，学习速度会随着箭头长度的平方而下降。

悖论（Catch-22）： 为了学习，计算机需要将箭头推向彼此。但“推挤”这个动作本身又会让箭头自然增长。
结果： 计算机陷入了一个循环：它试图学习，但学习行为本身却让“背包”变得更重，从而减慢了它的速度。

2. “信心计”（网络置信度）

类比： 把箭头长度想象成一个音量旋钮，控制着信心。

大声（长箭头）： 计算机对这张图片非常有把握。它经常看到这种类型的猫，所以它有一个强而长的信号。
安静（短箭头）： 计算机不确定。这可能是一只猫的奇怪角度，或者是一张看起来像猫的狗的照片。信号微弱且短小。

论文的内容：
箭头长度自然地编码了模型的置信度。

常见数据： 如果一张图片看起来像训练数据，箭头就会变长（高置信度）。
奇怪的数据： 如果图片完全陌生或很奇怪（分布外数据/Out-of-Distribution），箭头会保持较短（低置信度）。
数据不平衡： 如果计算机看到了 1,000 次“猫”，但只看到了 10 次“狗”，那么“猫”的箭头会变得巨大，而“狗”的箭头会保持极小。这会让计算机产生偏差且不稳定。

解决方案：如何修复“尖刺球”

作者测试了三种方法，旨在阻止箭头不受控制地增长并修复学习速度。

1. 权重衰减（系绳）

它是什么： 一种机器学习中的标准工具，它会轻轻地将权重拉回零附近。
论文的发现： 它有助于防止箭头变得过长，但这是一种缓慢且渐进的修复方式。如果你拉得太用力，计算机就会忘掉所有东西（球体会塌陷）；如果你拉得不够，箭头就会过长，导致学习变慢。

2. 切割初始化（Cut-Initialization）（起跑线）

它是什么： 在训练开始之前，作者将所有的内部数值除以一个常数（例如 3 或 9）。
类比： 想象在一场比赛开始前，大家都穿着沉重的靴子。相反，我们让他们赤脚起跑。
论文的发现： 这是一个巨大的胜利。通过从较短的箭头开始，计算机学习得更快。它从第一步起就防止了“沉重背包”问题。这种方法对于不使用“负样本”的模型（如非对比模型 SimSiam）特别有效。

3. GradScale（音量旋钮）

它是什么： 一个特殊的层，它改变了计算机学习的方式。它观察箭头的长度并调整学习步长。
类比： 如果箭头很长（背包很重），计算机就迈出一小步。如果箭头很短，它就迈出一大步。
论文的发现： 它完全抵消了“沉重背包”效应。无论箭头长度如何，它都能使学习速度保持一致。然而，论文指出这可能难以调优，并且如果数据过于混乱，有时会导致计算机感到困惑。

结果总结

问题： 自监督学习（SSL）模型自然地产生了“尖刺状”的表示，其中常见数据具有长箭头，而罕见数据具有短箭头。这减慢了学习速度并产生了偏差。
好消息： 箭头的长度实际上是一个有用的信号！它能告诉你模型的置信度。
解决方法： 你可以通过以下方式修复速度和稳定性问题：
1. 从较小的数值开始（切割初始化）。
2. 使用特殊的层根据箭头长度调整学习步长（GradScale）。
3. 精细调节你拉回权重的力度（权重衰减）。

论文得出结论：我们不应仅仅关注数据的方向；我们也必须管理它们的长度，才能使自监督学习变得更快、更可靠。

技术摘要：论嵌入范数在自监督学习中的重要性

问题陈述

自监督学习（SSL）已成为在没有监督信号的情况下学习数据表示的主流范式，特别是通过 SimCLR、MoCo、SimSiam 和 BYOL 等方法。这些方法通常依赖于优化嵌入向量之间的余弦相似度，从而有效地将学习动力学约束在一个超球面上。因此，理论分析主要集中在超球面上的点分布，并通常假设嵌入范数（ $L_2$ 归一化前的向量模长）是无关紧要的，或者仅仅是 $L_2$ 归一化的副产品。

然而，经验观察表明，嵌入范数包含与网络收敛和置信度相关的有意义信息。前人的工作指出，在余弦相似度损失下，范数会反向缩放梯度，并且范数与模型的确定性相关，但目前仍缺乏对这种关系的系统性理论和经验理解。本文旨在解决这一明显的矛盾：虽然 SSL 优化的是方向（余弦相似度），但嵌入向量的幅度（范数）在训练动力学中起到了关键且往往具有负面影响的作用。

方法论

作者结合了理论分析、受控模拟和广泛的实验研究，来调查嵌入范数在 SSL 中的作用。

理论分析：
- 本文推导了吸引项（ $L^A_{ij}$ ）和 InfoNCE 损失对嵌入向量 $z_i$ 的梯度。
- 文中证明了基于余弦相似度的损失函数的梯度与嵌入向量本身是正交的。
- 利用这些性质，作者证明了应用梯度下降步骤来最大化余弦相似度，不可避免地会增加嵌入向量的模长（范数）。
- 建立了理论界限，表明每步梯度下降导致的余弦相似度变化量与嵌入范数的平方（ $\rho^2$ ）成反比。这意味着随着范数的增长，有效学习率会呈二次方下降，从而减慢收敛速度。
模拟实验：
- 理想化收敛： 作者在超球面上的点对上模拟梯度下降，以验证较大的初始嵌入范数会导致显著更慢的收敛，从而证实了理论预测的二次方减速现象。
- 潜在类别动力学： 使用从潜在类别生成的合成数据集，模拟 SSL 训练以观察嵌入范数如何演变。他们发现，处于潜在空间密集区域（频繁观察到的样本）的嵌入具有更大的范数，而处于稀疏区域的嵌入范数较小。
经验实验：
- 置信度相关性： 在 CIFAR-10、CIFAR-100 和 ImageNet-100 上的实验表明，嵌入范数与模型置信度相关。高范数样本更有可能是分布内（in-distribution）样本、被 kNN 分类器正确分类，并与高人类标注者一致性（低熵）相关。相反，分布外（OOD）样本的范数明显较小。
- 干预策略： 本文评估了三种减轻“嵌入范数效应”（即范数增长并减慢训练的倾向）的机制：
  - 权重衰减（Weight Decay）： 标准正则化，通过惩罚大权重间接控制嵌入增长。
  - Cut-Initialization（切分初始化）： 一种新型初始化策略，在训练开始时将网络权重除以常数 $c$ ，以确保较小的初始嵌入范数，随后由权重衰减维持。
  - GradScale 层： 一个自定义的 PyTorch autograd 函数，通过将梯度按嵌入范数的 $p$ 次方进行缩放。设置 $p=1$ 可以抵消范数对梯度的反向缩放效应，从而有效地实现每个样本的学习率归一化。

核心贡献与结果

1. 嵌入范数效应与收敛性

本文确立了优化余弦相似度会产生一个“双输困境”（catch-22）：需要小的嵌入范数来实现快速收敛（以避免梯度消失），但优化过程本身却驱动这些范数增长。

结果： 理论界限和模拟证实，嵌入范数会对 SSL 收敛造成二次方减速。
结果： 权重衰减可以缓解这一问题，但过度的衰减会导致表示崩溃，而不足的衰减则会导致范数不受控制地增长，从而减慢训练。

2. 嵌入范数作为置信度指标

作者证明了嵌入范数自然地编码了模型对所学表示的置信度。

结果： 高嵌入范数对应于频繁出现的、原型化的样本以及高分类准确率。
结果： 低嵌入范数对应于稀有样本、分布外数据以及人类标注者分歧较大（高熵）的样本。
结果： 这一现象在对比学习（SimCLR）和非对比学习（SimSiam）方法中均成立，表明它是基于余弦相似度的 SSL 的内在属性。

3. 缓解策略与性能提升

本文提出并验证了管理嵌入范数的方法，展示了在训练效率和最终准确率方面的显著提升。

Cut-Initialization： 将 Cut-Initialization 与标准权重衰减结合使用，可以加速收敛并提高最终的 kNN 准确率。例如，在 CIFAR-100 上，使用 Cut-Initialization ( $c=3$ ) 的 SimCLR 比默认方法提高了约 1-2% 的准确率；而在 ImageNet-100 上，SimSiam 的增益约为 10%。
GradScale： 该方法通过显式抵消与范数相关的梯度缩放，提供了进一步的改进，特别是在类别不平衡导致嵌入范数差异可能使训练不稳定的场景中。
不平衡数据： 嵌入范数效应在类别不平衡的数据集中表现得尤为严重。所提出的干预措施（Cut-Initialization 和 GradScale）在这些场景下产生了两位数的准确率提升（例如，将 SimSiam 在不平衡 CIFAR-100 上的表现从 21.6% 提升至 31.5%）。
鲁棒性： 这些收益即使在使用 Adam 等自适应优化器时依然存在。

意义与主张

本文声称填补了文献中的空白，提供了对嵌入范数如何与 SSL 训练动力学相互作用的首次深入分析。作者认为，嵌入范数不仅仅是归一化的副产品，更是理解和优化网络行为的重要组成部分。

理论洞察： 该工作阐明了“嵌入范数效应”，表明这是基于余弦相似度优化的必然结果，会导致收敛速度呈二次方减慢。
实际效用： 研究结果表明，管理嵌入范数对于有效的 SSL 训练至关重要，特别是在非对比设置和不平衡数据场景下。所提出的 “Cut-Initialization” 和 “GradScale” 机制为提高训练稳定性和性能提供了简单且有原则的方法。
可解释性： 本文指出，嵌入范数可以作为模型置信度和样本新颖性的自然、内在度量，为在不需要额外监督信号的情况下分析 SSL 表示提供了一个新的视角。

作者总结道，虽然嵌入范数效应带来了挑战，但也提供了机遇，例如利用范数来指导对未知输入的处理或识别原型示例。他们指出，非对比架构对这些效应似乎更为敏感，这为未来的架构设计以及该效应在特定迁移学习背景下的潜在益处提出了问题。