🤖 machine learning

Random Label Prediction Heads for Studying Memorization in Deep Neural Networks

本文引入了随机标签预测头（RLP-heads）作为一种衡量网络层间记忆化和拉德马赫复杂度（Rademacher complexity）的新颖方法，揭示了减少记忆化并不总能提高泛化能力，并挑战了过拟合与记忆化之间的传统等价关系。

原作者： Marlon Becker, Jonas Konrad, Luis Garcia Rodriguez, Benjamin Risse

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Marlon Becker, Jonas Konrad, Luis Garcia Rodriguez, Benjamin Risse

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个超级聪明的学生正在参加考试。通常，我们会担心这个学生只是在死记硬背答案，而不是真的在学习知识。如果他们背下了答案，他们在练习测试中能拿到100%，但因为题目稍有变化，他们在真正的考试中就会失败。这被称为“过拟合”或“记忆”，长期以来，科学家们一直认为这总是一件坏事。

但如果记住一些东西其实是有帮助的呢？这就是这篇论文所探讨的核心问题。

神奇的“随机标签”帽子

为了弄清楚学生是否在死记硬背，研究人员给学生戴上了第二顶奇怪的帽子：一个随机标签预测头（RLP-head）。

它是这样工作的：

主任务： 学生学习一个正常的数据集（比如猫和狗的照片）来学习真实的标签。
秘密测试： 与此同时，研究人员秘密地为每一张照片分配一个随机生成的、虚构的数字（比如把猫标记为“标签42”，把狗标记为“标签7”）。
帽子的职责： RLP-head 试图根据学生目前学到的知识来猜测这些随机数字。

如果 RLP-head 能很好地猜中这些随机数字，就意味着学生已经记住了每一张图片的具体细节。这就像是学生记住了“5号照片里的那只猫耳朵上有一道小划痕”，这对于了解“什么是猫”毫无用处，但对于猜出分配给那张特定照片的随机数字却非常完美。

研究人员发现，这种随机猜测的准确率是衡量模型是在“学习”还是在“记忆”的一个极佳指标。他们认为这可以作为衡量模型复杂度的标尺，类似于数学中一个难以直接计算的概念——Rademacher 复杂度，而这种方法以一种更实际的方式测量了它。

转折点：有时记忆是有益的！

这里是故事变得有趣的地方。研究人员尝试通过添加一种“惩罚”（正则化项）来阻止学生记忆这些随机数字，每当 RLP-head 猜对时就会进行惩罚。他们想要迫使学生忽略微小的细节，转而关注宏观的整体。

在大规模数据集（如 ImageNet）上的结果：
当他们在拥有数百万张图片的巨大数据集上进行测试时，这种惩罚起到了完美的效果。学生停止了对随机数字的记忆，练习分数与真实测试分数之间的差距缩小了，并且他们的测试准确率实际上提升了 1.5%（达到了 68.5%）。

教训： 在大规模、采样充分的数据集上，记忆特定的细节通常只是噪声。阻止这种记忆有助于模型更好地泛化。

在较小数据集（如 CIFAR-100）上的结果：
但是，当他们在较小的数据集上尝试同样的惩罚时，情况却变糟了。学生停止了对随机数字的记忆，但他们的测试准确率反而下降了。

教训： 在较小的数据集上，学生记忆的那些“噪声”可能实际上是重要的！也许那些特定的细节是识别该组中某种稀有动物的唯一途径。通过强迫学生忽略它们，模型失去了识别这些棘手案例的能力。

作者指出，记忆并不总是敌人。他们表明，在某些情况下（例如小型数据集），阻止记忆会损害性能。如果数据集是“欠采样”的（即某些事物的例子不够多），模型需要记住这些特定的例子才能表现出色。如果你阻止它记忆，它就会忘记那些稀有的案例并导致失败。

记忆去了哪里？

研究人员还观察了这种记忆发生在“大脑”（或网络）中的哪个位置。他们发现，如果惩罚最后一层进行记忆，记忆并不会消失——它只是转移到了更早的层级。

这就像如果你告诉一个学生，“不要死记硬背最终答案”，他们可能会开始死记硬背中间步骤。研究人员发现，当他们惩罚最后一层时，前面的层级开始更好地预测真实的类别，尽管最后一层正被强制要求保持“干净”。这表明网络具有灵活性，可以转移存储信息的位置。

他们排除了什么

论文明确反对了记忆总是不好的旧观点。他们展示了在某些情况下（如小型数据集），阻止记忆会损害性能。他们还展示了仅仅缩小模型规模或添加标准规则（如 Dropout）并不总能按预期解决问题；有时，一点点记忆对于模型发挥作用是必要的。

他们有多确定？

作者对他们的测量非常有信心。他们通过实验证明了：

RLP-head 的准确率可靠地追踪了记忆程度（他们通过冻结网络并只训练“帽子”进行了测试，这证实了信号来自于网络的记忆，而不是帽子本身）。
在 ImageNet 上惩罚记忆可以提高测试得分（提升了 1.5%）。
在 CIFAR-100 上惩罚记忆会降低测试得分。

然而，他们建议（而非用数学定理证明）造成这种相反结果的原因在于数据的采样方式。他们假设，当数据稀缺时，记忆充当了稀有样本的“安全网”，而移除这个安全网会导致模型跌落。

总结

这篇论文引入了一个聪明的工具（RLP-head），让我们能够窥探神经网络内部，看清它到底在记忆多少东西。最大的惊喜是？记忆不是反派，它是一种工具。如果你拥有一座数据的金山，你应该阻止模型去死记硬背。但如果你只有寥寥几个例子，你可能需要模型记住每一个细节才能成功。关键在于知道你处于哪种情况之中。

技术摘要：用于研究深度神经网络中记忆现象的随机标签预测头

问题陈述

现代深度学习模型的特征是极度的过度参数化，这使得它们容易出现过拟合。虽然数据增强和显式正则化等策略存在，但它们通常旨在解决实际的泛化问题，而无法为过拟合的机制提供深刻见解。最近的研究发现（例如 Zhang 等人，2021）表明，最先进的模型可以完美拟合分配了随机标签的数据集，这表明模型具有记忆样本特定、任务无关信息的能力。

理解这种记忆如何与现实世界任务中的泛化相互作用，目前存在一个关键空白。传统理论通常将过拟合等同于记忆，认为后者本质上是有害的。然而，“双下降”（double descent）现象以及关于长尾分布的观察表明，两者之间的关系更为微妙。此外，现有方法缺乏一种机制，能够在不改变主要任务性能的情况下，在标准训练过程中显式地测量和调节记忆。

方法论

作者提出了一种结合 随机标签预测头（RLP-heads） 的混合方法，用于探测和正则化记忆。

1. 架构与机制

RLP-Head： 一个辅助预测头被附加到特征提取器（通常位于倒数第二层之后，但也可以放置在任意深度）上，与标准的分类头并行。
随机标签： 在训练开始时，为每个训练样本分配一个固定的随机标签。这些标签与真实的类别标签无关。
训练动态：
- RLP-head 被训练用于预测这些随机标签，使用标准的交叉熵损失（ $L_{rnd}$ ）。
- 只有 RLP-head 会接收来自 $L_{rnd}$ 的梯度；主分类头不受随机标签目标的影响。
- 解释： RLP-head 预测随机标签的准确率可以作为模型 Rademacher 复杂度 的经验估计。高随机标签准确率表明网络有足够的容量来记忆任意模式，反映了高模型复杂度。

2. 正则化策略

为了主动控制记忆，作者引入了一个 记忆正则项（ $L_{reg}$ ）：

目标： 正则项并不旨在最小化随机标签上的误差，而是惩罚 RLP-head 对其进行正确预测的行为。
公式： $L_{reg} = \log(1 - \hat{p}_{\hat{y}})$ ，其中 $\hat{p}_{\hat{y}}$ 是随机标签的预测概率。这反转了标准的交叉熵逻辑，并放大了对随机标签置信预测的惩罚。
梯度流： 来自 $L_{reg}$ 的梯度仅回传到特征提取器，而不是 RLP-head 本身。这迫使特征提取器学习一种不会让 RLP-head 通过随机标签区分单个样本的表示，从而有效地抑制了样本特定特征的学习。

核心贡献

将 RLP-Heads 作为探测工具： 引入 RLP-heads 作为一种方法，用于经验性地测量层级化的记忆和模型复杂度，而无需在随机标签上重新训练整个网络。
验证该指标： 证明了随机标签准确率与已建立的复杂度正则化方法（Dropout、权重衰减、标签平滑）相关联，并作为 Rademacher 复杂度的有效代理。
新型正则化技术： 一种通过惩罚 RLP-head 的性能来显式约束记忆的方法，从而调节特征提取器的容量，使其无法编码样本特定信息。
重新评估记忆的角色： 通过经验证据挑战了“记忆总是有害”的假设，表明记忆既可能阻碍也可能促进泛化，这取决于数据集的采样情况。

实验结果

1. 记忆动态

层级分析： 在 ImageNet 上训练的 Vision Transformer (ViT) 中，随机标签准确率随网络深度增加而上升。早期层显示出接近零的准确率，而深层则达到约 70%，这表明记忆发生在抽象的特征表示中。
时间演化： 随机标签准确率在训练准确率与测试准确率发生分歧之前略有上升，这表明记忆在训练过程的早期阶段就开始了。

2. 正则化对泛化的影响

抑制记忆的效果因数据集和模型而异：

ImageNet (ViT-B/32)： RLP 正则化成功降低了随机标签准确率（即记忆）。这导致训练准确率下降，但 测试准确率显著提高（高达 +1.5%），缩小了训练与测试之间的差距。这符合经典理论，即记忆会损害泛化。
CIFAR-100 (WideResNet-16-4)： RLP 正则化减少了记忆，但 降低了测试准确率，即使在正则化因子很小时也是如此。训练准确率保持稳定。这与“减少记忆总能带来更好泛化”的经典观点相矛盾。

3. 数据集采样的角色

作者假设，记忆的双重作用是由 采样效应 驱动的：

充分采样的分布（如 ImageNet）： 抑制记忆会迫使模型学习共享的类别级特征，从而提高泛化能力。
欠采样分布（如 CIFAR-100、长尾分布）： 在样本较少的区域，记忆特定实例对于捕捉真实的数据分布是必要的。抑制记忆会迫使模型依赖于不足采样导致的伪造共享特征或人工痕迹，从而损害泛化。
证据：
- 在 ImageNet 子集上，只有当可用数据比例较大时，正则化器才会提高测试准确率。
- 在长尾数据集（ImageNet-LT）上，抑制记忆会阻止模型正确预测稀有类别。
- 添加标签噪声：在这种情况下，记忆纯粹是有害的。正则化器一致地提高了测试性能，证实了当记忆不具备任何分布意义时，它会阻碍泛化。

4. 记忆的转移

当 RLP 正则化仅应用于最后一层时，记忆并未被消除，而是 转移到了更早的层。网络通过在较早层将样本特定特征转化为类别相关信息，以绕过正则化。在所有层应用正则化可以抑制这种转移，但并不一定会提高测试准确率，这表明一定程度的早期层记忆可能是有益的。

意义与主张

本文声称提供了一个 受控框架，用于研究和调节深度神经网络中的记忆。通过将随机标签准确率解释为 Rademacher 复杂度的经验代理，作者提供了一种直接衡量模型容量和样本级记忆的方法。

其主要意义在于挑战了过拟合与记忆之间的传统等价关系。作者提出，记忆并非本质上有害；相反，其对泛化的影响取决于数据集是否被充分采样。在欠采样机制下，记忆特定样本可能是实现对同一分布中未见数据进行泛化的唯一途径。

这项工作表明，RLP-heads 及其衍生的正则化器 是有效的工具，可用于：

诊断网络中何时以及在哪里发生记忆。
在采样良好的场景下，通过显式减少记忆来提高泛化能力。
理解在数据稀缺使得记忆成为必要组成部分时的权衡问题。

作者总结道，这些发现要求我们提出新的假设，以调和现代深度学习中看似矛盾的结果，从而超越将记忆仅仅视为误差来源的二元论观点。