技术摘要：利用随机矩阵理论检测长程顿悟过程中的神经网络过拟合

问题陈述

在不发生过拟合的情况下训练深度神经网络（NN）极具挑战性，而检测过拟合同样困难，特别是在无法获取训练数据、测试数据、优化器状态或训练历史的情况下。这对于开放权重的基础模型而言是一个关键问题，用户可能拥有模型权重和卡片，但缺乏判断检查点是经过稳健训练还是已对特定数据相关性发生过拟合的背景信息。

本文聚焦于顿悟（grokking）现象，即模型的训练准确率接近完美，而测试准确率在很长一段时间内保持在随机水平，随后突然提升。先前的研究主要集中在从记忆到泛化的转变，而本工作则调查顿悟后的长程机制。在此阶段，被称为**“反顿悟（anti-grokking）”**，一个已成功泛化的模型可能会丧失其保留集性能，并重新过拟合其训练数据，尽管其训练准确率仍保持在接近完美的水平。仅凭标准的训练/测试准确率曲线很难区分这种有害的“反顿悟”阶段与初始的“顿悟前（pre-grokking）”阶段（即模型尚未找到泛化解），因为这两种机制都表现出高训练准确率和低测试准确率。

方法论

作者提出了一种基于**随机矩阵理论（RMT）**的新型诊断方法，该方法仅依赖于模型的权重矩阵，无需访问数据。

核心概念：相关陷阱

该方法依赖于**自平均（self-averaging）**原理。在一个训练良好且具备泛化能力的模型中，当内部结构被随机化时，其权重矩阵应表现出与随机矩阵一致的统计特性。

1. 随机化：对于每一层的权重矩阵 $W$，其元素被逐元素打乱，生成随机化矩阵 $W_{rand}$。
2. 谱分析：计算协方差矩阵 $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$ 的经验谱分布（ESD）。
3. Marchenko-Pastur (MP) 基线：将 ESD 拟合到 Marchenko-Pastur 分布，该分布作为自平均、无相关随机矩阵的理论基线。
4. 陷阱检测：作者将**相关陷阱（Correlation Traps）**识别为显著偏离拟合 MP 分布右边缘（考虑 Tracy-Widom 波动）的特征值异常值（$\lambda_{trap}$）。
   • 定义：相关陷阱是满足 $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$ 的特征值。
   • 意义：这些异常值表明违反了自平均性，暗示层内存在即使在逐元素打乱后依然存在的结构化、非随机相关性。

区分有害陷阱与良性陷阱

由于陷阱的存在表明非自平均性，但并不 inherently 证明有害过拟合，作者引入了一种无数据的 JSD（Jensen-Shannon 散度）诊断消融测试：

• 过程：将特定的陷阱（特征向量）替换为随机向量。随后，让模型在探针输入上运行（Transformer 使用随机 token，MLP 使用高斯输入）。
• 指标：计算原始模型与消融模型输出 logit 之间的 JSD。
• 分类：
  • 有害陷阱：移除该陷阱会显著改变模型的输出分布（高 JSD）并改变测试准确率。
  • 良性陷阱：移除该陷阱对输出和准确率的影响微乎其微。

主要贡献

1. 相关陷阱的定义：作者将相关陷阱定义为打乱后的层权重矩阵中违反 Marchenko-Pastur 基线的谱异常值，作为非自平均结构的特征。
2. 反顿悟的识别：本文将“反顿悟”表征为成功泛化后的一个独特阶段，在此阶段测试准确率下降而训练准确率保持高位。该阶段在结构上不同于顿悟前阶段。
3. 相关陷阱作为诊断工具：研究表明，相关陷阱在顿悟前和顿悟期间缺失，但在反顿悟开始时出现并随数量和规模增长。
4. 与过拟合的机制联系：作者将这些陷阱与局域化（localization）（方差集中在少量坐标上）和谱凝聚（spectral condensation）（单一主导模式携带宏观方差）联系起来，这两者都阻碍了泛化误差的集中。
5. 实证验证：该方法在三种不同的架构和任务上得到了验证：
   • 在 MNIST 上的 3 层 MLP。
   • 在模加（MA）任务上的小型 Transformer。
   • 在合成组合任务上的 GPT2 风格 Transformer。
6. 在基础模型中的应用：该诊断被应用于 OpenAI 的 gpt-oss-20b 和 gpt-oss-120b 的开放权重检查点，揭示了相关陷阱的存在，表明前沿规模模型可能存在潜在的过拟合。

结果

• 阶段分离：在所有三个基准测试（MLP、MA、GPT2）中，相关陷阱的数量在顿悟前和顿悟期间实际上为零。陷阱数量的急剧增加与反顿悟阶段测试准确率的下降精确相关。
• 权重衰减控制：权重衰减（WD=0.01）的实验表明，尽管反顿悟仍然发生，但与无权重衰减设置（WD=0）相比，相关陷阱的增长和测试准确率下降的严重程度得到了显著抑制。
• 扰动鲁棒性：扰动研究证实，陷阱数量不仅仅是权重全局尺度（范数）的代理。即使改变全局权重范数，陷阱在顿悟前/顿悟期间依然缺失，仅在反顿悟期间出现。
• 机制洞察（MLP）：在 MLP 案例研究中，发现局域化的陷阱方向在像素空间中演变为“原型类”结构。这些结构导致模型依赖全局输入幅度（例如 $\|x\|^2$）而非语义数字模式，从而在打乱或高斯输入上表现出脆弱行为，同时保持完美的训练准确率。
• JSD 消融：JSD 诊断成功区分了移除后会降低模型性能（有害）的陷阱和对性能影响甚微（良性）的陷阱。

意义与主张

本文主张，相关陷阱提供了一种实用的、仅基于权重的诊断方法，用于在无法访问训练或测试数据的情况下，检测已训练模型中潜在有害过拟合的特征。

• 结构区分：主要意义在于能够结构上区分“尚未学习”（顿悟前）的模型与“已学习随后遗忘/泛化不良”（反顿悟）的模型。这两种状态通过准确率指标看起来完全相同，但在权重谱上存在根本差异。
• 基础模型筛查：在大型开放权重 LLM 中检测到相关陷阱表明，基础规模模型可能会以可通过谱分析检测到的方式意外过拟合其训练数据。
• 监管与实用价值：作者建议该方法可作为监管机构或用户评估模型安全性和鲁棒性的无偏工具，特别是在专有数据不可用的情况下。
• 局限性：作者谦逊地指出，其证据来自受控的长程顿悟设置。他们并未声称所有过拟合都会产生相关陷阱，也未断言前沿模型中陷阱的存在在没有进一步基于任务的评估的情况下能确凿证明有害行为。陷阱数量是一个预警信号，而非通用的质量评分。