Decoupling Dynamical Richness from Representation Learning: Towards Practical Measurement

本文提出了一种基于低秩偏置的计算高效且独立于性能的度量指标，用于解耦动态丰富性与表示学习，从而在不依赖准确率的条件下稳定地量化神经网络的动态特性并深入分析训练因素对其影响。

要点

这篇论文就像是在给深度学习模型做了一次“体检”，发明了一种新的**“活力检测仪”**，用来判断一个 AI 模型是在“死记硬背”还是在“真正理解”。

为了让你更容易理解，我们可以把训练 AI 模型想象成教一个学生（模型）做数学题。

1. 核心问题：成绩好 $\neq$ 学得好？

在传统的观念里，我们看一个学生学得怎么样，主要看考试成绩（准确率）。

• 情况 A（死记硬背/懒惰模式）： 学生只背下了题目的答案，或者只记住了最后一步怎么算。虽然考试能拿高分，但他其实没理解背后的原理。一旦题目稍微变个花样（测试集），他就不会了。
• 情况 B（真正理解/丰富模式）： 学生不仅记住了答案，还彻底搞懂了公式的推导过程，甚至能举一反三。这种学习过程被称为**“丰富动态”（Rich Dynamics）**。

论文的痛点在于： 以前我们很难区分这两种情况。有时候，那个“死记硬背”的学生（情况 A）考试成绩反而比“真正理解”的学生（情况 B）还要好！这就让我们误以为 A 学得更好，但实际上 A 的“学习活力”很低。

2. 新发明：DLR 指标（活力检测仪）

作者们发明了一个叫 DLR 的指标，它不看考试成绩，而是看学生**“用了多少脑细胞”**来解决问题。

• 比喻： 想象你要搬运一堆砖头（数据）。
  • 懒惰模式（Lazy）： 你叫了 100 个工人，但每个人都只搬了一点点，大家乱哄哄地一起上，效率低，而且每个人都在做重复的活。这就像模型用了太多特征，但没有聚焦。
  • 丰富模式（Rich）： 你发现其实只需要最核心的 3 个工人（特征），他们配合默契，就能完美搬完所有砖头。其他 97 个工人都闲着。这种“少而精”的状态，就是低秩（Low-rank），也就是论文说的“丰富动态”。

DLR 指标的作用： 它就像个计数器，数一数模型到底用了多少“核心特征”。

• 数值越低（接近 0）： 说明模型越“聪明”，只用了最少的特征就解决了问题（丰富动态）。
• 数值越高（接近 1）： 说明模型很“笨”，用了太多杂乱的特征（懒惰动态）。

最厉害的是： 这个指标完全不看考试成绩。哪怕模型考砸了，只要它是在“动脑筋”（用核心特征），DLR 也会告诉你是“丰富”的；哪怕模型考满分，如果是靠死记硬背（用大量杂乱特征），DLR 也会告诉你它是“懒惰”的。

3. 这个指标发现了什么新大陆？

作者用这个新指标去检查各种训练方法，发现了一些有趣的事情：

• 关于“顿悟”（Grokking）： 有时候模型训练很久都没进步，突然有一天“顿悟”了，成绩暴涨。以前我们不知道发生了什么，现在用 DLR 一看，发现就在“顿悟”的那一刻，模型突然从“懒惰模式”切换到了“丰富模式”（开始只抓核心特征了）。
• 关于“批量归一化”（Batch Normalization）： 这是一个常用的训练技巧。以前大家只知道它能让模型跑得更快、更稳。但作者发现，它其实是一个**“活力催化剂”**。加了它，模型更容易进入“丰富模式”（只抓核心特征）；不加它，模型就容易变得“懒惰”（乱用特征）。
• 关于“标签打乱”： 即使把题目和答案的对应关系全打乱（给模型看乱码），模型依然会试图去“找规律”（进入丰富模式），哪怕最后考零分。这说明**“寻找规律”是模型的一种本能**，和它能不能考好是两码事。

4. 可视化：给大脑做 CT

为了让这个指标更直观，作者还画了一些图（可视化）。

• 这就好比给模型的大脑做CT 扫描。
• 在“懒惰模式”下，扫描图显示大脑里几百个区域都在微弱地亮着（特征分散）。
• 在“丰富模式”下，扫描图显示只有几个核心区域在剧烈发光，其他区域都黑了（特征高度集中）。

总结

这篇论文的核心贡献就是：

1. 发明了 DLR 指标： 一个不看分数，只看“学习姿势”是否高效（是否抓住了核心）的尺子。
2. 解开了迷思： 证明了“考得好”不一定代表“学得好（动态丰富）”，反之亦然。
3. 提供了新工具： 帮助研究人员更好地调整训练方法（比如调整学习率、是否加批量归一化），让 AI 模型从“死记硬背”进化到“真正理解”。

简单来说，以前我们只关心**“学生考了多少分”，现在作者告诉我们：“别光看分数，看看他是不是真的在动脑子，是不是找到了解题的捷径！”**

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为《解耦动态丰富性与表示学习：迈向实用化测量》（Decoupling Dynamical Richness from Representation Learning: Towards Practical Measurement）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在机器学习中，特征学习通常从两个互补的视角理解：

• 表示视角 (Representation Perspective)：关注特征质量，即特征如何支持下游任务（如分类）并促进泛化。
• 动态视角 (Dynamics Perspective)：关注特征的非线性动态变换，即“丰富动态”（Rich Regime）与“懒惰动态”（Lazy Regime）的区别。丰富动态通常指特征在训练过程中发生显著变化，而懒惰动态则接近线性模型（如神经正切核 NTK 的线性化）。

核心问题：
虽然动态丰富性（Rich Dynamics）通常与更好的表示相关联，但两者并不总是对齐。现有的研究往往使用**预测准确率（Accuracy）**作为动态丰富性的代理指标，这导致无法独立分析两者之间的关系。此外，现有的动态丰富性度量方法（如 NTK 的变化、参数范数、神经崩溃指标等）存在计算成本高、依赖初始核、依赖标签或数值不稳定等问题，难以在实际场景中作为独立的诊断工具。

2. 方法论 (Methodology)

作者提出了一种计算高效、与性能无关的动态丰富性度量指标，称为 DLR (Dynamical Low-Rank measure)。

2.1 核心思想：低秩偏差 (Low-Rank Bias)

在丰富动态中，梯度下降倾向于学习最小数量的特征模式（即低秩表示）。作者利用这一特性，通过比较最后一层之前的特征激活与学习到的函数空间之间的对齐程度来量化丰富性。

2.2 最小投影算子 (Minimum Projection Operator, $T_{MP}$)

• 定义了一个最小投影算子 $T_{MP}$，它仅由学习到的函数空间 $\hat{H}$ 张成。
• 如果动态是“丰富”的，最后一层之前的特征（由算子 $T$ 描述）应该恰好张成这个学习到的函数空间，且维度最小（等于类别数 $C$）。

2.3 DLR 指标定义

DLR 定义为当前特征算子 $T$ 与最小投影算子 $T_{MP}$ 之间的中心核对齐 (Centered Kernel Alignment, CKA) 的补集：
$$\text{DLR} := 1 - \text{CKA}(T, T_{MP})$$

• 取值范围：$[0, 1]$。
• 含义：DLR 值越小（接近 0），表示特征空间与学习函数空间的对齐度越高，动态越丰富（低秩）；DLR 值越大，表示动态越懒惰（使用了过多的特征维度）。
• 特性：
  • 与性能无关：不依赖准确率或标签。
  • 计算高效：仅需最后一层的激活值，复杂度为 $O(p^2 C)$，远低于 NTK 方法。
  • 推广性：在特定条件下（完美分类、各向同性目标），DLR 退化为神经崩溃 (Neural Collapse) 的数学特例。

2.4 可视化方法

为了增强可解释性，作者引入了基于特征核算子 $T$ 的特征分解（Eigendecomposition）可视化：

1. 累积质量 ($\Pi^*(k)$)：前 $k$ 个特征对目标函数的解释能力。
2. 累积利用率 ($\hat{\Pi}(k)$)：前 $k$ 个特征对学习到的函数的贡献。
3. 相对特征范数 ($\rho_k/\rho_1$)：特征强度的分布。
   通过 Nyström 方法近似特征值和特征函数，可以在测试集上评估特征质量。

3. 主要贡献 (Key Contributions)

1. 提出 DLR 指标：定义了一个轻量级、性能无关的动态丰富性度量，基于低秩偏差，并证明了其与神经崩溃的理论联系。
2. 实证验证：
   • DLR 成功捕捉了已知的“懒惰到丰富”的转换现象（如 Grokking 现象、目标缩放实验）。
   • 相比现有指标（如 NTK 偏差、参数范数、NC1），DLR 在数值上更稳定，且不受初始化和标签噪声的过度干扰。
3. 揭示训练因素与动态的关系：
   • 验证了最优学习率和权重衰减通常对应更丰富的动态（更低的 DLR）。
   • 新发现：在 VGG-16 上，批归一化 (Batch Normalization) 显著促进了从懒惰动态向丰富动态的转变，并伴随着泛化性能的提升。
4. 可视化洞察：
   • 揭示了特征质量与特征强度在训练过程中的正相关性（大强度特征提升更快）。
   • 证明了即使在没有数据结构的标签打乱实验中，模型仍可能进入丰富动态（低秩偏差强于数据结构）。

4. 实验结果 (Results)

• Grokking 现象：在模运算任务中，DLR 在测试准确率突然上升（Grokking 发生）之前就开始下降，表明模型提前进入了丰富动态阶段。
• 目标缩放 (Target Downscaling)：通过缩放目标值 $y \to y/\alpha$ 控制懒惰程度。DLR 随 $\alpha$ 增大而单调增加（变得更懒惰），而其他指标（如 NC1）未能准确反映这一趋势。
• 批归一化的作用：在 CIFAR-100 上，VGG-16 无 BN 时 DLR 较高（懒惰，泛化差），有 BN 时 DLR 显著降低（丰富，泛化好）。
• 标签打乱：即使标签完全随机，ResNet18 在 CIFAR-10 上仍表现出低 DLR（丰富动态），说明动态低秩偏差是模型内在属性，不一定需要正确的数据标签。
• 可视化分析：
  • 丰富动态模型仅使用前 $C$ 个特征（类别数）即可表达目标函数。
  • 懒惰动态模型则分散地使用大量特征。
  • 中间层的低秩偏差不如最后一层明显，支持了仅分析最后一层的合理性。

5. 意义与结论 (Significance & Conclusion)

• 解耦动态与表示：该工作提供了一种独立于最终性能的工具，使研究者能够直接观察和量化训练过程中的动态特性，而不受准确率波动的干扰。
• 理论桥梁：将神经崩溃这一现象重新解释为丰富动态的一种表现形式，而非仅仅是泛化的指标。
• 诊断工具：DLR 及其可视化方法可作为诊断工具，帮助理解架构（如 BN）、超参数（如学习率、权重衰减）如何影响特征学习过程。
• 未来方向：虽然目前主要针对平衡分类任务（各向同性目标），但该方法为研究更复杂的动态（如非平衡数据、中间层动态）奠定了基础。

总结：这篇论文通过引入 DLR 指标，成功地将“动态丰富性”从“预测性能”中解耦出来，提供了一个计算高效、鲁棒且可解释的框架，用于分析和理解深度神经网络中的特征学习机制。