技术摘要：宽特征学习神经网络的规范正则化

问题陈述

在特征学习机制（即网络主动学习表征，而非表现为固定核机）下运行的宽神经网络是现代深度学习的引擎。然而，对这些网络的理论理解远远滞后于核机制（由神经切线核 NTK 形式化）。关于梯度流训练所诱导的隐式正则化和函数空间先验，存在一个关键缺口。

在核机制中，已确立梯度流会选择最小化从初始化出发的参数空间平方距离（锚定岭回归，$\|\theta - \theta_0\|^2$）的唯一解。这一性质支撑了神经网络与高斯过程（NN-GP）的对应关系，使得 principled 的噪声建模和不确定性量化成为可能。然而，实践者通常默认对特征学习网络应用标准权重衰减（$\|\theta\|^2$）或锚定岭回归。本文认为，这些正则化项在特征学习机制中在几何上是不对齐的，导致一种“静默”偏差，扭曲了网络的归纳偏置，特别是在预训练特征具有信息量的迁移学习场景中。

方法论与理论框架

作者开发了一个几何框架，用于刻画满足均匀雅可比条件假设（假设 2.1）的过参数化网络的参数空间动力学。该假设认为，在插值解的邻域内，雅可比矩阵 $J(\theta)$ 的奇异值被限制在远离零和无穷大的范围内。

1. 几何分解

作者将插值解周围的参数空间 $\Theta$ 分解为三个关键对象：

• 流轨道（$O_{flow}$）： 从初始化 $\theta_0$ 出发，通过梯度流可达的所有参数集合。在特征学习机制中，这可能是一个高维的子黎曼集。
• 规范固定流流形（$M_{flow}(\theta_0)$）： 流轨道内的一个特定 $n$ 维子流形，包含实际实现的梯度流轨迹。它充当插值解附近函数空间的参数空间图表。
• 输出纤维（$\Theta(c)$）： 垂直于流流形的方向，在这些方向上训练预测 $g(\theta)$ 保持不变，但对未见输入的预测可能发生剧烈变化。

2. 岭回归正则化的病理

本文证明，在特征学习机制中，流流形 $M_{flow}(\theta_0)$ 是弯曲的，这与核机制中的仿射子空间不同。

• 锚定岭回归的失效： 锚定岭回归的梯度 $-2(\theta - \theta_0)$ 是一条欧几里得弦。在弯曲流形上，该梯度会获得沿输出纤维（垂直于流方向）的分量。
• 后果： 随着正则化强度 $\lambda \to 0$，解并不会收敛到未正则化的梯度流极限 $\theta^*$。相反，正则化梯度会沿纤维拉动参数，扭曲隐式先验，并可能破坏预训练期间学到的有用归纳偏置。这在定理 3.1中得到了形式化。

3. 规范正则化的公理化推导

为了解决这一问题，作者将规范函数空间能量公理化，定义为在梯度流动力学下，将网络输出从初始化传输到目标所需的最小控制论能量。

• 唯一性： 通过施加等距不变性和正交可加性公理，他们证明在核机制中，该能量唯一对应于平方 RKHS 范数（恢复锚定岭回归）。
• 推广： 通过定义 4.3将该能量提升到参数空间，得到测地岭回归正则化项：
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  这测量了沿流流形的平方测地距离加上沿输出纤维的测地距离。
• 隐式先验： 对应的函数空间先验被识别为黎曼吉布斯过程，它将 NTK 高斯过程推广到弯曲几何。

4. 弧岭回归：一种实用的代理

由于计算测地距离在大规模下是不可行的，作者提出了弧岭回归作为极小极大鲁棒的代理。

• 定义： 弧岭回归是训练轨迹的平方总路径长度：$L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$。
• 性质： 它是测地岭回归的上界，保留了沿实际梯度流方向的“无偏差”属性，并且在精确梯度流下形式上等价于早停。它不需要二阶信息，仅在训练过程中累积单个标量（路径长度）。

关键结果

1. 标准正则化项的偏差： 本文证明，标准岭回归和锚定岭回归都会在特征学习机制中使梯度流极限产生偏差（定理 3.1）。即使正则化强度消失，这种偏差依然存在，导致解沿训练损失不可见的输出纤维漂移。
2. 测地岭回归作为规范解： 作者推导出测地岭回归是唯一与特征学习网络几何结构对齐的正则化项，确保消失的正则化极限能够恢复未正则化的梯度流解（定理 4.2）。
3. 弧岭回归等价性： 弧岭回归被证明是测地岭回归的一个紧致且可处理的上界。关键的是，已证明在精确梯度流的极限下，它等价于早停（命题 F.4），为将早停作为一种几何感知正则化技术提供了理论依据。
4. 实证验证： 在迁移学习任务上的实验（使用 ResNet18 在 UTKFace 上进行年龄回归；使用 DistilBERT 在 Yelp 上进行评论评分回归）表明：
   • 在高正则化强度下，标准岭回归和锚定岭回归会导致测试性能显著下降，原因是破坏了预训练先验。
   • 弧岭回归仅出现轻微下降，这与良性欠训练一致。
   • 在低正则化强度下，所有方法均收敛，因为早停主导了偏差。

意义与主张

本文声称提供了第一个原则性框架，用于理解和纠正宽特征学习网络中梯度流的隐式偏差。其主要贡献包括：

• 几何洞察： 它确定了流流形的曲率是欧几里得基础正则化项（如锚定岭回归）在特征学习机制中失效的根本原因。
• 理论统一： 通过将黎曼吉布斯过程识别为规范先验，将测地岭回归识别为规范正则化项，它将 NN-GP 对应关系推广到了特征学习机制。
• 实际解决方案： 它提出了弧岭回归（平方路径长度）作为一种可扩展、极小极大鲁棒的替代方案，与训练几何结构保持一致。这揭示了早停与规范正则化之间深刻且此前未形式化的关系，表明早停不仅仅是一种启发式方法，而是一种保持几何结构正则化策略。

作者强调，虽然他们的理论假设了均匀雅可比条件（在附录 H 中通过实证验证），但几何直觉解释了诸如微调期间预训练表征的退化以及“顿悟”（grokking）现象等现象，为深度学习中更鲁棒的正则化策略提供了一条路径。