Learning reshapes power-law anisotropy in internal representations

技术摘要：学习重塑内部表示中的幂律各向异性

问题陈述
内部表示特征谱中的幂律各向异性是广泛观察到的几何特性，存在于从小鼠大脑皮层到大型语言模型的多种神经系统中。这种各向异性表现为特征值随秩次的幂律衰减，并与编码效率、鲁棒性和泛化能力相关。然而，现有的理论框架大多将幂律指数视为继承自输入统计特性的固定量，或假设其在训练期间保持静态。因此，任务驱动的学习如何重塑这些谱系，以及指数如何响应输入结构和教师信号进行动态演化，目前仍不明确。具体而言，尚不清楚内部表示仅仅是继承了输入的幂律，还是经历了非平凡的形变，以及这种变化如何取决于学习机制（特征学习机制 vs. 线性化机制）。

方法论
为了解决这些问题，作者分析了一个教师-学生设置下的宽两层线性神经网络。该模型定义了输入维度 $D$、隐藏层宽度 $N$ 和输出维度 $P$，其中 $P=D \ll N$ 且 $N \to \infty$。

• 输入与教师结构： 输入协方差矩阵和教师 Gram 矩阵被假设在同一个正交基下是对角化的，其特征值以指数 $\alpha$（输入）和 $\beta$（教师）遵循幂律衰减。
• 动力学： 网络通过均方误差进行群体梯度流（population gradient flow）训练。虽然输入-输出映射是线性的，但权重的联合训练在内部表示中诱导了非线性动力学。
• 分析方法： 作者推导了在无限数据和无限宽度极限下，内部表示核（第一层权重的 Gram 矩阵）特征值的精确时间演化过程。他们将谱系分解为初始化成分（继承自输入）和教师衍生成分（通过学习形成）。
• 机制分析： 研究区分了特征学习机制（权重发生显著变化）和线性化机制（权重保持在初始化附近），并由参数 $\gamma_0$ 进行控制。
• 验证： 理论预测通过有限宽度的线性网络以及具有非线性激活函数的非线性网络的数值模拟得到了验证。

核心贡献与结果
本文提供了关于内部表示的局部幂律指数如何在训练期间演化的精确解析表征。

1. 谱分解： 研究表明，内部表示谱 $\rho_k(t)$ 由两个加性成分组成：一个源自输入协方差（在初始化时存在），另一个是通过学习由教师信号诱导产生的。这两个成分的相对主导地位决定了谱的形状。

2. 四种渐近指数机制： 在特征学习机制中，局部有效幂律指数 $\alpha_{\text{eff}}(k, t)$ 并非静态。随着训练推进，谱系根据模式指数 $k$ 和训练时间 $t$ 展现出最多四种不同的渐近机制：

   • 区域 I（初始化主导）： $\alpha_{\text{eff}} \approx \alpha$。发生在学习诱导的变化相对于初始化而言可以忽略不计时。
   • 区域 II（早期学习，第一层主导）： $\alpha_{\text{eff}} \approx 3\alpha + \beta$。发生在学习已经开始但模式尚未完全学习，且第一层在更新中占主导地位时。
   • 区域 IIIa（已学习，第一层主导）： $\alpha_{\text{eff}} \approx \alpha + \beta$。发生在模式已被学习，且第一层承载主要学习信号时。
   • 区域 IIIb（已学习，两层共同作用）： $\alpha_{\text{eff}} \approx \alpha + \beta/2$。发生在模式已被学习，且学习分布在两层之中时。
     上述机制之间的转换是非单调的；对于固定的模式，指数可能会先变陡（瞬态地），然后随着教师信号的整合而减小。

3. 线性化机制的稳定性： 在线性化机制中，学习诱导的成分从未超过初始化成分。因此，局部指数在整个训练过程中基本保持不变（$\alpha_{\text{eff}} \approx \alpha$），表明内部表示并未显著重塑输入的各向异性。

4. 对非线性网络的泛化性： 使用非线性网络的数值实验表明，所预测的谱系转换以及特征学习机制与线性化机制之间的区别在超越线性模型后依然存在。在非线性特征学习设置中，谱系同样会在有限的模式范围内从 $\alpha$ 过渡到 $\alpha + \beta$。

意义
本文声称提供了一种解释幂律内部表示形成的通用机制。结果表明，这些表示不仅仅是输入统计特性的静态反映，而是由输入各向异性、教师信号的各向异性以及模式依赖的学习时间尺度之间的相互作用动态重塑的。

通过证明幂律指数可以采取多种渐近值并进行非单调演化，这项工作挑战了理论分析中固定指数的假设。它确立了内部表示的几何属性是数据结构与任务驱动学习动力学之间特定相互作用的结果。这一解析框架为理解微观谱几何如何与神经网络的宏观性能及缩放法则（scaling laws）相关联提供了一个起点。