📊 statistics

How does feature learning reshape the function space?

本文表明，两层神经网络中早期阶段的特征学习通过将特征分布转化为依赖于目标的尖峰高斯分布，从根本上重塑了所诱导的函数空间，从而生成一种数据自适应核，该核选择性地放大与信号对齐的方向并混合特征函数，而非仅仅对固定核进行重缩放。

原作者： João Lobo, Bruno Loureiro, Long Tran-Than, Fanghui Liu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： João Lobo, Bruno Loureiro, Long Tran-Than, Fanghui Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人在一个堆满家具、混乱不堪的巨大房间里识别特定模式。

旧方法（固定核）：
传统上，你可能会给机器人一张预先制作好的、僵硬的房间地图。这张地图有固定的规则：“如果你看到椅子，就往这里看；如果你看到桌子，就往那里看。”机器人只能通过调整它信任这张固定地图中各个部分的程度来学习。这就像在一个书架永远不动的图书馆里寻找一本特定的书；你只能改变从书架上取哪本书，而无法改变书架本身的位置。这就是神经网络中“懒惰训练”的样子——特征（即地图）保持冻结状态。

新方法（特征学习）：
现代神经网络则不同。它们不仅仅是调整固定地图上的权重，而是实际上移动了书架。它们学会重新布置房间本身，使目标模式更容易被找到。这篇论文问道：当机器人迈出学习的第一步时，它究竟是如何移动书架的？

以下是该论文发现的要点，使用了简单的比喻：

1. “尖峰”地图

研究人员观察了机器人在完成一次巨大的学习步骤（即“梯度步”）后会发生什么。他们发现，机器人对房间的内在地图以一种非常特定的方式发生了变化。

想象房间是一片巨大的、平坦的草地（代表随机数据）。在学习之前，机器人看到的草地是完美均匀的。在一次巨大的学习步骤之后，机器人突然看到在它所寻找的答案的确切方向上，地面上竖起了一根巨大的、发光的尖峰。

论文证明，这张新地图不仅仅是旧地图的轻微调整版本。它就像机器人的感知被一种“依赖于目标”的力所扭曲。这就像戴上了一副特殊的眼镜，使得答案的方向看起来巨大而明亮，而其他一切则保持相对正常。

2. 重塑“函数空间”

用数学术语来说，论文谈论的是“函数空间”。让我们称之为可能性的游乐场。

学习之前： 游乐场是一片平坦、毫无特征的田野。你走的任何路径与其他任何路径一样可能。
学习之后： 游乐场被重塑了。地面倾斜了。通往答案的路径变成了平滑、宽阔的高速公路。而背离答案的路径则变成了陡峭、崎岖的悬崖。

论文表明，这种重塑并非随机。它具体放大了数据中与答案相匹配的“方向”（即“信号”），并将不同类型的模式混合在一起，使其更易于学习。

3. “混合”效应

最有趣的发现之一是机器人如何组合不同类型的模式。
想象机器人正在尝试学习一个复杂的形状（比如一条曲线）。

旧观点： 机器人可能会尝试分别学习“直线”部分和“曲线”部分。
新观点（特征学习）： 论文表明，机器人的学习过程将直线与曲线混合在一起。它创造了一种新的、混合的模式，这种模式完美地针对答案进行了调整。

具体来说，对于常见的"ReLU"激活函数（人工智能中的标准工具），机器人将最简单的模式（指向答案的直线）与稍复杂的模式（曲线）混合在一起。这产生了一个超级模式，其解决问题的能力远胜于单独的任何一部分。

4. 步幅的大小很重要

论文还发现，机器人学习步幅的大小会改变结果。

小步幅： 机器人进行微小的调整。地图发生了一点变化，但基本上还是那张旧地图。
大步幅： 机器人迈出了一大步。这导致了游乐场的巨大重塑。答案方向上的“尖峰”变得非常显著，模式的混合也变得更加激进。

核心结论

论文得出结论：特征学习不仅仅是调大固定广播电台的音量（重新缩放固定核）。相反，它就像重新布线收音机本身，以调谐到与你想要听到的音乐相匹配的新频率。

通过迈出单一的巨大一步，神经网络从根本上改变了其内部景观。它扭曲了对数据的感知，以突出那些重要的特定特征，有效地“跳过”了学习的早期缓慢阶段，直接为手头的问题创建了一张定制的地图。

技术摘要：特征学习如何重塑函数空间

1. 问题陈述

现代神经网络（NN）与固定核方法（如随机特征模型或懒惰训练机制）的区别在于其能够进行特征学习——即在训练过程中调整内部表示以适应数据结构。尽管神经网络的成功常归因于这一机制，但特征学习对诱导函数空间的确切影响仍知之甚少。现有的核方法与神经网络的表征大多是静态的；它们描述了初始化时或无限宽极限下的函数空间，但未能解释训练算法（特别是梯度下降）如何动态地重塑这一空间。

本文探讨的问题是：在梯度更新下，核（及其相关的函数空间）如何演化，以及逐步学习了哪些信息？ 作者聚焦于在 Gaussian 单指数模型上训练两层神经网络的早期阶段，该设定已知能捕捉高维比例区域中可学习的最一般函数类。

2. 方法论

作者分析了在两层网络的第一层权重上执行单次大梯度下降步后函数空间的演化。该设定涉及：

数据模型：Gaussian 单指数模型 $y_i = g(\langle w^*, x_i \rangle) + \epsilon_i$ ，其中 $x_i \sim \mathcal{N}(0, I_d)$ 。
网络架构：两层网络 $f(x) = \frac{1}{\sqrt{m}} \sum_{j=1}^m a_j \sigma(w_j^\top x)$ ，激活函数为 ReLU 或一般 Lipschitz 激活函数。
训练机制：“比例区域”，即样本数 $n$ 、隐藏单元数 $m$ 和维度 $d$ 以固定比率增长至无穷大（ $\alpha = n/d, \beta = m/d$ ）。步长 $\eta$ 按 $\Theta(d^\zeta)$ 缩放，其中 $\zeta \in [1/2, 1)$ ，允许显著的权重更新。
两阶段训练：
1. 特征学习：更新第一层权重 $W$ ，同时保持第二层 $a$ 固定。
2. 线性读出：在新一批样本上通过岭回归优化第二层权重。

核心分析方法包括表征更新后的特征分布并推导由此产生的数据自适应核。作者利用随机矩阵理论、积分算子的谱分析以及类泰勒展开，将更新后的核与初始各向同性核联系起来。

3. 主要贡献与结果

A. 由目标依赖的尖峰高斯分布近似

论文证明，在大梯度步之后，学习到的特征分布可由目标依赖的尖峰高斯分布很好地近似。具体而言，特征权重的协方差矩阵从各向同性形式转变为：
$\Gamma = A I_d + B w^* (w^*)^\top$
其中 $A$ 和 $B$ 是依赖于步长、数据维度和链接函数 $g$ 的常数。这导致了一个数据自适应核 $k_1$ ，其可表示为：
$k_1(x, x') = k_0(\Gamma^{1/2}x, \Gamma^{1/2}x')$
该公式将特征学习解释为参数空间（移动权重分布）或输入空间（转换数据表示）中的分布变换。

B. 谱展开与核变形

作者对围绕初始各向同性核 $k_0$ 的新核 $k_1$ 进行了泰勒展开。他们证明，“尖峰”（即与 $w^*$ 对齐的秩一更新）引入了随维度增长而消失的高阶项，仅留下主导的一阶扰动。

结果：特征学习过程有效地施加了一个额外的、依赖于目标的核分量。
机制：该分量选择性地放大与目标方向 $w^*$ 对齐的特征值，并混合主导特征函数。

C. ReLU 激活函数的显式表征

针对 ReLU 激活函数的具体情况，作者提供了精确的谱分析：

线性特征空间：与目标对齐的线性函数 $\psi^*(x) = \langle x, w^* \rangle$ 的特征值获得选择性提升。与 $w^*$ 正交的线性函数不受影响。
主导特征空间混合：更新后算子的主导特征函数不再是初始核中的常数谐波，而是变为常数径向模式（ $Y_0$ ）与与信号对齐的二次谐波（ $Y_2$ ）的叠加。
耦合：这揭示了特征学习将主导径向模式与对齐信号的二次谐波耦合起来，有效地重塑了函数空间的几何结构，以优先处理包含信号的方向。

D. 数值验证

合成数据上的实验证实了理论发现：

对齐：随着尖峰强度 $B$ 的增加，更新后核（ $k_1$ ）的主导特征向量显示出与二次特征 $Y_2$ 的对齐度增加，而初始核（ $k_0$ ）则未表现出此类对齐。
泛化：经过单次梯度步训练的神经网络收敛至尖峰核 $k_1$ 的性能，在学习目标函数方面优于固定核 $k_0$ ，特别是在目标包含非线性分量时。

4. 意义与主张

本文提供了关于早期阶段特征学习的精确函数空间视角。其主要主张是：梯度下降不仅仅是重新缩放固定核；相反，它诱导了函数空间的数据自适应变形。

学习机制：特征学习被表征为一种变换，该变换优先增强函数空间中与数据中信号对齐的方向。
步长依赖性：这种变换的幅度受步长调节；较大的步长会诱导更强的变形，并增加线性和高阶非线性特征的贡献。
理论桥梁：这些结果弥合了数据自适应核与神经网络之间的差距，表明特征学习的“魔力”可以通过核的谱结构如何被修改以与目标函数对齐这一视角来理解。

作者总结道，理解这些分布偏移提供了一条潜在途径，即通过直接使用这些自适应核初始化网络来“跳过”早期训练阶段，尽管他们指出这是未来研究的方向，而非当前工作中已演示的应用。