📊 statistics

Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information

本文指出，具有随机隐藏权重的两层 ReLU 网络的 Fisher 信息矩阵的主要特征子空间对应于由阶数不超过 2 的球谐函数所张成的函数空间，这些空间共同占据了该矩阵迹的 97% 以上。

原作者： Ka Long Keith Ho, Yoshinari Takeishi, Junichi Takeuchi

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Ka Long Keith Ho, Yoshinari Takeishi, Junichi Takeuchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一台巨大而复杂的机器——一个带有"ReLU"激活函数的双层神经网络（你可以将其想象为一台只有当信号足够强时才会启动的机器）。这台机器拥有一个隐藏层，其中包含数千个随机设置且永不移动的微小齿轮（神经元）。只有最后一层齿轮是可以调整的。

本文的作者想要探究：当我们训练这台机器时，它首先会学到哪些具体的模式或形状？

为了回答这个问题，他们不仅观察机器的学习过程，还使用一种名为费雪信息矩阵的数学工具来审视其“蓝图”。你可以将这个矩阵想象成一张地图，显示机器“学习空间”中哪些方向最容易移动。就像多山的地形既有陡峭的斜坡又有平坦的山谷一样，这张地图也有“容易的路径”（大特征值）和“困难的路径”（小特征值）。

这篇论文做出了一个惊人的发现：机器 97.7% 的学习能力都集中在仅仅三个特定的“方向”或“模式”中。 无论这台机器变得多么巨大，它几乎完全忽略了其余 2.3% 的可能性。

以下是这三个主要“模式”的具体样子，用简单的方式解释如下：

1. “距离”模式

机器学到的第一个也是最强的模式，仅仅是一个点距离中心的远近。

数学表达：它学习一个与 $\|x\|$ （输入向量的长度）成正比的函数。
类比：想象你站在一个黑暗的房间里，手里拿着手电筒。机器首先学到的是，根据你距离房间中心的远近，光线会有多亮。它不在乎你具体在“哪里”（左边还是右边），只在乎你“有多远”。

2. “坐标”模式

第二组模式（共有 $d$ 个，其中 $d$ 是输入维度的数量）学习的是各个独立的方向。

数学表达：它学习一个与 $x_l$ （特定坐标的值）成正比的函数。
类比：现在，机器学会了告诉你你是在向北、向南、向东还是向西移动。它将世界分解为简单的直线。如果你在"x 轴”上移动，它会专门注意到这一点。

3. “交互”模式

第三组也是最大的一组模式，学习的是不同方向之间如何相互影响，但以一种非常特定的方式。

数学表达：它学习一个与 $x_\alpha x_\beta / \|x\|$ 成正比的函数。
类比：这就像注意到同时向北和向东移动会产生一种特定的对角线效果，但机器会通过总距离对其进行“归一化”。它学习的是两个方向之间相互作用的形状，而不仅仅是方向本身。

这为什么重要？

该论文声称，由于“容易的路径”（上述三种模式）如此占主导地位，梯度下降（训练机器的算法）会自然地优先去学习这三样东西。这就像一颗球滚下山坡；它会自然地先滚下最陡峭、最宽阔的山谷（距离模式和坐标模式），甚至不会去考虑岩石中那些微小、狭窄的裂缝（其余 2.3% 的模式）。

与“球面”的联系

作者指出，这三种模式实际上与球谐函数有关。

类比：想象一个篮球的表面。数学家拥有一套特殊的“音符”（球谐函数），可以描述球面上的任何振动。
- “距离”模式就像整个球体作为一个整体在振动（最低的音符）。
- “坐标”模式就像球体以简单的上下或左右波浪形式振动。
- “交互”模式则像是在表面上更复杂、扭曲的波浪。
  论文表明，这个随机神经网络本质上是在“演奏”这首球面歌曲的前几个音符。

他们测试了什么

作者运行了计算机模拟来证明这一点。他们构建了不同大小的这些随机机器，并检查输出是否真的与他们推导出的简单公式（如“距离”或“坐标”）相匹配。

结果：数学完全成立。随着他们增大隐藏层（更多的齿轮），机器的行为越来越接近这些简单公式。误差（机器与公式之间的差异）变得越来越小。

注意事项（局限性）

该论文非常谨慎地指出，这仅在特定条件下有效：

随机输入：机器训练的数据必须看起来像标准的“钟形曲线”（高斯分布），就像向靶子扔飞镖，大多数飞镖都落在中心。如果数据很怪异或聚集在特定的形状中，这些简单的规则可能会失效。
无限大小：该理论假设隐藏层是无限大的。在现实生活中，对于较小的机器，结果只是一个近似值，尽管模拟显示即使在合理的大尺寸下，它也能很好地工作。

总之：这篇论文揭示了一个随机且宽泛的神经网络并非混乱的杂音。它拥有一个非常清晰、简单的“声音”。当它开始学习时，它几乎只唱三种类型的歌：“我有多远？”、“我朝哪个方向走？”以及“这两个方向是如何混合的？”其余的一切都只是背景噪音。

技术摘要：基于费雪信息谱分解近似简单 ReLU 网络

问题陈述
本文研究了一个无偏置、两层 ReLU 神经网络所表示的函数空间，其中隐藏层权重随机固定，输出层权重可训练。具体而言，作者旨在识别与费雪信息矩阵（FIM）主导特征子空间相对应的特定函数形式。Takeishi 等人 [7, 8, 9] 先前的工作表明，对于此类网络，FIM 的特征值分布高度集中于前三个特征子空间，无论隐藏单元数量（ $m$ ）如何，这三个子空间共同占据了矩阵迹的约 97.7%。尽管谱特性已知，但这些主要特征子空间所诱导的具体函数空间仍未被识别。

方法论
该研究分析了一个模型，其中输入 $x \in \mathbb{R}^d$ 服从标准高斯分布 $N(0, I_d)$ ，输出为 $y = f_v(x) + \epsilon$ ，其中 $f_v(x) = X(x)^\top v$ 。这里， $X(x) = \sigma(x^\top W)$ 表示使用 ReLU 激活函数 $\sigma(\cdot)$ 的隐藏层输出，其中 $W \in \mathbb{R}^{d \times m}$ 包含独立同分布的高斯权重 $N(0, 1/m)$ ，而 $v \in \mathbb{R}^m$ 是可训练的输出权重向量。

方法论步骤如下：

谱分析：作者利用先前文献中推导出的 FIM 近似谱分解 $J = \mathbb{E}_{x}[X(x)X(x)^\top]$ $J = E_{x} [X (x) X (x)^{⊤}]$ 。他们关注对应于最大特征值的三个主导特征子空间：
- 第一个特征子空间（重数为 1），特征值约为 $(2d+1)/4\pi$ 。
- 第二个特征子空间（重数为 $d$ ），特征值为 $1/4$ 。
- 第三个特征子空间（重数为 $d(d+1)/2 - 1$ ），特征值约为 $1/(2\pi(d+2))$ 。
函数空间映射：通过在函数空间中定义内积 $\langle f, g \rangle = \mathbb{E}_{x \sim N(0, I_d)}[f(x)g(x)]$ ，作者将参数空间（ $v$ ）的近似特征向量映射到 $m \to \infty$ 极限下对应的渐近函数形式。
渐近推导：本文推导了与三个主导簇相关联的特定特征向量下 $X(x)^\top v$ 的极限，证明了其依概率收敛到涉及球谐函数的特定函数。
验证：通过在不同输入维度（ $d$ ）和隐藏层大小（ $m$ ）下的数值模拟验证了理论结果，测量了实际网络输出与推导出的渐近极限之间的平均绝对误差（MAE）。

主要贡献与结果
主要贡献在于识别了张成对应于 FIM 迹的 97.7% 的函数空间的具体基函数。当 $m \to \infty$ 时，对应于三个主导特征子空间的网络输出收敛于以下形式：

第一个特征子空间：函数收敛于与欧几里得范数成比例的径向分量：
$F_0(x) \propto \|x\|$
第二个特征子空间：函数收敛于特定坐标的线性项：
$F_l(x) \propto x_l \quad \text{对于 } l \in \{1, \dots, d\}$
第三个特征子空间：函数收敛于涉及坐标乘积并由范数归一化的项，具体与 2 阶球谐函数相关：
$F_{\alpha\beta}(x) \propto \frac{x_\alpha x_\beta}{\|x\|} \quad (\alpha < \beta)$
$F_\gamma(x) \propto \frac{x_\gamma^2}{\|x\|} - \text{修正项} \quad (\gamma \in \{1, \dots, d-1\})$

作者证明，在费雪度量下的函数空间中，这些函数构成了一个近似正交基。模拟结果证实，随着 $m$ 的增加，网络实现与这些理论极限之间的平均绝对误差减小，从而验证了渐近近似的有效性。

意义与主张
本文主张，这些结果提供了对无限宽极限下简单 ReLU 网络“学习动力学”的严格刻画。通过将 FIM 的谱分解与特定函数形式联系起来，作者认为：

梯度下降优先性：由于梯度下降在对应于海森矩阵（在最优解附近近似为 FIM）较大特征值的方向上收敛更快，网络优先学习与 $\|x\|$ 成比例的特征，其次是 $x_l$ ，然后是二次项 $x_\alpha x_\beta / \|x\|$ 。
与神经切线核（NTK）的联系：这些结果被解释为识别了两层网络神经切线核 Mercer 分解的前三个阶次的特征值和特征函数。这将有限宽度的 FIM 分析与无限宽度的 NTK 文献联系起来，特别是与 Bietti 和 Ma [3] 的工作相关。
函数空间动力学：这项工作提供了一个理解过参数化网络如何表达函数的框架，表明初始训练阶段主要由低阶球谐函数（0 阶、1 阶和 2 阶）主导。

局限性
作者明确指出了若干局限性：

输入分布：正交性和特定函数形式高度依赖于输入 $x$ 具有旋转不变性（特别是标准高斯分布）。非高斯或非旋转不变分布可能会改变基函数的层级结构。
有限宽度：该分析假设无限宽极限（ $m \to \infty$ ）。有限宽度的网络可能会因随机效应而表现出偏差。
数据流形：当前框架未解决分布在低维流形上的数据，在这些情况下 FIM 可能会退化。
架构：该研究仅限于无偏置的两层 ReLU 网络；未涵盖扩展到更深层架构或不同激活函数的情况。