💻 computer science

What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective

该论文从线性系统视角出发，通过量化能量分布发现 CNN 第一层学习到的滤波器具有高度一致性，并证明这种一致性主要由图像块的二阶统计特性决定，且随着训练迭代，第一层会趋向于对输入执行近似白化变换。

原作者： Rhea Chowers, Yair Weiss

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Rhea Chowers, Yair Weiss

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：为什么不同的卷积神经网络（CNN，一种用于识别图片的人工智能）在“第一层”学到的东西竟然如此相似？

想象一下，你让三个完全不懂画画的人（不同的神经网络），用不同的画笔（不同的初始权重），在不同的画布上（不同的数据集），去画同一类东西（比如猫）。通常我们会认为他们画出来的第一笔会千差万别。但研究发现，不管怎么变，他们画出的“第一笔”在本质上几乎一模一样。

这篇论文就是为了解释：为什么会出现这种惊人的“一致性”？这真的是因为它们在努力识别猫吗？

1. 核心发现：第一层就像个“调音师”

为了理解这一点，作者把神经网络的第一层想象成一组滤波器（Filter Bank）。你可以把这组滤波器想象成一组不同频率的收音机频道。

随机初始状态（刚开始训练时）： 就像一台刚出厂、还没调频的收音机，它对所有声音（各种频率的图像细节）的反应是平平无奇的，没有重点。
训练后的状态： 经过训练，这组滤波器变得非常“挑剔”。它们对中等频率的声音（比如物体的轮廓、纹理）特别敏感，而对极低频（比如整张图太亮或太暗）和极高频（比如噪点、杂色）几乎“充耳不闻”。

最惊人的发现是： 无论你怎么改变网络结构、用什么数据集，甚至如果你故意给网络看乱码标签（比如把猫的图片标成“汽车”），只要经过训练，它们第一层的“调频”结果（能量分布）都惊人地一致。

2. 为什么不是因为它在“学认猫”？

通常我们会想：“哦，它们之所以这样调频，是因为这样最有利于识别物体（比如猫）。”

作者通过实验打碎了这个幻想：

实验一（冻结第一层）： 如果把第一层锁死，不让它学习，只让后面的层学习，网络依然能学得非常好。这说明第一层并没有“必须”长成某种特定的样子才能认猫。
实验二（随机标签）： 如果给网络看乱码标签，它依然会学到那个“中等频率敏感”的模式。既然标签是乱的，它肯定不是为了“认猫”才这么做的。

结论： 这种一致性不是因为网络在努力解决“认猫”这个任务，而是有更深层次的原因。

3. 真正的幕后黑手：数学的“白化”魔法

作者用线性系统的视角（把复杂的网络简化成简单的线性方程）推导出了一个公式，揭示了真相。

核心比喻：把“拥挤的菜市场”变成“有序的超市”

原始图片（输入）： 想象一个拥挤的菜市场，卖菜的大叔（像素点）都在大声说话，而且互相喊话（像素之间高度相关，比如左边红，右边通常也红）。这种状态叫冗余，信息很乱。
神经网络的第一层： 它的任务不是去“认菜”，而是像一个超级调音师，把菜市场里混乱的喊声整理一下。
白化（Whitening）： 这是一个数学术语。简单来说，就是让输出信号中的各个部分互不相关。就像把菜市场变成超市，每个货架（频率）独立运作，互不干扰。

为什么是“中等频率”？
作者发现，当网络用“梯度下降”（一种优化算法，就像下山找最低点）去最小化错误时，它会自动倾向于先消除那些最容易消除的冗余（也就是能量最强的部分，通常是低频）。

随着训练次数增加，网络会像剥洋葱一样，一层层地消除冗余。
最终，它会达到一种状态：对输入信号进行“白化”处理。这意味着它把输入图像中原本纠缠在一起的信息，拆解成了互不相关的独立部分。

为什么随机标签也有效？
因为无论标签是“猫”还是“乱码”，输入图片本身的统计规律（像素怎么排列）是不变的。网络为了“省力”（最小化数学上的损失函数），会自动选择这种“白化”策略来整理输入数据。这就像无论你要去超市买什么，你都会先整理好购物车，把东西分类放好，这个整理动作和你要买什么无关。

4. 总结：大自然的“整理癖”

这篇论文告诉我们：

一致性是必然的： 不同的 CNN 第一层长得像，不是因为它们都在“思考”如何识别物体，而是因为输入图片本身有规律，加上训练算法的数学特性，迫使它们都走向了同一种“整理数据”的最优解。
白化是本能： 神经网络的第一层实际上是在做去相关（Whitening）。它把混乱的、充满冗余的原始图像，转换成了清晰、独立的特征，方便后面的层去处理。
理论预测现实： 作者推导出的简单数学公式，竟然能精准地预测那些复杂的、非线性的真实网络（如 ResNet, VGG）在第一层的表现。

一句话总结：
神经网络的第一层之所以长得都一样，不是因为它在努力“看懂”世界，而是因为它在努力“理顺”世界。就像无论谁去整理一个乱糟糟的房间，最终都会把书放书架、衣服进衣柜一样，这是一种由数学规律决定的“整理本能”。

这是一篇关于深度卷积神经网络（CNN）第一层学习机制的论文，标题为《CNNs 在第一层学到了什么以及为什么？——基于线性系统视角的解析》（What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective）。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

尽管不同架构、不同初始化甚至在不同数据集上训练的 CNN 往往表现出惊人的相似性（即“表示学习”的一致性），但这种现象背后的原因尚不完全清楚。

现有观察：CNN 第一层学习到的滤波器（Filters）通常对中间空间频率最敏感，而对极低和极高频不敏感。这种能量分布（Energy Profile）在不同模型间高度一致，且与随机初始化的滤波器截然不同。
核心疑问：这种一致性是因为网络为了优化分类任务而“学会”了某种最优特征（即语义上有意义的特征），还是由训练算法和数据统计特性导致的某种“隐式偏差”（Implicit Bias）？
挑战：如何量化不同 CNN 表示之间的相似性？传统的神经元对比方法（如 CKA）存在维度差异或对旋转不变性处理复杂的问题。

2. 方法论 (Methodology)

A. 量化一致性：能量分布 (Energy Profile)

作者提出了一种基于线性系统视角的新方法来量化第一层滤波器的一致性：

滤波器组视角：将 CNN 第一层视为一个滤波器组。
PCA 基：利用训练集图像块（Patches）的主成分分析（PCA）向量 $u_i$ 作为频率基（因为自然图像的 PCA 向量在频域上是高度局域化的）。
能量分布定义：定义滤波器集合 $\{w_k\}$ 的能量分布向量 $e$ ，其第 $i$ 个分量为滤波器在 PCA 方向上的投影能量平方和的平均值：
$e_i^2 = \frac{1}{K} \sum_{k=1}^K (w_k^T u_i)^2$
相似性度量：通过计算不同模型能量分布向量之间的相关系数来衡量一致性。该方法对滤波器的缩放、排列和正交变换具有不变性。

B. 实验验证

冻结第一层实验：将第一层滤波器固定为随机初始化（全频带能量均匀），观察后续层是否能补偿并达到相同的分类性能。
随机标签实验：使用随机标签训练网络。如果一致性源于语义优化，随机标签下应无法学到特定模式；如果源于数据统计特性，则应仍能学到相似模式。
线性 CNN 理论推导：构建一个简化的深度为 2 的线性 CNN（使用 MSE 损失），推导其滤波器能量分布的解析公式。

C. 理论分析

假设：假设图像块之间互不相关，且标签与 PCA 分量不相关（这对随机标签显然成立，对真实标签通过实验验证也近似成立）。
推导：利用梯度下降的动力学特性，推导出在迭代次数 $t$ 时，滤波器能量分布 $e_i$ 的解析表达式。
极限情况：证明当迭代次数趋于无穷大时，滤波器能量分布与输入图像块的方差（ $\lambda_i$ ）成反比，即 $e_i \propto 1/\lambda_i$ 。这在数学上等价于**白化（Whitening）**变换，即去除输入的空间相关性（冗余度）。

3. 关键贡献 (Key Contributions)

提出能量分布度量：提供了一种简单、有效且对变换不变的方法，量化 CNN 第一层滤波器对空间频率的敏感度分布，证实了不同模型间的高度一致性。
揭示一致性的非语义本质：
- 实验证明，即使第一层被冻结为随机滤波器，深层网络仍能通过调整后续层达到相同的性能，说明特定的能量分布并非分类任务的唯一最优解。
- 实验证明，使用随机标签训练的网络，其第一层依然学到了与使用真实标签训练的网络高度相似的能量分布。这推翻了“一致性源于语义优化”的假设。
建立线性理论与非线性实践的桥梁：
- 推导出了线性 CNN 在梯度下降下的能量分布解析公式。
- 证明该公式不仅能解释线性模型，还能以极高的相关性（>0.9）拟合现实世界中复杂的非线性 CNN（如 ResNet, VGG, DenseNet 等），无论使用真实标签还是随机标签。
阐明白化机制的来源：指出 CNN 第一层的近似白化（Whitening）并非显式地通过“冗余度减少”损失函数学习，而是梯度下降算法在最小化分类损失过程中，结合输入数据统计特性（图像块方差）和标签与输入的不相关性所产生的隐式偏差。

4. 主要结果 (Results)

一致性验证：
- 不同初始化、不同架构（VGG, ResNet, DenseNet 等）、不同数据集（CIFAR, ImageNet, CelebA）训练出的模型，其第一层能量分布的相关系数极高（通常 > 0.9）。
- 训练模型与随机初始化模型的能量分布相关系数接近 0。
随机标签实验：
- 使用随机标签训练的网络，其能量分布与使用真实标签训练的网络高度相关（相关系数 > 0.9），且均偏离随机初始化。
- 当人为构造标签与图像块能量强相关时，真实标签和随机标签模型的能量分布差异变大，验证了理论中关于“标签与输入不相关”假设的重要性。
理论拟合：
- 线性 CNN 的解析公式能极好地拟合真实 CNN 的能量分布曲线（在 ImageNet 上相关系数达 0.9）。
- 随着训练迭代次数增加，能量分布从低频敏感逐渐向高频敏感移动，最终趋向于白化（ $1/\lambda$ ）。
白化效果：
- 测量第一层输出的自相关函数发现，学习后的滤波器显著降低了输入像素间的空间相关性（去除了冗余），实现了近似白化，尽管没有显式的白化预处理或损失函数。

5. 意义与影响 (Significance)

重新理解表示学习：论文表明，CNN 第一层学到的“通用特征”（如边缘检测、中间频率敏感）并不一定是因为网络“理解”了物体，而是由输入数据的二阶统计量（自然图像的频谱特性）和优化算法的隐式偏差共同决定的。
解释随机标签现象：为“为什么用随机标签训练的网络第一层依然有效”提供了理论解释：第一层主要是在做数据预处理（白化/去冗余），这一过程独立于标签的语义内容。
指导网络设计：
- 解释了为什么在训练前对图像进行白化预处理有时能加速收敛（因为网络倾向于学习白化，显式白化减少了学习负担）。
- 暗示了第一层的权重可能不需要像后续层那样进行复杂的语义优化，其功能更多是统计层面的去相关。
理论联系实际：成功地将简单的线性系统理论推广到复杂的非线性深度网络，证明了线性模型在理解深度网络行为方面的强大解释力。

总结：这篇论文通过引入能量分布这一量化指标，结合线性系统理论和大量实验，有力地证明了 CNN 第一层的一致性源于输入数据的统计特性和梯度下降的隐式偏置（趋向于白化），而非对特定分类任务的语义优化。这一发现深化了我们对深度学习表示学习机制的理解。