🤖 machine learning

The Role of Symmetry in Optimizing Overparameterized Networks

本文表明，神经网络中的过参数化通过引入权重空间对称性来优化训练，这些对称性起到对角预条件的作用，从而改善海森矩阵的条件数并增加全局极小值在典型初始化附近的概率质量，进而加速收敛。

原作者： Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在尝试解决一个复杂的拼图，就像将特定形状的拼块嵌入拼图板中。在深度学习的世界里，这个“拼图”就是寻找神经网络内部那组完美的数字（权重），使其能够正确完成任务。

长期以来，研究人员注意到一个奇怪的现象：让网络变大（增加更多的“拼块”或参数）实际上会让解决这个拼图变得更容易、更快速，即使这个拼图本身小到足以被一个微小的网络解决。这被称为“过参数化”。

这篇论文问道：为什么拥有多余的拼块会有帮助？ 作者认为，这不仅仅是因为拥有了更多的原始算力；而是关于对称性。他们利用“对称性”的概念来解释让网络变大改善求解过程的两种主要方式。

以下是使用简单类比进行的分解：

1. 解的“镜像迷宫”（对称性）

首先，想象许多不同的拼块排列方式会产生完全相同的画面。在神经网络中，你可以交换两个神经元，或者将一个神经元拆分成两个协同工作的小神经元，而网络仍然执行完全相同的工作。

作者将这些“执行相同事物的不同设置”的群体称为对称轨道。这就像山脉中的一个平坦山谷。如果你站在山谷底部，你可以沿着地板向任何方向行走，你的海拔高度（误差）都不会改变。这些就是“平坦方向”。

2. 机制一：“魔法重缩放”（对角预条件）

当你让网络变宽时，你引入了拆分和重新排列这些神经元的新方法。作者证明，这些新排列就像景观的魔法重缩放工具。

问题：想象山谷地板的形状像一个又长又瘦的椭圆。如果你试图让一个球滚到底部，很容易卡住或在两个方向上来回反弹，因为路径在一个方向上很窄，而在另一个方向上很宽。这是一个“病态”的景观。
对称性修复：通过利用更宽网络中可用的新对称性，你可以有效地“压扁”那个椭圆的长边，并“拉伸”短边。你将山谷重塑为一个完美的圆形。
结果：现在，当你让球滚动（运行优化算法）时，它会径直滚到底部而不会摇摆。作者称之为对角预条件。这就像戴上了一副特殊的眼镜，即使路径实际上是椭圆形的，它看起来也是完美的圆形。

3. 机制二：“更大的目标”（体积增长）

过参数化帮助的第二种方式，是让“好”解更容易被偶然发现。

问题：想象你蒙着眼睛向墙壁投掷飞镖。如果“获胜”的位置是一个微小的点，你几乎永远无法击中它。
对称性修复：当你增加更多神经元时，对称轨道会扩展。这就像墙上的那个微小点突然变成了一大片蓬松的云。因为有太多不同的方式来排列这些额外的神经元以获得相同的结果，所以获胜位置的总“体积”变得巨大。
结果：即使你从一个随机猜测（随机投掷）开始，你现在也更有可能落在那片巨大的好解云团内部。论文表明，随着网络变宽，你的旅程起始点恰好位于完美解附近的概率显著增加。

4. “拆分”技巧

论文详细阐述了一种称为拆分对称性的具体数学技巧。

激活后拆分：想象你有一个正在工作的工人（神经元）。你可以雇佣两个新工人，他们每人做一半的工作，并平分工资。完成的总工作量是一样的，但现在你在如何支付工资方面有了更多的灵活性。
激活前拆分（针对 ReLU 网络）：这就像拆分工人的输入。如果工人是一个"ReLU"（一种特定类型的开关），你可以将输入信号拆分成两个较小的信号，它们加起来等于原始信号。

这些拆分在景观中创造了新的“平坦方向”。作者表明，虽然解的总“体积”大致保持不变（如果你均匀拆分），但该体积的形状会发生变化，变得更加圆润且易于导航。

5. 实验显示的内容

作者不仅做了数学推导，还进行了实验来证明这一点：

曲率：随着他们让网络变宽，“海森矩阵”（景观中隆起和山谷的数学地图）变得条件更好。“隆起”变得更加平滑和均匀。
速度：参数更多的网络收敛（找到解）得更快。
普适性：这适用于不同类型的网络（MLP、CNN、Transformer）和不同的任务，表明这是这些网络如何工作的基本几何规则。

总结

简而言之，这篇论文认为，让神经网络变大不仅仅是给它更多的肌肉；而是给了它更多的“自由度”来重塑它所行走的地形。

通过添加额外的参数，你创造了一个景观，其中的“好”解是：

更圆润且更容易滚下（更好的条件/预条件）。
更大且更容易偶然击中（增加的体积/概率）。

网络的“对称性”是允许我们将景观重塑为更友好形式的工具，从而使优化过程更加高效。

以下是论文《对称性在优化过参数化网络中的作用》的详细技术总结。

1. 问题陈述

过参数化（使用远多于表示目标函数所需参数的神经网络）是现代深度学习的基石，它持续提升了优化速度和最终性能。然而，驱动这些改进的精确机制仍未被完全理解。

现有理论通常依赖于：

大宽度极限： 将网络视为线性化核（NTK）。
曲率分析： 观察具有大型近零子空间的结构化海森（Hessian）谱。
对称性： 认识到网络拥有权重空间的对称性（置换、重缩放），从而生成功能上等价解的流形。

差距： 虽然已知对称性会在损失景观中创造平坦方向，但其具体如何通过过参数化来改善优化景观的条件性（使极小值更易到达和收敛），尚未得到全面刻画。本文旨在弥合过参数化、权重空间对称性与损失景观几何属性之间的差距。

2. 方法论

作者提出了一个统一框架，用于分析由增加网络宽度所诱导的权重空间对称性。他们利用**矩阵群胚（Matrix Groupoid）**形式化描述了对称性如何在不同网络宽度间运作，超越了固定宽度的对称性限制。

核心理论工具：

对称轨道： 定义产生相同函数的参数等价类 $[\theta]_T$ 。
分裂操作： 刻画添加神经元（过参数化）如何通过分裂矩阵（ $M$ $M$ ）和伪逆（ $M^+$ $M^{+}$ ）对应于“分裂”现有神经元。
- 激活后分裂： 复制神经元并重新分配输出权重。
- 激活前分裂（ReLU 特有）： 分裂输入权重同时保持 ReLU 的线性特性。
海森矩阵分析： 分析海森矩阵（ $H$ ）在这些分裂操作下如何变换，以理解曲率、条件数和局部体积的变化。
教师 - 学生设置： 使用一种设置，其中“学生”网络（宽度 $n$ ）被训练以匹配“教师”网络（最小宽度 $n_f$ ），从而保证全局极小值的存在，并将优化动力学与表示问题隔离开来。

3. 主要贡献

本文确定了过参数化辅助优化的两种不同机制：

机制 1：海森矩阵的对角预条件化

作者证明，对称变换在海森矩阵上充当对角预条件器。

定理： 如果网络通过对称性进行扩展，新的海森矩阵 $H'$ 具有与 $K^{1/2} H K^{1/2}$ 相同的非零特征值，其中 $K$ 是由分裂结构决定的对角矩阵。
推论： 这种变换有效地重新缩放损失景观的坐标轴。如果原始海森矩阵的特征向量近似于坐标轴对齐（实证证据表明它们通常如此），这种重缩放将显著改善条件数（ $\kappa$ ），从而加速一阶方法的收敛。
迹的减少： 他们推导出一个公式，表明虽然非零特征值的乘积（伪行列式/体积）在偶数分裂下保持不变，但迹（特征值之和/平均曲率）可以减少。这导致了平均情况下条件性的改善。

机制 2：体积增长与可达性

过参数化增加了全局极小值在典型随机初始化附近的概率质量。

定理： 随着宽度增加，初始化附近全局极小值的总体积随之增长。具体而言，一旦网络足够宽，在 $\epsilon$ -邻域内初始化到全局极小值的概率将随宽度增加而提高。
组合效应： 添加参数引入了新的对称性，从而扩展了解的等价类。即使由于分裂导致单个极小值的体积略有缩小，但可能的分裂配置（置换副本）的组合爆炸会导致落入“良好”盆地的概率净增加。

4. 实验结果

作者通过广泛的实验验证了其理论预测：

理论验证：
- 海森矩阵交错： 确认了学生海森矩阵的特征值与教师海森矩阵的特征值交错，额外的近零特征值对应于新的平坦对称方向。
- 伪行列式与迹： 海森矩阵迹和伪行列式的实证测量值与理论预测的误差在 0.03% 以内。
- 神经元聚类： 可视化显示，在收敛时，学生神经元围绕教师神经元权重聚类，且输出权重之和等于教师的值，证实了“分裂”结构。
优化指标：
- 条件性： 在多层感知机（MLP）、卷积神经网络（CNN）和 Transformer 中，条件数、最大特征值以及 AM/GM 比率（平均情况条件性的度量）随着宽度增加而单调改善。
- 收敛速度： 收敛所需的步数随着宽度增加而减少。
- 泛化： 这些趋势不仅在教师 - 学生设置中成立，在直接数据拟合场景（如加州住房回归、CIFAR-10 分类）中也成立，即使在轻微欠参数化的区域也是如此。

5. 意义与启示

统一框架： 本文提供了一个几何解释，将对称性、曲率和初始化概率统一起来解释过参数化。它超越了“懒惰训练”（NTK）机制，解释了有限宽度的动力学。
过参数化为何有效： 这表明过参数化不仅提供了更多的容量；它从根本上重塑了损失景观，使其包含条件性更好、更丰富且从随机初始化更易到达的极小值。
泛化： 作者提出了一个关于泛化的“计数论证”：简单函数（由教师表示）具有更大的对称轨道，因此与复杂的过拟合解相比，拥有更大体积的极小值。优化过程自然地倾向于这些更大、条件性更好的盆地。
实践洞察： 研究结果支持使用更宽的网络，并解释了为什么自适应优化器（如 Adam）效果良好——它们隐式地执行对角预条件化，这与过参数化网络中对称性诱导的预条件化产生协同作用。
可塑性损失： 该框架为持续学习中的“可塑性损失”提供了潜在解释：优化可能会被困在特定的对称轨道中（群胚中的低宽度对角线），从而阻止网络利用休眠宽度来处理新任务。

总之，本文证明了过参数化是一种几何变换，它通过扩展权重空间对称性，创造出具有更易到达、条件性更好的极小值的景观，从而改善优化过程。