🤖 machine learning

Singular Learning and Occam's Razor in Deep Monomial Networks

本文利用多项式代数工具，特别是梅森定理（Mason's Theorem），来证明在具有足够高激活次数的深层单项式网络中，优化景观中的临界点精确地对应于具有不活跃或冗余神经元的子网络，从而为深度学习中对更简单函数的隐式偏置提供了一种数学解释。

原作者： Kathlén Kohn, Giovanni Luca Marchetti, Farhan Shabir, Vahid Shahverdi, Weisheng Wang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kathlén Kohn, Giovanni Luca Marchetti, Farhan Shabir, Vahid Shahverdi, Weisheng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：为什么 AI 更偏好“简单”的解决方案

想象一下，你正在教一个机器人画画。你给了它一整盒蜡笔、一块巨大的画布和一套非常复杂的指令。你可能会预期这个机器人会用尽每一支蜡笔，画出一幅极其复杂、细节丰富的杰作。

然而，在现实世界中，深度神经网络（即 AI 的“机器人”）往往表现得恰恰相反。在训练过程中，它们往往会忽略自身的许多内部组件，并最终选择一个更简单的方案。这就是所谓的奥卡姆剃刀定律（Occam's Razor）：即最简单的解释通常才是最好的。

这篇论文探讨的是：为什么 AI 会这样做？ 这仅仅是运气使然，还是有一个数学规则在强制它变得简单？

作者们是一群数学家，他们指出这是一个数学规则。他们证明了对于一种特定类型的 AI 网络，学习过程自然会陷入停滞的“麻烦点”，恰恰就是网络通过关闭或合并不必要的部件而变得更简单的地方。

角色介绍

为了理解这篇论文，让我们用一个比喻来认识其中的主要角色：

神经网络（工厂）： 把 AI 想象成一个拥有许多流水线（层）和工人（神经元）的工厂。每个工人接收一个输入，进行一次数学运算，然后将其传递给下一个工人。
“单项式”激活函数（特殊规则）： 在这个特定的工厂里，每个工人都遵循一个非常严格的规则：他们必须将输入的数值按特定次数进行自乘（例如平方或立方）。作者称之为“单项式（monomial）”激活。这是对现实世界 AI 的简化版本，但它允许数学家使用强大的代数工具来观察其内部运作机制。
“临界点”（交通堵塞）： 当工厂尝试学习时，它会沿着一条路径寻找最佳的工作方式。有时，它会遇到“交通堵塞”或“死胡同”，此时指令会变得混乱。在数学中，这些被称为临界点（critical points）。论文认为，这些交通堵塞点是观察最重要的位置，因为它们揭示了 AI 隐藏的偏好。
“子网络”（精简团队）： 子网络是指当工厂里的某些工人处于以下状态时所发生的情况：
- 不活跃： 他们没有任何工具（权重为零），因此无所事事。
- 冗余： 他们在做与邻居完全相同的工作，因此其中一人是不必要的。
- 结果： 你可以解雇这些工人，工厂依然能产生完全相同的输出。

发现：交通堵塞 = 精简团队

这篇论文的核心发现是交通堵塞（临界点）与精简团队（子网络）之间的直接联系。

作者使用了高级数学工具（具体来说是 Mason 定理，这是一种用于检查数字和形状如何相互契合的超级规则）来证明一个令人惊讶的事实：

如果工厂的工人遵循“单项式”规则，且数学结构足够复杂，那么学习过程唯一会“卡住”的地方，恰恰是工厂出现冗余或不活跃工人的地方。

类比说明：
想象你正在走迷宫。通常情况下，你可以随意行走。但在这种特定的迷宫里，你唯一会被困在角落里的地方，是那些墙壁已经被拆除、留下了一条更短、更简单路径的地方。

论文证明了 AI 并非只是“碰巧”找到了简单的方案；而是网络的数学结构使得它不可能在除了简单方案之外的其他地方被卡住。

为什么这很重要（与“奥卡姆剃刀”的联系）

在 AI 世界中，“卡住”的点并不总是坏事。事实上，奇异学习理论（Singular Learning Theory, SLT）表明，这些“卡住”的点起到了磁铁的作用。学习过程会被自然地吸引向它们。

由于论文证明了这些“磁铁”恰好位于网络变得更简单（即活跃神经元更少）的地方，这解释了为什么 AI 自然地偏好简单性。这并不是 AI 的自觉选择，而是一个数学法则。AI 在其自身的架构驱动下，被迫修剪掉多余的、复杂的部件，从而变成一个更精简、更高效的版本。

“如何实现”（数学概览）

作者们并非仅仅靠猜测，而是利用多项式代数进行了证明。

他们将 AI 的输出视为一个巨大的数学方程（多项式）。
他们研究了“雅可比矩阵（Jacobian）”，这是一种衡量 AI 输出对设置进行微小改变时的敏感程度的高级方法。
他们发现，当 AI 是“复杂”的（没有冗余工人）时，数学运算运行平稳。
但一旦 AI 变得“简单”（出现了冗余工人），数学就会遇到奇异点（秩亏损点）。
利用 Mason 定理（一种通常用于研究素数的数论工具），他们证明了对于足够大的复杂度，这些奇异性仅在网络变得简单时才会发生。

总结

问题： 为什么深度神经网络自然地变得简单并忽略不必要的部件？
方法： 作者利用高级代数研究了一个简化的 AI 模型。
结果： 他们证明了学习路径上的数学“凸起”（临界点）仅发生在网络拥有冗余或不活跃部件时。
结论： AI 的架构在数学上迫使其收敛于简单、高效的解决方案。这是对深度学习中奥卡姆剃刀定律的一种数学论证。

注：本论文严格针对使用“单项式”（基于幂运算）激活函数的网络进行数学证明。它并不声称这适用于所有类型的 AI（例如使用 ReLU 的网络），但它为理解为什么“简单性”是深度学习的自然结果提供了坚实的理论基础。

技术摘要：深度单项式网络中的奇异学习与奥卡姆剃刀

问题陈述
本文研究了深度神经网络优化景观中临界点的本质。具体而言，它探讨了这样一个现象：临界点的产生并非源于数据或损失函数，而是源于模型本身的架构。当模型的参数化映射的雅可比矩阵（Jacobian）秩亏损时，就会出现这些点，从而导致参数空间中的奇异性。在奇异学习理论（Singular Learning Theory, SLT）中，这类奇异性被认为具有隐式偏置的作用，这可能解释了为什么深度神经网络倾向于收敛到“更简单”的函数（即一种奥卡姆剃刀的形式）。作者关注的是具有单项式激活函数（ $\sigma(z) = z^r$ ）的深度全连接网络，其中端到端的函数是一个齐次多元多项式。核心问题是：对于足够大的激活阶数，参数化映射的临界点具有什么特征？

研究方法
作者采用了多项式代数和代数几何工具，在“神经代数几何”（Neuroalgebraic Geometry）的框架内进行研究。其方法包括：

形式化设定： 将“神经流形”（neuromanifold）定义为深度单项式网络参数化映射 $\phi$ 的像。他们分析了参数空间、函数空间以及 $\phi$ 的纤维（fibers）之间的关系。
刻画子网络： 他们将“子网络”定义为包含不活跃神经元（权重为零）或冗余神经元（输入权重成比例）的参数配置。他们证明了移除此类神经元会得到实现相同函数的较小网络，这意味着在参数空间中存在更大的纤维。
代数工具： 不同于以往关于单项式网络可辨识性的工作（例如 [FRWY24]）依赖于多项式版本的费马大定理（Newman-Slater），这项工作利用了 Mason 定理（一种关于 abc 猜想的多项式类比）。该工具允许对网络层定义的多项式的整除性和阶数进行严格分析。
核分析： 作者分析了雅可比矩阵 $J_W\phi$ 的核（kernel）。他们证明了对于非子网络参数，核仅由特定的对称性（权重的对角缩放）所张成，这些对称性对应于泛型纤维维度，而子网络则拥有更大的核。

主要贡献与结果
主要贡献是 定理 5.1，它为具有足够大激活阶数 $r$ 的深度全连接单项式网络建立了精确的等价关系：

参数配置 $W$ 是参数化映射 $\phi$ 的一个临界点，当且仅当 $W$ 是一个子网络（即它包含至少一个不活跃或冗余的神经元）。

证明策略如下：

正向过程： 研究表明，如果 $W$ 是一个子网络，则纤维 $\phi^{-1}(f_W)$ 的维度大于泛型纤维维度。根据纤维维度定理，这意味着 $W$ 是一个临界点。
反向过程： 作者证明，如果 $W$ $W$ 不是一个子网络，则它是一个正则点。这是通过证明非子网络的雅可比矩阵的核恰好等于泛型纤维的维度来实现的。
- 引理 5.3 利用 Mason 定理来限制多项式商的阶数，表明除非激活阶数 $r$ 较小，否则来自网络层的非比例输出无法满足某些线性相关性。
- 引理 5.4 和 命题 5.5 将此扩展到证明，对于 $r > 9(D(D-1))^{L-1}$ （其中 $D$ 是最大宽度， $L$ 是深度），雅可比矩阵核中的任何线性相关性都意味着存在冗余或不活跃的神经元。

意义与主张
本文声称为深度学习中观察到的隐式简单性偏置提供了数学上的辩护。通过证明临界点与子网络（即可以在不改变函数的情况下进行剪枝的配置）完全一致，作者将模型的几何奇异性与解的结构简单性联系起来。

在奇异学习理论的语境下，临界点与较低的局部学习系数（Local Learning Coefficients, LLC）以及更高的贝叶斯后验概率相关联，因此这一结果表明学习动力学隐式地偏向于“经过剪枝的”或更简单的网络架构。作者将此框架化为一种对深度神经网络实现某种奥卡姆剃刀倾向性的数学解释。

局限性与范围
作者明确了其结果的适用范围：

该等价关系严格适用于具有单项式激活且具有足够大阶数的深度全连接网络。
证明依赖于复数域（ $\mathbb{C}$ ），尽管由于定义的兼容性，该结果也适用于实数域（ $\mathbb{R}$ ）。
论文承认对于其他架构（如卷积网络、ResNet、注意力机制）或非单项式激活（如 ReLU），临界性与子网络之间的关系可能会有所不同，或者仍是一个开放性问题。例如，他们指出使用单项式激活的卷积网络可能除了产生零函数外没有其他临界点。