🤖 machine learning

Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks

本文利用代数几何来分析多项式神经网络的函数空间，在确立其可辨识性与维度的同时，将奇异性表征为由稀疏子网络引起，以此解释多层感知器中稀疏偏差的几何起源。

原作者： Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何识别猫。你给了机器人一本厚厚的说明书（即“参数”），它告诉机器人如何处理图像。然而，这里有一个陷阱：许多不同版本的说明书实际上可以产生完全相同的结果。一个说明书可能说“向左转，然后向右转”，而另一个说明书说“向右转，然后向左转”，但两者最终都到达了同一个目的地。

这篇论文就像是一张地图，描绘了某种特定类型的机器人（神经网络）可以使用的所有可能的说明书。作者将这张地图称为**“神经流形”（neuromanifold）**。他们想要回答两个重大问题：

可辨识性（Identifiability）： 如果我看到了机器人的最终行为，我能推断出它使用的是哪本确切的说明书吗？还是说存在许多看起来相同的说明书？
奇异性（Singularities）： 这张地图上是否存在“危险区域”或“悬崖”，在这些地方几何规则会失效？

以下是他们研究结果的拆解，使用了简单的类比。

1. 机器人的大脑：MLP 与 CNN

该论文研究了两类机器人大脑：

MLP（多层感知器）： 可以将其视为一种标准的、全连接的大脑，其中每个神经元都与下一层的每个神经元进行通信。这就像是一个密集的电话网络。
CNN（卷积神经网络）： 它们是专门为图像设计的。它们使用“滤波器”在图像上滑动，寻找像边缘这样的模式。这就像是一支在工厂里巡逻的检查员队伍，每位检查员负责检查特定的区域。

作者在测试这些机器人时，使用了一种特殊的“激活函数”（决定神经元是否放电的规则）。他们没有使用标准的规则（如“如果数值为正，则开启”），而是使用了多项式（数学曲线，如 $x^2$ , $x^3$ 等）。他们发现，如果你使用一个“泛型”（随机选择的、复杂的）多项式，数学处理会变得更加清晰且易于分析。

2. “谁干的？”之谜（可辨识性）

第一个问题是：如果机器人解决了问题，我们能否逆向工程出它所使用的确切说明书？

对于 MLP（网络）： 作者发现，对于机器人产生的几乎每种行为，都只有有限数量的说明书可以创造它。
- 类比： 想象你看到一个蛋糕。你无法 100% 确定烘焙师使用的是哪个品牌的面粉或稍微不同的面粉，但你知道它不可能是任何随机的配方。只有少数特定的配方才能做出那个完全相同的蛋糕。作者证明了对于这些网络，其“配方空间”的大小恰到好处——不存在隐藏的、无限的冗余。
对于 CNN（检查员）： 结果甚至更强。对于几乎每种行为，只有唯一的一本说明书可以创造它。
- 类比： 如果你看到工厂地面上的特定图案，那么只有一种特定的方式，能让检查员们以那种方式排列。CNN 在其构造上更加“独特”。

3. “悬崖”与“死胡同”（奇异性）

在几何学中，“奇异点”是指表面不光滑的地方——比如圆锥的顶点或星形的边缘。在训练机器人的世界里，这些是“危险地带”，学习算法（梯度下降）可能会在这里卡住或表现异常。

作者发现，这些“悬崖”是由**稀疏子网络（sparse subnetworks）**造成的。

类比： 想象一个庞大的高速公路系统（完整的网络）。一个“子网络”是指你关闭了几条车道，只留下几条开放的情况。
- 研究发现： 当机器人有效地“关闭”了一部分神经元（使其成为一个子网络）时，它就落在了其几何图谱上的一个“悬崖”上。
- 为什么重要： 这些悬崖很特殊，因为它们像磁铁一样吸引着学习过程。

4. “稀疏性偏差”：为什么机器人喜欢关闭神经元

这是理论中最具实践意义的部分。作者解释了为什么机器人通常会使用比它们拥有的更少的神经元（这种现象被称为“稀疏性”）。

对于 MLP（网络）： 由关闭神经元产生的“悬崖”是关键暴露的（critically exposed）。
- 类比： 想象学习过程就像一个小球滚下山坡。在 MLP 中，“悬崖”（即神经元被关闭的地方）就像是深谷或陷阱。一旦小球靠近它们，就会被困在那里。数学表明，训练过程自然地将机器人拉向这些稀疏的配置。机器人“想要”成为一个更小、更简单的自己。
对于 CNN（检查员）： “悬崖”确实存在，但它们并非关键暴露的。
- 类比： 在 CNN 中，“悬崖”就像平原上的锐利边缘。如果小球靠近它们，并不会被困住。它可以直接从旁边滚过去。训练过程并不会像对待 MLP 那样，自然地迫使 CNN 关闭其滤波器。

总结

该论文利用高级数学（代数几何）证明了：

MLP 有一些重复的说明书，但大多是唯一的，并且由于其数学景观的形状，它们在训练过程中自然地会“卡”在更简单、更稀疏的配置中。
CNN 拥有几乎近乎完美的唯一说明书，虽然它们也有“悬崖”（奇异性），但训练过程并不会像对待 MLP 那样被困在其中。

本质上，这篇论文通过利用其数学“地图”的几何特性，解释了为什么标准的神经网络（MLP）往往会自发地变得稀疏且高效。

技术摘要：在剃刀边缘学习

问题陈述

本文研究了神经流形（neuromanifolds）——即由深度神经网络参数化的函数空间——的几何性质，特别关注多层感知机（MLP）和卷积神经网络（CNN）。本研究解决了深度学习理论中的两个基本问题：

可辨识性（Identifiability）： 确定神经流形中的一个函数在多大程度上对应于一组唯一的网络参数。这涉及到参数化的“冗余”或对称性，并直接影响模型的样本复杂度。
奇异性与优化偏差（Singularity and Optimization Bias）： 表征神经流形的奇异点（即流形不再光滑的点），并理解这些奇异性如何与训练动力学相关联，特别是稀疏偏差（sparsity bias）现象（即网络倾向于收敛到稀疏子网络）。

虽然之前的研究分析了特定的激活函数（如 ReLU、Tanh、Sigmoid、单项式），但本文针对的是一类更广泛的：足够通用的高阶多项式激活函数。选择这一类函数的动机在于，多项式可以逼近任意连续函数，并且至关重要的是，它们允许应用代数几何工具，因为多项式神经流形存在于有限维的赋存空间中。

研究方法

作者采用了代数几何工具，特别是利用了扎里斯基拓扑（Zariski topology）和半代数簇（semi-algebraic varieties）的性质。

泛性（Genericity）： 分析侧重于“泛型”参数和激活函数。在扎里斯基拓扑中，一个性质对泛型对象成立，意味着它对“几乎所有”对象都成立（因为非空开集是稠密的）。
参数化映射： 研究分析了参数化映射 $\phi: \mathcal{W} \to \mathcal{M}$ 的纤维（fibers），其中 $\mathcal{W}$ 是参数空间， $\mathcal{M}$ 是神经流形。
子网络（Subnetworks）： “子网络”的概念是核心。对于 MLP，子网络是通过将权重矩阵的特定行/列设为零（不活跃神经元）来定义的。对于 CNN，子网络是通过用零填充滤波器来定义的。
临界暴露性（Critical Exposedness）： 本文引入了一个几何概念，称为临界暴露集。如果一组参数对应的目标函数集（源自数据集）对于使这些参数成为损失函数临界点的函数具有非空内部，则称该参数集是临界暴露的。这使“训练动力学偏向于这些集合”这一观点形式化。

核心贡献与结果

1. 可辨识性与维度

MLP： 作者证明，对于足够高阶的泛型多项式激活函数，MLP 的参数化映射对于几乎所有的函数都具有有限纤维。这意味着神经流形中的几乎所有函数仅对应有限个参数选择（具体而言是离散对称性，如神经元排列）。
- 后果： MLP 神经流形的维度等于总参数量（ $\sum d_i d_{i-1}$ ）。这解决了此前仅在单项式激活函数下成立的维度猜想。
CNN： 对于 CNN，结果更为强力。研究表明，对于几乎所有的函数，其参数化是泛型一一对应（单射）的。
- 后果： CNN 神经流形的维度也等于参数数量，但不存在于 MLP 中发现的离散对称性。

2. 奇异性与子网络

MLP： 本文证明了子网络（即部分神经元不活跃的情况）对应于神经流形的奇异点。具体而言，如果架构允许出现“瓶颈”（即后续层比当前层小），则由严格子网络参数化的函数是奇异的。
CNN： 类似地，CNN 中的子网络（通过零填充滤波器定义）也被证明是奇异点。然而，它们的奇异性质有所不同；CNN 的奇异性是“节点型”（nodal，源于自交），而非 MLP 中那种更退化的奇异性。
完备性： 对于 CNN，作者提供了完整的表征：除零函数外，神经流形的所有奇异点都源于适当的子网络。对于 MLP，虽然证明了子网络定义了奇异性，但对所有奇异性的完整表征仍是一个开放性问题。

3. 临界暴露性与稀疏偏差

这是本文关于训练动力学最重要的几何洞察：

MLP： 作者证明了 MLP 中的严格子网络集是临界暴露的。这意味着对于泛型数据集，训练过程（梯度下降）以正概率遇到对应于这些稀疏子网络的临界点。
- 启示： 这为 MLP 中的稀疏偏差提供了几何解释。训练动力学自然地偏向于稀疏解，因为这些解对应于作为优化流吸引子（或平衡点）的奇异点。
CNN： 相比之下，作者证明了 CNN 中的子网络（一旦排除零函数纤维）不是临界暴露的。
- 启示： 纯单通道 CNN 不像 MLP 那样表现出向稀疏性的几何偏差。这与经验观察一致，即初始化为近零权重的 CNN 通常能够恢复并有效学习，而不是坍缩到稀疏子网络中。

意义与主张

本文声称为神经网络中观察到的稀疏偏差提供了一种几何解释，并区分了表现出这种偏差的架构（MLP）与不表现出这种偏差的架构（CNN）。

理论统一： 通过使用泛型多项式激活函数，这项工作统一并扩展了之前的可辨识性结果（之前的研究局限于 Tanh 或单项式等特定激活函数）到更广泛的函数类。
神经代数几何（Neuroalgebraic Geometry）： 该工作为新兴的“神经代数几何”领域做出了贡献，架起了代数几何与深度学习理论之间的桥梁。它证明了代数工具可以严谨地分析深度网络中的对称性和奇异性。
与奇异学习理论（SLT）的区别： 作者澄清，他们所定义的奇异性（经典的代数几何意义上的神经流形奇异性）与奇异学习理论中定义的奇异性（Fisher 信息度量的退化）是不同的。他们认为其结果将 SL 函数空间视角的思想扩展到了函数空间视角。

局限性与未来工作

作者承认存在若干局限性：

多项式限制： 结果依赖于多项式激活函数。将这些严格证明扩展到非多项式激活函数（如 ReLU 或 Tanh）需要使用多项式逼近论证，文中虽有简述，但在泛函分析意义上尚未完全证明。
不完整的表征： 虽然证明了子网络是奇异的，但尚未实现对多项式 MLP 所有奇异性的完整分类。
临界点类型： 分析识别了临界点，但并未区分局部极小值、极大值或鞍点。理解子网络是否特指局部极小值是留给未来的工作。
复杂度界限： 使定理成立所需的多项式次数极其巨大且可能过于宽松，尽管其存在性对于理论目的而言已足够。