📊 statistics

On the Epistemic Uncertainty of Overparametrized Neural Networks

本文挑战了“随着数据增加，认知不确定性会消失”的传统观点，通过证明在过参数化神经网络中，由对称性和冗余表示引起的不可识别性会导致参数不确定性持续存在，即使底层函数已被完全识别，作者在一层隐藏层的 ReLU 网络中对此现象进行了理论分析并通过实证加以验证。

原作者： David Rügamer

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： David Rügamer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对论文《过参数化神经网络的认知不确定性》的解释。

核心理念：“多把钥匙，一扇门”问题

想象你有一把非常复杂的锁（现实世界的问题）和一个挂着成千上万把钥匙的巨大钥匙串（神经网络）。通常我们认为，如果有足够的数据，我们就能找到那把唯一完美的钥匙来打开锁，并且会 100% 确信自己找到了它。

这篇论文指出，对于现代“过参数化”的神经网络（拥有远超必要数量的钥匙），事实并非如此。即使拥有无限的数据，你也可能永远无法确切知道手中握着的究竟是哪一把特定的钥匙。你只知道门已经打开了。

作者将这种现象称为认知不确定性（关于我们所知内容的确定性）。他们表明，即使网络完美地知道答案，它仍然对“如何”得出该答案感到困惑，因为存在多种构建相同解决方案的方式。

类比 1：乐队指挥（置换对称性）

想象一位指挥家正在领导一个乐团。音乐（预测）完美无缺。

问题所在：小提琴声部有 100 名演奏者。如果第 1 号演奏者与第 50 号演奏者互换座位，音乐听起来完全一样。
困惑之处：如果你问指挥家：“谁在拉第一小提琴？”他回答：“是第 1 号演奏者。”你可能会认为他 100% 确定。但实际上，第 50 号演奏者可能一直在扮演这个角色，而音乐依然完美。
论文的发现：在标准统计学中，我们假设通过足够的练习（数据），指挥家将确切知道谁坐在哪里。但在这些巨型网络中，即使音乐 flawless（完美无瑕），指挥家也永远无法确定座位表。关于谁在演奏（参数）的不确定性依然存在，尽管乐曲（函数）已被完美掌握。

类比 2：披萨切片（连续不可识别性）

现在，假设网络比必要的还要大。它拥有额外的“神经元”（额外的厨师），这些并非严格必需。

场景：你需要烤一个披萨，恰好需要 100 克奶酪。
困惑之处：
- 场景 A：一位厨师在披萨上放了全部 100 克奶酪。
- 场景 B：两位厨师各放 50 克。
- 场景 C：十位厨师各放 10 克。
- 场景 D：厨师 A 放 99 克，厨师 B 放 1 克。
论文的发现：网络可以通过在额外厨师之间以无限种不同的方式分配“奶酪”（权重），来实现完全相同的披萨（相同的预测）。
- 与乐队中人们仅仅互换座位不同，这里的厨师们不断争论如何分配奶酪。
- 论文证明，即使拥有无限数据，网络也不会固定在一种特定的奶酪分配方式上。相反，它会在一个“流形”（可能性的平滑曲面）上游走，在这个曲面上，奶酪的总量始终是 100 克，但个体的分配量却不断变化。

这为何重要？（“为何常用指标失效”部分）

通常，当科学家衡量模型有多“不确定”时，他们会观察输出的变化程度。

旧观点：“如果模型每次给出的答案都一样，那它就不存在不确定性。”
论文观点：“那是错的。模型可能给出相同的答案，但其内部齿轮（权重）却正以不同的方向疯狂旋转。”

作者表明，如果你只关注最终答案（披萨），你就会忽略内部机制是混乱的这一事实。如果你需要知道模型如何工作（用于调试、压缩或理解哪些特征很重要），而不仅仅是答案是什么，这就至关重要。

他们做了什么？

理论：他们利用数学证明，对于简单的神经网络（ReLU 网络），这种“分配”和“互换”会在模型的“大脑”内部制造出一种永久性的不确定性迷雾，即使模型在其工作上表现完美。
数学：他们用称为流形的形状来描述这种迷雾。想象它像是一张漂浮在三维房间里的平滑纸片。模型的权重可以在那张纸片上的任何位置滑动，而不会改变结果。
实验：他们构建了这些网络并在计算机上运行。他们观察了“权重”（内部数值）的移动。
- 结果 1：随着看到更多数据，网络在预测方面变得更好。
- 结果 2：但内部权重从未停止移动。它们继续在那些“纸片”（流形）上滑动并互换位置，证明了对内部结构的不确定性从未消失。
采样问题：他们还研究了计算机如何尝试“探索”这些网络（使用一种称为 MCMC 的方法）。他们发现，如果你从一种特定的“座位安排”（一种置换）开始计算机模拟，它通常会卡在那里，永远无法跳跃到其他等效的安排，尽管它们都是有效的。这意味着标准的计算机方法可能会错过不确定性的全貌。

结论

该论文声称，过参数化神经网络对其自身的内部结构存在一种隐藏的、永久性的不确定性。

函数空间（输出）：模型变得确定。它知道答案。
参数空间（内部权重）：模型仍然不确定。它不知道自己是使用哪一种特定的数字组合来得出该答案，因为有数百万种同样优秀的组合。

这就像一位大师级厨师能烹饪出一道完美的菜肴，但如果你问他：“你是用了 2 茶匙盐，还是 1 茶匙盐加 1 茶匙酱油？”他无法告诉你，因为两种食谱尝起来完全一样。论文认为，我们不能仅仅因为食物味道好，就假装厨师知道确切的食谱。

技术摘要：过参数化神经网络的认知不确定性

问题陈述

机器学习中的认知不确定性传统上被定义为随着数据量增加而消失的可减少的不确定性，通常等同于预测变异性。这一观点依赖于参数可识别性的假设，即随着 $n \to \infty$ ，后验分布会集中在唯一的参数向量（或点质量）周围。然而，在过参数化神经网络中，由于对称性（例如置换不变性）和冗余表示，参数通常不可识别。

本文解决的核心问题是：尽管底层函数 $f^*$ 可能已被完全识别，但参数空间中仍存在显著的不确定性，即使拥有无限数据，这种不确定性依然持续。经典的基于预测方差的分解方法无法捕捉这种“残差”不确定性，因为它们对保持函数不变的参数变化具有不变性。因此，过参数化模型的结构特性（后验分布不会坍缩为参数空间中的单点）与标准的不确定性量化方法之间存在不匹配。

方法论

作者通过不可识别性的视角，利用单隐藏层 ReLU 网络架构分析认知不确定性：
$f_w(x) = w_2^\top \phi(W_1 x)$
其中 $\phi(\cdot) = \max(0, \cdot)$ 。该研究假设正则化损失目标等价于带有高斯先验的贝叶斯后验。

方法论分为三个阶段：

理论表征：作者区分了两种不可识别性来源：
- 置换对称性：在正确指定的模型（ $M = M^*$ ）中，不可识别性源于隐藏神经元的置换。后验分布收敛为这些置换上的狄拉克测度的混合。
- 连续分裂（流形分配）：在过参数化模型（ $M > M^*$ ）中，真实神经元可以由多个冗余神经元的连续组合来表示。这会诱导一个“分裂流形” $\mathcal{M}_\varsigma$ ，在此流形上权重可以连续重新分配，同时保持相同的函数和正则化成本。
后验推导：论文推导了这些流形上诱导后验的确切形式。它确立，对于固定的分配映射 $\varsigma$ （将模型神经元映射到真实神经元），分裂系数遵循对称狄利克雷分布。作者将流形上的后验定义为当 $\epsilon \to 0$ 时，以 $\epsilon$ 管（围绕流形）为条件的环境后验的弱极限。
实证验证：理论发现使用具有高斯先验和似然函数的贝叶斯神经网络（BNN）进行了验证。推理通过随机梯度朗之万动力学（SGLD）和无回环采样器（NUTS）执行。该研究分析了后验样本，以验证收敛特性、置换室之间的切换率以及分裂系数的分布。

主要贡献

重构认知不确定性：论文指出，过参数化模型中的认知不确定性包含一个由于不可识别性而产生的持续分量，即使预测函数被完美识别，该分量也不会随着数据增加而消失。
残差不确定性的表征：
- 离散源：在正确指定的模型中，不确定性表现为置换轨道上狄拉克测度的混合。
- 连续源：在过参数化模型中，不确定性表现为分裂流形上的非退化分布。作者推导出分裂系数遵循狄利克雷分布 $\text{Dir}(\alpha, \dots, \alpha)$ ，其中 $\alpha = (p+1)/2$ 。
后验矩与几何结构：作者推导了过参数化条件下权重的后验矩的显式公式。他们表明，虽然一组冗余神经元的总贡献保持不变，但随着网络宽度 $M$ 的增加，每个神经元的个体贡献会缩小（均值上为 $O(M^{-1/2})$ ，协方差上为 $O(M^{-1})$ ）。
采样动力学：论文证明，标准的 MCMC 采样器（在特定的连续性假设下）几乎必然局限于单个置换室或单个分配流形的内部。它们不会自然地遍历不同对称相关区域之间的边界，这意味着单个链仅探索完整后验支持的一个子集。

结果

收敛性与方差：实证结果证实，虽然预测性能（RMSE、LPPD）随着 $n$ 的增加收敛于真实函数，但由于置换和分裂对称性，权重协方差矩阵的迹保持非零。
流形结构：在过参数化设置（ $M > M^*$ ）中，后验样本与理论预测一致，即分裂系数遵循 Beta 分布（狄利克雷分布的边缘分布）。权重贡献的实证分布与理论狄利克雷边缘分布高度吻合。
采样行为：NUTS 和 SGLD 的实验表明，链局限于单个置换室。室之间的“切换率”可忽略不计，且“平均最小边距”表明链深居特定室内，很少跨越神经元变得可交换的零测度边界。
实际影响：论文说明，忽略不可识别性会导致下游任务中的估计失真。在持续学习（EWC）中，不可识别性引起的方差会虚假地夸大参数重要性，导致过于严格的更新。校正这种方差可改善适应性。同样，参数空间中的标准收敛诊断（如 $\hat{R}$ ）可能由于不可识别方向而保持膨胀，即使函数空间的收敛已经实现。

意义与主张

论文声称对深度学习中认知不确定性的标准观点提供了必要的修正。它断言：

参数不确定性持续存在：与不确定性随数据消失的经典观点不同，过参数化网络中的参数不确定性由于结构对称性而不可减少。
函数空间与参数空间：虽然在函数空间中工作可以缓解这些问题，但直接在权重上操作的过程（例如可解释性、模型压缩、持续学习或基于采样的推理）必须考虑这种残差不确定性，以避免得出误导性的结论。
当前启发式方法的局限性：像深度集成这样的实用启发式方法可能会“平均掉”不可识别性的一些影响，但它们并未消除后验的底层几何结构。论文指出，理解后验的几何结构（特别是由过参数化诱导的流形）对于参数空间中准确的不确定性量化至关重要。

作者在范围上保持谦逊，指出其形式化结果是基于带有高斯先验的单隐藏层 ReLU 网络推导的。他们承认，更深的网络引入了其理论未涵盖的额外层间不可识别性，且特定的狄利克雷分裂定律取决于高斯先验/L2 正则化的选择。然而，他们论证置换和分裂对称性的机制是过参数化模型的根本，并可能扩展到更广泛的架构。