🤖 machine learning

Training Neural Networks with Optimal Double-Bayesian Learning

本文提出了一种新颖的双重贝叶斯概率框架，该框架从理论上推导出了随机梯度下降的最优学习率，并通过大量实验证明，该方法能有效提升神经网络在各类任务中的训练效果。

原作者： Vy Bui, Hang Yu, Karthik Kantipudi, Ziv Yaniv, Stefan Jaeger

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Vy Bui, Hang Yu, Karthik Kantipudi, Ziv Yaniv, Stefan Jaeger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何识别猫、狗的照片，或者 X 光片中的疾病。为此，你使用了一种“神经网络”，这是一种计算机大脑。机器人通过犯错来学习：检查自己错得有多离谱，然后调整内部设置，以便下次做得更好。

然而，这里有一个棘手的问题：每次机器人应该调整多少设置？

如果调整太少，它学习得极其缓慢，并且可能会停留在一个“足够好”的答案上，而不是完美的答案。
如果调整太多，它可能会冲过头，在完美答案附近剧烈来回震荡，永远无法稳定下来。

多年来，科学家们不得不通过试错来猜测正确的调整幅度（称为学习率）以及应该多大程度上依赖过去的调整（称为动量）。本文声称，通过一种新的数学理论，已经解决了这个猜测游戏。

以下是他们发现的分解，使用了简单的类比：

1. “双重贝叶斯”之舞

作者提出了一种新的学习思维方式，称为双重贝叶斯学习。

想象两名侦探正在试图解决一个关于测量的谜团（例如：“这个像素是肺部的一部分还是背景？”）。

侦探 A 专注于测量的数值（例如：“这个像素有多亮？”）。
侦探 B 专注于被测量的对象（例如：“这实际上是一个肺部吗？”）。

问题在于，这两名侦探之间存在一点“不确定性原理”（就像在物理学中一样）：一名侦探对其特定线索越确定，他们对另一名侦探的线索就越不确定。他们无法在同一时刻都达到 100% 的确定。

作者创造了一种数学上的“舞蹈”，让这两名侦探轮流互相纠正。

侦探 A 试图根据侦探 B 的输入来猜测答案。
侦探 B 试图根据侦探 A 的输入来猜测答案。
他们不断交换角色，直到找到一个完美的平衡点，使他们的不确定性相互抵消。

2. 神奇数字：黄金比例和 0.016

当作者运行这种数学舞蹈时，他们发现系统自然地稳定在两个特定的数字上，这两个数字充当了机器人大脑的“完美设置”：

动量权重（0.874）： 将其想象为机器人的“动量”或“惯性”。如果机器人正朝着正确的方向移动，这个数字告诉它带着一丝力量继续前进，以免过早停止。论文发现，这个数字与黄金比例（自然界中著名的数字，如贝壳和花朵中可见）密切相关，它代表了完美的平衡。
学习率（0.016）： 这是步长。数学表明，机器人应该采取大约**1.6%**的步长向解决方案迈进。这是一个非常具体、由理论推导出的数字，而非随机猜测。

3. 伟大的实验：它奏效了吗？

为了证明他们的理论不仅仅是纸上的数学，作者将这些神奇数字与其他科学家使用的标准“猜测”方法进行了测试。他们在四项不同的任务上进行了大规模实验：

识别手写数字（如读取邮政编码）。
检测胸部 X 光片中的肺结核。
在胸部 X 光片中绘制肺部图谱（分割）。
在血涂片图像中寻找疟原虫。

他们测试了数千种不同的学习率和动量值组合（即“网格搜索”），以查看哪种效果最好。

结果：

神奇数字获胜： 理论推导出的数字（学习率为 0.016，动量为 0.874）在所有任务中 consistently 产生了最佳结果。
SGD 与 Adam 的对比： 他们将他们的方法（使用标准的“随机梯度下降”或 SGD）与一种非常流行的现代方法Adam进行了比较。
- 速度： Adam 学习速度更快。它能迅速达到低误差率，就像短跑运动员一样。
- 准确性与鲁棒性： 带有神奇数字的 SGD 在长期来看更准确，并且在处理“噪声”（如模糊的照片或损坏的文件）方面表现更好。它就像一名马拉松运动员，最终跑得更强，且不太容易跌倒。
- 过拟合： Adam 方法有时会“死记硬背”训练数据（过拟合），导致在新数据上失败，而新方法具有更好的泛化能力。

核心结论

这篇论文认为，我们不再需要猜测训练 AI 的最佳设置。通过将学习过程视为两种对立不确定性之间的平衡（“双重贝叶斯”方法），我们可以从数学上推导出完美的步长和动量。

其结果是一种训练方法，虽然启动稍慢，但能产生更可靠、更准确、更鲁棒的模型，特别是在数据杂乱或不完美时。它将训练神经网络的“艺术”转变为一种更具可预测性的科学。

技术摘要：基于最优双贝叶斯学习的神经网络训练

问题陈述
神经网络的训练在很大程度上仍是一个经验过程，学习率和动量等超参数通常基于经验法则、经验或系统性网格搜索来选择，而非理论推导。尽管这些参数在避免过拟合和确保无偏泛化方面的重要性已得到广泛认可，但目前尚无定论性的理论来确定其最优值。现有文献通常依赖自适应学习率（如 Adam）或二阶方法，然而关于最优训练方法及具体超参数值的“最终裁决”仍未解决。训练结果对学习率的敏感性——即过小值可能导致陷入局部最优，过大值则引起振荡——造成了一种难以在没有原则性框架的情况下进行权衡的困境。

方法论：双贝叶斯框架
本文提出了一个基于“双贝叶斯”决策机制的理论框架，该机制涉及两个对抗性的贝叶斯过程。这种方法通过将训练过程建模为测量对象与其测量值之间不确定性的消解，来应对测量中固有的不确定性。

理论基础：
- 双重过程： 该框架假设存在两个并行过程：一个用于估计测量值的确定性（ $P(A)$ ），另一个用于估计测量对象的确定性（ $P(B)$ ）。这两个过程通过贝叶斯定理相互关联，但在条件概率（ $P(A|B)$ 和 $P(B|A)$ ）的解释上具有不同的含义。
- 内方程与外方程： 该框架推导出了两个方程。“外贝叶斯方程”通过以 $\lambda$ 为底的对数，将先验概率与后验概率之比联系起来。“内贝叶斯方程”则是通过反转对数的输入和底数，将对数表达式移至先验项中推导得出的。
- 不动点与不确定性： 利用信息论，本文将学习视为寻找输入估计映射到目标值的不动点的过程。该模型引入了“内在不确定性”原则：完美地知道角度 $\phi$ （代表测量值的不确定性）意味着对底数 $\lambda$ （代表对象的不确定性）具有最大的不确定性，反之亦然。
最优超参数的推导：
- 黄金比例： 内贝叶斯方程的解出现在概率项与黄金比例（ $\phi \approx 0.62$ ）对齐时。
- 动量（ $\alpha$ ）： 通过在 $\phi = \pi/4$ 处满足内方程并考虑外方程的梯度，本文推导出了理论动量权重： $\alpha = \sqrt{2} \cdot \phi \approx 0.874$ 。
- 学习率（ $\eta$ ）： 通过双重过程推导，学习率计算为 $\eta = (1 - \alpha)^2 \approx 0.016$ 。
- 训练机制： 该框架表明，训练涉及在满足内贝叶斯方程（最小化一个变量的不确定性）和不满足外方程（最大化对应变量的不确定性）之间交替进行，有效地将 $\alpha$ 用作上一轮迭代的动量项，将 $\eta$ 用作当前轮迭代的学习率。

实验验证
为了验证理论推导出的数值（ $\eta \approx 0.016$ ， $\alpha \approx 0.874$ ），作者在四个不同的任务上进行了广泛的网格搜索实验：

手写数字分类： 使用自定义 11 层 CNN 处理 MNIST 数据集。
结核病分类： 使用 DenseNet121 处理胸部 X 光片（TBX11K 数据集）。
肺部分割： 使用 YOLOv8m-seg 处理胸部 X 光片（COVID-19 数据集）。
疟疾细胞检测： 使用 YOLOv8m 处理血涂片图像。

实验系统地改变了学习率（0.0001 至 0.2）和动量值（0.0 至 0.925），并将随机梯度下降（SGD）与 Adam 优化器进行了比较。评估包括改变训练集大小（100%、75%、50%、25%）以及在测试集中引入噪声，以测量泛化能力和鲁棒性。

关键结果

最优超参数： 网格搜索结果一致表明，理论推导出的学习率（ $\eta \approx 0.016$ ）及其接近值 0.01 在分类、分割和检测任务中均取得了最佳或接近最佳的性能。推导出的动量值（ $\alpha \approx 0.874$ ）也落在 SGD 表现最佳的范围内。
SGD 与 Adam 的对比：
- 性能： 在大多数任务和训练集大小下，使用推导出的超参数进行调整后的 SGD 在最终测试准确率、IoU 和 mAP50 方面始终优于 Adam。
- 收敛性： Adam 收敛速度显著更快（达到最小验证损失所需的轮数少 2–3 倍），这解释了其流行原因。然而，这种速度往往以牺牲泛化能力为代价。
- 过拟合： 在几种情况下，Adam 实现了更低的验证损失，但未能达到最佳的测试集性能，表明与 SGD 相比，其过拟合倾向更高。
噪声鲁棒性： 在噪声测试条件下（随机反转像素强度），使用 SGD 训练的模型表现出更优越的鲁棒性。随着噪声水平的增加，SGD 与 Adam 之间的误差差距扩大，SGD 始终保持着更低的错误率。

意义与主张
本文声称提供了神经网络训练中超参数选择的理论依据，超越了经验启发式方法。其主要贡献如下：

理论推导： 基于双贝叶斯框架，提供了特定的理论推导学习率（ $\approx 0.016$ ）和动量权重（ $\approx 0.874$ ），将信息论和贝叶斯决策过程与网络训练联系起来。
动量的重新诠释： 该框架为动量项提供了新的解释，表明它不仅仅是一个平滑因子，而是解决两个并行贝叶斯过程之间内在不确定性的必要组成部分。
泛化优越性： 结果表明，虽然像 Adam 这样的自适应方法提供了更快的收敛速度，但经过最优调整的 SGD 能产生偏差更小、泛化能力更好的模型，特别是在噪声环境中。
决策模型： 双贝叶斯方法被提出作为一种新颖的决策模型，其中知识分布在两个过程中，“最优”状态是不确定性的平衡，类似于海森堡不确定性原理。

作者得出结论，他们的框架为网络训练中的最优性概念提供了新见解，并支持使用具有特定理论依据超参数的 SGD 来实现无偏且鲁棒的模型。

1. “双重贝叶斯”之舞

2. 神奇数字：黄金比例和 0.016

3. 伟大的实验：它奏效了吗？

核心结论

类似论文