📊 statistics

Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

本文介绍了 DiMS，这是一种基于耗散黎曼力学的采样器，它利用动能、引力以及摩擦力，在损失函数极小值等高面上精确采样重参数化不变的解，从而相较于现有方法改进了贝叶斯推断中的不确定性量化。

原作者： Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics》（别让我停下：通过耗散黎曼力学采样损失极小值）的解释。

宏观图景：寻找“谷底平地”

想象你正在训练一个神经网络（一种人工智能）来解决某个问题。你可以将训练过程视为试图在一片广阔的山地景观中找到最低点。地面的高度代表模型的“误差”或“损失”。你位置越低，模型的表现就越好。

在过去，我们通常一旦找到一个低点（单一解）就停止训练。然而，这篇论文的作者指出了一个关键细节：在现代复杂的 AI 模型中，山谷的“底部”不仅仅是一个点。它是一个巨大、平坦且相连的平地。有数百万种不同的方式来排列模型的内部设置（参数），它们都能在训练数据上产生完全相同的完美分数。

问题在于，大多数方法要么：

随机搜寻低洼区域，但可能会错过完美的平地。
被困在一个微小的点上，无法探索平地的其余部分。

这篇论文介绍了一种名为DIMS（耗散极小值采样器）的新方法，以高效地探索整个“完美平地”。

类比：摩擦小球

要理解 DIMS 如何工作，想象一颗大理石球在这片景观上滚动。

1. 旧方法（测地线）：
想象一颗大理石球在完全无摩擦的表面上滚动。如果你推它一下，它会永远滚动，在山谷中来回弹跳。它永远不会停止。它虽然探索了该区域，但从未停下来给你一个具体的“答案”供你查看。它太混乱了，无法用于采样特定的解决方案。

2. 新方法（DIMS）：
作者提出了一种更聪明的滚球方式。他们引入了两种新的力：

重力： 这将大理石球拉向尽可能低的点（最小损失）。
摩擦力（秘密武器）： 这是关键。随着大理石球滚动，摩擦力会缓慢地消耗其能量。

这里的魔力在于：摩擦力不是恒定的。它是速度依赖的。

如果大理石球滚动得很快（高能量），摩擦力就很强，迅速使其减速。
如果大理石球滚动得很慢，摩擦力就很温和。

结果：
你将大理石球从一个已知的良好位置开始。你给它一个随机的“踢”（初始速度）。它四处滚动，探索这片景观。由于摩擦力的作用，它最终会耗尽所有能量并完全停止。关键在于，由于系统的物理特性，它总是恰好停在最小损失的平坦“平地”上。

它不会停在斜坡的中间；它恰好停在模型表现完美的地方。通过改变初始“踢”的方向，你可以让大理石球停在那个完美平地的不同位置，从而为你提供一组多样化的完美解决方案。

这为什么重要？（不确定性）

为什么我们需要许多具有相同完美分数的不同解决方案？

想象你正在教一个学生（AI）用 10 张图片来识别猫。

方案 A 学到了：“猫有尖耳朵。”
方案 B 学到了：“猫有胡须。”
方案 C 学到了：“猫有尾巴。”

这三个学生在用这 10 张图片进行测试时都得了 100 分。但如果你给他们看一张狗的照片，他们可能会产生分歧。

学生 A 可能会因为狗有尖耳朵而认为那是猫。
学生 B 可能会因为狗没有胡须而正确地说那不是猫。

如果你只挑选一个学生（旧方法），你就不知道你的 AI 是真正自信还是仅仅运气好。但如果你使用DIMS生成许多不同的“完美”学生，你就可以看到他们在哪里达成一致，在哪里产生分歧。

如果他们对一张新图片都达成一致，那么 AI 就是自信的。
如果他们产生巨大分歧，那么 AI 就是不确定的。

这对安全性至关重要。如果一辆 AI 驾驶的汽车，你希望它在不确定时知道减速，而不是自信地开下悬崖。

魔法背后的“物理学”

这篇论文使用了一些花哨的数学术语，但它们直接对应我们的 Marble 类比：

黎曼力学（Riemannian Mechanics）： 这只是描述大理石球如何在弯曲表面（AI 误差的景观）上移动，而不是在平坦地板上的数学。
耗散（Dissipative）： 这意味着“失去能量”。摩擦力项确保大理石球不会永远弹跳，而是会安定下来。
重参数化不变性（Reparameterization Invariant）： 这是一种 fancy 的说法，意思是尽管大理石球停在了不同的坐标（不同的内部设置），但函数（AI 的实际行为）同样好。

论文的实际主张

作者在几个数据集（如识别手写数字或识别玻璃类型）上测试了这种“摩擦球”方法。他们发现：

它有效： 大理石球总是停在完美的平地上，绝不会卡在斜坡的一半。
它很稳健： 你不需要过多调整摩擦设置；使用标准设置即可很好地工作。
它在猜测未知方面更出色： 当 AI 遇到未见过的数据（分布外数据）时，与其他方法相比，DIMS 方法更能说出“我不知道”。它提供了更诚实的不确定性衡量。

总结

将训练 AI 想象成寻找山谷底部。大多数方法找到一个点就停止了。这篇论文给了我们一个“摩擦球”，它在整个山谷底部滚动，在轻轻停下之前探索每一个可能的完美解决方案。这使我们能够看到 AI 知道的全貌，更重要的是，看到它不知道什么。

技术摘要：别让我停下：通过耗散黎曼力学采样损失极小值

问题陈述
现代神经网络通常具有过参数化特性，导致损失景观中的全局极小值并非孤立点，而是形成了连通的、连续的、重参数化不变解的子流形。尽管这些解在训练数据上表现同样优异，但它们可能在未见过的输入上诱导出多样的功能行为。现有的不确定性量化方法面临一种二分困境：采样低损失区域的方法往往无法强制对训练数据进行精确插值，而局限于重参数化不变集的方法通常本质上是局部的，限制了其探索不同极小值谷的能力。本文旨在解决在“优质解”空间中导航的挑战，以采样多样化的模型，这些模型在严格最小化训练损失的同时，保持对分布外（OOD）数据的高预测不确定性。

方法论：耗散极小值采样器（DIMS）
作者提出了耗散极小值采样器（DIMS），这是一种基于几何驱动的动态系统，旨在从损失函数的极小值水平集上精确采样。该方法基于黎曼力学和经典耗散系统。

黎曼表述：损失曲面被视为嵌入在 $\mathbb{R}^{K+1}$ 中的黎曼流形 $(M, g)$ 。度量张量 $G(\theta)$ 定义为拉回度量， $G(\theta) = I_K + \nabla_\theta L(\theta)\nabla_\theta L(\theta)^\top$ ，它将损失景观的曲率纳入参数空间的几何结构中。
动态系统：采样过程模拟了一个在该流形上运动的粒子。其动力学由源自欧拉 - 拉格朗日方程的二阶常微分方程（ODE）控制。该系统包括：
- 动能： $T(\alpha, \dot{\alpha}) = \frac{1}{2}\dot{\alpha}^\top G(\alpha)\dot{\alpha}$ 。
- 势能： $V(\alpha) = \kappa(L(\alpha) - L(\theta^*_{glob}))$ ，作为朝向极小值的引力。
- 耗散：引入摩擦项 $-\eta(t)\dot{\alpha}$ 以打破能量守恒。
速度依赖摩擦：一项关键创新在于耗散函数 $\eta(t)$ 的定义，它随粒子的速度（动能的平方根）以及速度与梯度之间的夹角进行缩放。这确保了当逆梯度运动时能量耗散更快，同时允许粒子在最小值水平集（此处梯度与速度正交）上以最小摩擦穿越。
采样过程：采样器将粒子初始化在训练好的极小值 $\theta^*$ 处，并赋予从分布中采样的随机速度（通常采用尊重局部几何的拉普拉斯近似）。数值积分该 ODE，直到粒子收敛到最小值子流形 $S^*(D)$ 上的新点。

主要贡献

针对最小值子流形的确定性采样器：DIMS 提供了一种连续访问训练损失最小值子流形上不同点的方法。它被表述为几何驱动的动态系统，具有可解释的物理超参数（摩擦系数 $\eta_0$ ）来控制探索。
理论保证：本文证明了所提出的动力学在有限时间内收敛到最小值流形之前会探索损失曲面。具体而言，定理 1 保证了在严格鞍点性质下收敛到平衡点集（局部极小值），而定理 2 和 3 提供了收敛时间和行进弧长的界限，确保了非平凡的探索。
实证验证：作者证明，集中在最小值流形上的后验近似具有优异的泛化能力。与现有的基于拉普拉斯的近似方法（标准 LA、线性化 LA 和黎曼 LA）相比，DIMS 提高了预测性能、校准度，特别是分布外不确定性量化能力。

实验结果
该方法在回归任务（Snelson 数据集）和分类任务（Banana、UCI 数据集、MNIST、Fashion MNIST）上进行了评估。

回归：在 Snelson 数据集上，DIMS 成功收敛到完美拟合训练数据且表现出高分布外不确定性的解，而黎曼拉普拉斯近似（RLA）在从次优位置初始化时无法保证插值。
分类：在 UCI 数据集上，与 RLA 和其他基线相比，DIMS 实现了具有竞争力或更优的负对数似然（NLL）和校准指标。值得注意的是，DIMS 对摩擦超参数 $\eta_0$ 具有鲁棒性，通常在跨不同数据集使用固定的默认值时表现良好。
分布外性能：在 MNIST 和 Fashion MNIST 上，DIMS 在分布外检测的 AUROC 分数上始终优于其他方法，表明其区分分布内与分布外样本的能力更强。

意义与主张
本文主张，DIMS 通过明确针对最小损失子流形的几何结构，为深度学习中的不确定性量化提供了一种原则性方法。与可能散布在低损失区域但未强制精确数据插值的传统近似后验不同，DIMS 保证了收敛到最小值流形。作者认为，这种方法能够生成多样化的函数空间样本，这些样本在训练数据上达成一致，但在其他方面存在差异，这是贝叶斯推断的关键属性。这项工作表明，受物理启发的、几何感知的动态系统可以有效地导航过参数化网络的复杂损失景观，为现有的采样和近似技术提供了稳健的替代方案。作者承认，由于需要在高维空间中求解 ODE，该方法的计算需求较高，但他们认为这种权衡带来了更优越的不确定性估计。