技术摘要：用于可能论变分推断的最大化 Donsker-Varadhan 公式

1. 问题陈述

变分推断（VI）是现代贝叶斯学习的基石，它通过最大化证据下界（ELBO）在复杂模型中实现近似推断。然而，标准 VI 依赖于通过高维积分定义的期望和散度（如 Kullback-Leibler 散度），这些定义预设了可加性概率测度。这种依赖性使得解析处理变得困难，并需要大量的近似。

相反，可能论（Possibility Theory）提供了一种不要求可加性的不精确概率框架，用于建模认知不确定性。它利用最大/最小算子代替求和，从而能够直接在稀疏或不精确信息下建模不确定性。虽然可能论提供了鲁棒性和可解释性，但将 VI 适应于这一环境并非易事。标准目标（如 ELBO）和散度（如 KL 散度）在可能论设定中没有直接的类比，因为它们根本上依赖于可加性测度。现有的尝试（如 Cella 和 Martin (2025) 的工作）使用蒙特卡洛策略来近似可能论推断模型，但缺乏一个原则性的、通用的可能论 VI 变分框架。

2. 方法论

最大化 Donsker-Varadhan 类比

本工作的核心理论贡献是建立了经典 Donsker-Varadhan (DV) 变分公式的最大化类比。

在标准概率 VI 中，DV 公式将 log-证据表征为涉及 KL 散度的目标函数的上确界。作者推导出了可能论设定的对偶变分表征。设 $\pi$ 为先验可能函数，$\ell$ 为损失函数。最大化后验 $g^*_{\max}$ 定义为：
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

作者证明了 log-一致性（即最大化边缘似然的对数）可以通过两个对偶变分问题来表达：

1. 下界（最大化）： $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. 上界（最小化）： $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

此处，$\mathcal{F}(\Theta)$ 是可能函数的集合。右侧优化的量被称为一致性界（CBO）。

• 最大化下 CBO 产生下界真实后验的可能函数（$g \preceq g^*_{\max}$）。
• 最小化上 CBO 产生上界真实后验的可能函数（$g^*_{\max} \preceq g$）。

标准可能论后验 $g^*_{\max}$ 是唯一同时满足这两个界限的元素，充当解集的标准代表。优化过程涉及最大相对熵（$D_{\max}$），定义为 $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$，其在标准 VI 中的作用类似于 KL 散度。

指数族处理与学习规则

为了使该框架适用于神经网络，作者开发了指数族可能函数的处理方法。他们定义了一类候选函数 $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$，其中 $A^\dagger$ 是 log-配分函数 $A$ 的勒让德变换。

推导出的关键性质包括：

• 共轭性： 在无信息先验下，后验仍保持在同一指数族内，超参数更新为充分统计量的运行均值。
• 类牛顿更新： 通过应用 Danskin 定理和二阶泰勒近似，作者推导出了优化 CBO 的学习规则。这导致了一个类似于牛顿步的自然梯度更新：
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  其中 $H_s$ 是一个有符号曲率矩阵，依赖于损失的 Hessian 矩阵和候选函数的精度。

CBOpt 优化器

基于这些理论推导，作者提出了一组名为CBOpt的优化器。

• uCBOpt： 优化上 CBO（最小化上界）。
• lCBOpt： 优化下 CBO（最大化下界）。
• 自适应变体（uCBOpt-adapt, lCBOpt-adapt）： 这些变体在训练过程中动态调整曲率参数 $\vartheta$，以满足内部优化问题所需的凸性/凹性条件。

实际实现使用 Hessian 矩阵的对角近似（类似于 Adam 或 Vprop），以及用于梯度和平方梯度估计的指数移动平均（EMAs），使其具有计算高效性，并能扩展到大型神经网络。

3. 主要贡献

1. 理论公式化： 本文建立了首个原则性的 Donsker-Varadhan 公式的最大化类比，为可能论推断提供了严格的变分基础。
2. 对偶表征： 它引入了具有对偶下界和上界公式的一致性界（CBO），证明了真实可能论后验是这些界限的唯一交集。
3. 指数族框架： 作者为可能论指数族开发了共轭先验框架，揭示了与概率情况的结构性平行，同时适应了该理论的最大化性质。
4. CBOpt 优化器： 推导并实现了一组新的优化器，为使用可能论变分推断训练神经网络提供了一种实用方法。
5. 实证验证： 该方法在域内和域外（OOD）图像分类任务上进行了评估，展示了具有竞争力的预测性能和可靠的不确定性估计。

4. 实验结果

作者在三个数据集（Fashion-MNIST、CIFAR-10 和 CIFAR-100）上将 CBOpt 变体（uCBOpt、uCBOpt-adapt、lCBOpt-adapt）与 SGD、AdamW、IVON、MC Dropout、拉普拉斯近似和 SWAG 等基线进行了评估。

• 域内性能： 在 Fashion-MNIST 上，CBOpt 变体取得了最强的整体性能，其中 lCBOpt-adapt 获得了最佳准确率（0.913）和负对数似然（NLL）。在 CIFAR-100 上，所有 CBOpt 变体在大多数域内指标上均优于基线，表明其可扩展到更大的模型。
• 域外（OOD）检测： 这些方法展示了具有竞争力的 OOD 检测能力。uCBOpt 在不同数据集上表现出一致的行为，在 FPR@95 和 AUROC 方面匹配或接近 MC Dropout 和 SWAG 的性能。
• 效率： CBOpt 变体保持了与一阶优化器（如 SGD 和 Adam）相当的计算效率，仅需每参数的梯度和标量曲率估计，无需在推理时进行多次随机前向传播（这与 MC Dropout 不同）。
• 与 MC Dropout 的结合： 额外的实验表明，将 CBOpt 与 MC Dropout 结合，既保留了 MC Dropout 强大的域内性能，又进一步改善了 OOD 检测指标。

5. 意义与主张

本文主张，可能论变分推断不仅仅是现有方法的重新表述，而是提供了一种关于不确定性表示的独特视角，从而产生了具有实际用途的算法。

• 概念转变： 通过从可加性概率转向最大化可能论，该框架自然地处理了认知不确定性，并允许使用完全无信息的先验，而不会出现概率论中常见的非正常积分问题。
• 实用价值： CBOpt 的开发表明，该理论框架可以实例化为可扩展的优化器，与最先进的不确定性感知学习方法（如 IVON 和 MC Dropout）竞争，同时避免了测试时采样的计算开销。
• 未来工作的基础： 作者指出，他们的工作为将变分推理扩展到可能论提供了基础。他们注意到，该框架的组成部分（特别是无信息先验下的最大化伪散度和后验）已被 Ni 等人 (2026) 利用来推导二阶预测器，验证了底层理论的实用性。

作者在局限性方面保持谦逊，承认其类牛顿更新依赖于二阶近似和特定的曲率条件，并且当前的实证验证仅限于具有对角 Fisher 近似的各向同性高斯候选函数。然而，他们断言该框架成功弥合了理论可能论推断与可扩展深度学习应用之间的差距。