技术摘要：用于深度高斯过程的 Onsager–Machlup 后验传输

1. 问题陈述

深度高斯过程（DGPs）通过堆叠高斯过程（GP）层，提供了一个具有校准不确定性的贝叶斯深度学习框架。然而，推理仍然是主要的计算瓶颈。每层诱导变量 $U = \{U^{(\ell)}\}_{\ell=1}^L$ 的后验分布是非高斯的，且在层间高度相关，导致精确推理不可行。

现有的近似推理方法面临权衡：

• 显式密度拟合（基于 ELBO）： 如双重随机变分推断（DSVI）等方法强制高斯分解，这对于多模态或相关的后验分布具有局限性。
• 基于分数的随机微分方程（SDE）： 如 DDVI 和 DBVI 等方法将后验定义为通过去噪分数匹配（DSM）和 Girsanov 形式的证据下界（ELBO）训练的反向时间随机微分方程（SDE）的终端。虽然灵活，但这些方法需要训练辅助分数网络，并遭受随机积分方差的困扰。
• 采样： 随机梯度哈密顿蒙特卡洛（SGHMC）计算成本高昂，且难以扩展到大型数据集。

核心挑战在于对 DGP 诱导变量进行推理，既要避免 DSVI 的限制性高斯假设，又要避免基于分数的 SDE 方法的高方差辅助损失和随机积分成本。

2. 方法论：FBVI-bridge-Path（OM-Path）

作者提出了后验传输作为一种替代公式。他们不通过最大化 ELBO 来拟合密度 $q_\phi(U)$，而是学习一个确定性采样器 $T_\phi$，将可处理的参考测度映射到后验相关的诱导变量。

2.1 从 SDE 到确定性 ODE

该方法建立在 DBVI 中使用的Doob 桥接前向 SDE之上，该 SDE 通过摊销器 $\mu_\theta(x)$ 将扩散过程锚定到数据相关的初始分布。

• 参考过程： 作者将 Song 等人（2021）的概率流 ODE 约化应用于 DBVI 桥接 SDE。这产生了一个闭式参考漂移 $v_{ref}^{Bri}(U, s)$，直接源自桥接边缘系数（均值和方差），从而消除了对分数匹配的需求。
• 确定性传输： 变分对象是一个确定性 ODE $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$，它将样本从桥接的噪声侧边缘传输到后验。

2.2 Onsager–Machlup 目标

一个关键的理论见解是，SDE 基于 VI 中使用的标准 Girsanov KL 散度在扩散系数 $g \to 0$（确定性极限）时会发散。确定性极限的正确目标是Onsager–Machlup（OM）作用量，它对应于 Freidlin–Wentzell 大偏差率泛函。

训练目标 $L_{OM}$ 定义为：
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• 数据项： 端点的负对数似然。
• 路径先验： 一个无迹正则化项，衡量学习到的速度场与闭式参考漂移的偏差。
• 关键特性：
  • 无迹： 无需 Hutchinson 迹估计（不同于 FFJORD/CNF）。
  • 无辅助损失： 无需去噪分数匹配（不同于 DDVI/DBVI）。
  • 无配分函数： 无需估计 $\partial_t \log Z_t$（不同于 NFS2）。

2.3 理论状态

定理 1 确立了 $L_{OM}$ 通过 Freidlin–Wentzell 大偏差原理（LDP）在 $\epsilon \to 0$ 时，与 tempered Doob 桥接路径后验的小噪声最大后验（MAP）路径相一致。

• 在有限的训练值下（$\alpha=1, \epsilon=1$），该目标作为由端点似然倾斜的高斯参考路径测度的路径空间正则化器起作用。
• 该方法是一个路径空间 MAP 估计量，而非 ELBO。作者明确指出了这一区别，将其与严格的下界方法进行了对比。

2.4 严格 ELBO 消融实验

该论文在相同的桥接骨干上推导了两个严格的路径空间 ELBO 变体：

1. FBVI-bridge-CNF： 使用 FFJORD 瞬时变量变换公式（Hutchinson 迹）计算 KL 项。
2. FBVI-bridge-CNFOM： 在 CNF 目标上添加 OM 正则化项。
   经验表明，由于 Hutchinson 迹估计器引入的高方差，这些严格 ELBO 变体的表现不如无迹 MAP 估计量。

3. 主要贡献

1. 用于 DGPs 的后验传输： 引入了一种基于确定性 ODE 的 DGP 诱导变量后验传输框架，取代了基于 ELBO 的分数-SDE 推理。参考漂移是闭式的，无需分数匹配。
2. 有限-$\epsilon$ 路径后验恒等式： 严格地将训练目标识别为 tempered 路径后验（有限 $\alpha$）的非归一化密度的负对数，并通过 Freidlin–Wentzell LDP（定理 1）将其与小噪声 MAP 路径联系起来。
3. 偏差 - 方差权衡分析： 证明在 DGP 后验传输机制中，降低路径目标的方差（通过移除 Hutchinson 迹）比跟踪精确密度的收益更为重要。无迹 MAP 估计量优于严格 ELBO。
4. 实证验证： 在大规模 UCI 回归数据集（$N > 9,000$）上显示出比最先进 DBVI 具有统计显著性的改进，在二分类任务上表现具有竞争力，同时在小型数据集上保持稳定性。

4. 实验结果

该方法（FBVI-bridge-Path 或 OM-Path）在七个 UCI 回归数据集、大规模回归（Airline, Year）和二分类（SUSY, HIGGS）上与 DSVI、SGHMC、IPVI、DDVI 和 DBVI 进行了评估。

• 小型/中型回归（UCI）：
  • 显著胜利： OM-Path 在两个最大数据集上相对于 DBVI 取得了统计显著的胜利（配对 Wilcoxon 检验）：Power（$p=0.014$）和Protein（$p=0.002$）。
  • 平局： 在Yacht和QSAR上统计持平。
  • 失利： OM-Path 在小型 $N$ 噪声数据集（Boston, Energy, Concrete）上不敌 DBVI，在这些数据集中，DBVI 分数参数化的 SDE 噪声正则化提供了优势。
• 大规模回归： 在Year（51.5 万行）和Airline数据集上，OM-Path 在 RMSE 和 NLL 上实现了平均最佳性能，尽管由于种子数量有限，未声称统计显著性。
• 二分类： OM-Path 在 SUSY 和 HIGGS 上与 DBVI 并列最佳，缩小了此前与隐式 $q$ 代理之间存在的差距。
• 少步推理： 由于 ODE 的确定性性质，OM-Path 支持激进的少步推理（1–4 步），在 Energy 和 Concrete 等数据集上精度下降极小，在此机制下优于随机基线。
• 贝叶斯优化： OM-Path 在低到中等维度的合成基准（Hartmann-6, Levy-20）上提供了更优越的不确定性量化，优于 DSVI。

5. 意义与主张

该论文声称 FBVI-bridge-Path 代表了 DGPs 基于分数的变分推理的一种严谨的、无迹的替代方案。其意义在于：

• 理论严谨性： 将训练目标建立在 Freidlin–Wentzell LDP 和 Onsager–Machlup 作用量之上，为确定性后验传输提供了数学上合理的依据。
• 实际效率： 消除了分数匹配和 Hutchinson 迹估计的计算开销，从而加快了训练速度并产生了更稳定的梯度。
• 性能： 证明了一种路径空间 MAP 估计量，它用较低的方差换取了严格的 ELBO 界限，在梯度方差成为限制因素的大型数据集上产生了更优越的实证结果。

作者对其主张持谨慎态度，承认：

• 该方法不是 ELBO，不提供边缘似然的下界。
• 存在严格 ELBO 变体，但由于方差原因，在该特定机制下实证表现较差。
• 目前，小型噪声数据集的最佳性能仍由基于分数方法的随机正则化（DBVI）提供。
• 与 MAP 路径的理论恒等式是一个渐近结果（$\epsilon \to 0$），而实际训练发生在有限 $\epsilon$ 下。