技术摘要：用于多维随机场条件分布重构的局部 Sinkhorn 框架

1. 问题陈述

从观测数据中识别随机场是不确定性量化（UQ）和科学机器学习中的一个关键挑战。许多物理系统（如多孔介质流和湍流输运）受随机参数控制，这些参数导致了确定性模型无法充分表征的随机响应。主要目标不仅是预测条件期望，而是重构随机解的整个条件概率分布。

虽然深度生成模型（如 CVAEs、GANs、扩散模型）在学习复杂分布方面展现了潜力，但它们往往难以保持与临近物理状态相关的概率测度的几何结构。最优传输（Optimal Transport, OT），特别是 Wasserstein 度量，提供了一种具有物理意义的距离，即使在分布具有不相交支撑集时也能保持信息量。作者的前期工作引入了一个局部平方 $W_2$ 框架来解决局部性问题，但对精确 OT 计算的依赖仍然是扩展性的瓶颈。

2. 方法论

作者提出了一种局部 Sinkhorn 散度框架，用于训练随机神经网络（SNN）以重构多维随机场。该方法集成了三个核心组件：

A. 随机神经网络 (SNN) 架构

该模型采用一种 SNN，其中随机参数（代表不确定性变量 $\omega$）在正向传播期间被采样。这使得网络能够针对单个输入位置生成多个实现，从而近似目标随机场 $\mathbf{y}(\mathbf{x}, \omega)$ 的条件分布 $\mu_{\mathbf{x}}$。

B. 通过邻域实现的局部分布匹配

为了在没有显式控制方程的情况下处理条件问题，该框架利用了邻域技术。对于给定的输入 $\mathbf{x}_i$，基于半径 $\delta$ 定义一个邻域 $B(\mathbf{x}_i, \delta)$。从该邻域内的样本构建经验条件分布。损失函数最小化整个输入域内真实分布与 SNN 预测分布之间的差异。

C. 去偏 Sinkhorn 散度

作者没有使用精确的平方 $W_2$ 距离，而是使用了去偏 Sinkhorn 散度（$S_\varepsilon$）。

• 熵正则化： Sinkhorn 算法在 OT 代价函数中引入了熵正则化项 ($\varepsilon$)，使问题变得可微，并可通过迭代矩阵缩放而非线性规划来求解。
• 去偏处理： 为了消除正则化传输中固有的熵偏差（即 $S_\varepsilon(\mu, \mu) \neq 0$），作者使用了定义：
  $$S_\varepsilon(\mu, \hat{\mu}) = W_\varepsilon^2(\mu, \hat{\mu}) - \frac{1}{2}W_\varepsilon^2(\mu, \mu) - \frac{1}{2}W_\varepsilon^2(\hat{\mu}, \hat{\mu})$$
• 损失函数： 提出的损失是输入域上 Sinkhorn 散度的平均值：
  $$\mathcal{S}_{\varepsilon, \delta}^e(\mathbf{y}_{\mathbf{x}}, \hat{\mathbf{y}}_{\mathbf{x}}) = \int_{\mathcal{D}} S_\varepsilon(\mu_{\mathbf{x}, \delta}^e, \hat{\mu}_{\mathbf{x}, \delta}^e) \nu^e(d\mathbf{x})$$
  其中 $\mu_{\mathbf{x}, \delta}^e$ 和 $\hat{\mu}_{\mathbf{x}, \delta}^e$ 是由邻域样本构建的经验测度。

D. 理论分析

论文建立了所提框架的泛化误差界。分析揭示了由正则化参数 $\varepsilon$ 和邻域半径 $\delta$ 控制的权衡：

• 偏差-方差权衡： 较小的 $\varepsilon$ 趋向于精确的 $W_2$ 距离（高几何保真度），但会在高维情况下面临统计收敛缓慢的问题。较大的 $\varepsilon$ 可以提高统计效率和计算速度，但会引入正则化偏差。
• 维度诅咒： 误差界表明，与经验 Wasserstein 距离相比，熵正则化项可以部分缓解维度诅咒，特别是当条件分布变化平滑时。

3. 核心贡献

1. 框架扩展： 作者将其之前的局部最优传输框架从精确 Wasserstein 距离扩展到了去偏 Sinkhorn 散度。这产生了一种完全可微、可扩展且计算高效的方法，用于训练 SNN。
2. 理论保证： 论文提供了理论上的泛化误差界，明确表征了近似偏差与统计效率之间的权衡。这些界限证明了正则化参数如何影响收敛速率以及减轻维度诅咒的潜力。
3. 经验验证： 该框架在三个不同的数值示例中得到了验证：
   • 1D 条件分布： 重构双峰高斯混合模型。
   • 随机 Darcy 流： 一个涉及渗透率场和空间相关性的多维问题。
   • 随机 FitzHugh–Nagumo (FHN) 系统： 一个耦合非线性随机振子网络。

4. 结果

数值实验表明，局部 Sinkhorn 框架在重构精度和计算效率之间实现了卓越的平衡：

• 精度： 在 1D 示例中，局部 Sinkhorn 损失在重构条件均值和方差方面均优于逐点回归损失（MSE、MAE）和其他基于分布的损失（能量距离、MMD、局部 $W_2$）。
• 效率： 在随机 Darcy 流基准测试中，基于 Sinkhorn 的 SNN 在所有测试方法（包括异方差高斯回归、MDN、CVAE 和 CNF）中实现了最低的均值和方差误差。至关重要的是，与局部平方 $W_2$ 方法相比，它显著缩短了训练时间（308s 对比 500s），同时保持了相当或更好的精度。
• 动力系统： 对于随机 FHN 系统，该方法成功重构了动力学中的确定性漂移和随机扩散组件。与局部 $W_2$ 基准相比，Sinkhorn 方法在学习到的漂移和扩散函数方面表现出更低的误差，并伴随轻微的训练时间缩减。
• 鲁棒性： 敏感性分析表明，该方法在不同噪声水平下保持稳定，且中间规模的邻域半径和正则化参数能提供最优的权衡。

5. 重要性与主张

论文声称，所提出的局部 Sinkhorn 框架为不确定性量化提供了一个实际的折衷方案，兼顾了几何保真度、统计效率和计算可扩展性。

• 可扩展性： 通过使用 Sinkhorn 散度取代精确 OT 计算，该方法克服了此前限制局部最优传输应用于多维随机系统的计算瓶颈。
• 几何保真度： 与可能在处理不相交支撑集或复杂几何结构时表现不佳的核方法（如 MMD）或基于似然的模型不同，Sinkhorn 散度保留了底层概率测度的几何结构。
• 理论洞察： 推导出的误差界为在高维随机场学习中使用熵正则化提供了理论依据，表明通过适当调节 $\varepsilon$ 可以减轻维度诅咒。
• 广泛适用性： 该框架被呈现为一个通用的概率科学机器学习工具，能够处理仅有离散观测数据的随机偏微分方程和复杂动力系统。

作者总结道，利用基于 OT 损失的局部邻域对于性能的影响比增加条件生成器的复杂度更为关键，而局部 Sinkhorn 方法有效地利用了这一见解，使其表现优于现有的基于机器学习的 UQ 基准。