技术摘要：从样本中学习：测度上的逆问题

1. 问题表述

本文研究了一类逆问题，其中需要从由凸变分原理隐式定义的测度 $\mu^*$ 中提取的独立样本中恢复未知的势函数 $V^*$。与标准的回归或分类不同，前向映射 $V \mapsto \mu$ 是非线性的且是隐式的。具体而言，观测到的测度是以下泛函的唯一极小值点：
$$\mu_\Omega[V] \in \arg\min_{\mu \in \mathcal{M}_+(Z)} \left\{ \int_Z V(z) d\mu(z) + \Omega(\mu) \right\}$$
其中 $\Omega$ 是一个适当的泛函（例如熵、最优传输代价或 Wasserstein 梯度流步长）。目标是在给定 $n$ 个来自 $\mu^*$ 的独立同分布样本 $z_1, \dots, z_n$ 的情况下，估计有限维势函数类 $V_\theta(z) = \sum \theta_i \phi_i(z)$ 的参数 $\theta^*$。

主要的挑战在于，当使用标准差异度量（如 MMD 或平方距离）来比较经验测度与预测测度时，前向解映射对于参数通常是非凸的。

2. 方法论

2.1 最优性间隙损失（Fenchel–Young）

作者建议通过最小化最优性间隙（optimality gap），而不是最小化经验测度 $\hat{\mu}_n$ 与预测测度 $\mu_\Omega[V_\theta]$ 之间的距离，来解决该问题。他们利用了 Fenchel–Young 损失：
$$L_{FY}^\Omega(V; \mu) = \langle V, \mu \rangle - \inf_{\nu} \{ \langle V, \nu \rangle + \Omega(\nu) \}$$
当势函数类是仿射时，该损失关于 $V$（以及 $\theta$）是凸的。当 $\mu$ 是 $V$ 的最优解时，该损失为零。这种方法将逆问题转化为一个凸优化任务，避免了直接进行测度匹配所固有的非凸性。

2.2 锐化 Fenchel–Young 损失

作者指出标准 Fenchel–Young 损失的一个局限性：其曲率和稳定性完全取决于前向泛函 $\Omega$。在诸如逆梯度流等设置中，损失函数可能是分段线性的或缺乏强凸性，从而导致条件数变差。

为了解决这个问题，他们通过在前向变分问题中添加一个依赖于数据的差异项 $D(\mu | \hat{\mu}_n)$，引入了锐化 Fenchel–Young 损失：
$$\Omega^\sharp_{\hat{\mu}_n}(\mu) = \Omega(\mu) + D(\mu | \hat{\mu}_n)$$
由此产生的损失为：
$$L^\sharp_{D, \Omega}(V; \hat{\mu}_n) = \langle V, \hat{\mu}_n \rangle - \inf_{\mu} \{ \langle V, \mu \rangle + \Omega(\mu) + D(\mu | \hat{\mu}_n) \}$$
其关键特性包括：

• 校准性（Calibration）： 如果 $V$ 是真实的势函数，损失仍保持为零（保留了精确解）。
• 几何改善： 差异项（例如 KL 散度）正则化了内部变分问题，将硬极小值转变为局部平滑且强凸的目标函数。
• 单调性： 增加锐化强度可以改善局部曲率。

2.3 模块化稳定性框架

本文建立了一个通用的稳定性定理（定理 1），将逆误差界分解为三个不同的组成部分：

1. 测量误差： 经验测度 $\hat{\mu}_n$ 与真实测度 $\mu^*$ 之间的偏差。
2. 前向稳定性： 前向映射对泛函 $\Omega$ 的扰动（例如使用经验边际分布代替真实边际分布）的敏感程度。
3. 经验曲率： 损失函数在真实参数附近的局部强凸性。

3. 核心贡献与结果

3.1 理论保证

作者为两个特定的应用提供了有限样本恢复界限，证明了锐化损失能实现高概率的参数恢复：

• 逆非平衡最优传输（iUOT）： 本文从最优耦合的样本中恢复代价函数，其中边缘质量可能不会精确守恒。锐化损失处理了该问题的非平衡性质，且稳定性定理提供了依赖于熵非平衡 OT 样本复杂度的界限。
• 逆 JKO 学习： 本文解决了从 Wasserstein 梯度流（Jordan–Kinderlehrer–Otto 方案）的独立快照中学习势函数的问题。通过使用到下一个快照的 KL 散度进行损失锐化，该问题被简化为一个逆非平衡传输问题。这使得可以将 iUOT 的稳定性结果迁移到 JKO 设置中。

3.2 与二次损失的关系

论文阐明了所提出的基于间隙的损失与现有二次代理损失（如二次 iJKO$^\star$ 损失）之间的关系。

• 命题 2 表明，当锐化参数 $r \to \infty$ 时，锐化 Fenchel–Young 损失收敛于涉及 Kantorovich 势函数的二次残差。
• 这确立了二次损失本质上是变分间隙的高锐化局部近似。虽然二次损失在计算上很方便，但它们可能会丢弃全局变分信息，而有限锐化的间隙损失则保留了完整的凸几何结构。

3.3 数值实验

作者通过两个实验验证了其理论：

1. 密度估计（精度矩阵）： 在高斯精度估计任务中，通过 KL 散度进行的锐化显著改善了 Hessian 矩阵的条件数，与未锐化（标准 MLE）的情况相比，加速了梯度下降的收敛。
2. 稀疏逆梯度流： 在从快照数据中恢复稀疏相互作用图的任务中，锐化 Fenchel–Young 损失在支持集恢复方面优于二次 iJKO$^\star$ 基准，特别是在二次代理因其局部化特性导致识别误差的集中区域。

4. 意义与主张

本文声称其主要贡献是一个凸最优性间隙方法论，该方法通过依赖数据的锐化避免了直接测度匹配的非凸性。

• 模块化： 将逆误差分析分解为测量、前向和曲率组件，为分析各种逆变分问题提供了一个可重用的框架。
• 几何改善： 锐化技术被证明是一种在不牺牲逆问题校准性的前提下，改进局部几何结构的原则性方法。
• 统一性： 本工作将逆最优传输和逆梯度流学习统一在一个单一的理论框架下，表明逆 JKO 可以被视为逆非平衡传输的一个特例。

作者对研究范围保持了谦逊的态度，指出目前的分析仅限于有限维势函数类，而如何扩展该理论至非参数化设置，以及如何开发避免求解大规模内部传输问题的可扩展算法，仍是开放性的挑战。