技术摘要：基于梯度流视角的最小 MMD 估计

问题陈述

最小最大均差（Minimum Maximum Mean Discrepancy, MMD）估计已成为参数推断中一种稳健的、无似然（likelihood-free）的极大似然估计（MLE）替代方案。它通过最小化参数化模型族 $\{P_\theta : \theta \in \Theta\}$ 与未知数据生成分布 $Q$ 之间的差异来进行。虽然最小 MMD 估计器的统计特性（对模型误设的稳健性、无似然计算的可行性）已得到充分验证，但其相关的优化问题 $\arg \min_{\theta \in \Theta} \text{MMD}^2(P_\theta, Q)$ 仍未被充分理解。

现有的优化方法通常依赖于标准的（随机）梯度下降（GD）。然而，MMD 目标函数通常是非凸的，这意味着标准的 GD 仅能保证收敛到驻点，而非全局极小值。目前针对最小 MMD 优化的唯一现有理论收敛保证（例如 Chérief-Abdellatif 和 Alquier, 2022）依赖于凸性假设，而这些假设在实践中很少成立，正如简单的高斯混合模型所展示的那样，其目标函数景观具有高度非凸性。本文旨在解决的核心开放问题是：能否设计一种针对最小 MMD 估计的梯度类优化方案，使其在非凸目标函数下也能提供收敛保证。

方法论

作者提出了一种**预条件梯度下降（Preconditioned Gradient Descent, PGD）**方案，该方案受到了概率测度空间上近期 MMD 梯度流研究进展的启发。该方法通过三个关键组件，弥合了非参数梯度流与参数化优化之间的鸿沟：

1. 自适应非参数 MMD 下降

作者首先分析了一种非参数下降方案，其中分布 $P_t$ 通过连续性方程直接在概率测度空间 $\mathcal{P}_2(\mathbb{R}^d)$ 中演化：
$$P_{t+1} = (\text{Id} - \gamma_t \nabla f_{\ell_t, P_t, Q}) \# P_t$$
其中 $f_{\ell, P, Q}$ 是见证函数（witness function），$\nabla f$ 是梯度场。至关重要的是，他们引入了一个**自适应核长度尺度（adaptive kernel lengthscale）**调度 $(\ell_t)_{t \in \mathbb{N}}$，该长度尺度从较大的值开始，并单调递减至目标值 $\ell > 0$。这种对核函数的“退火”处理被证明可以改善优化景观，通过平滑目标函数来避免局部陷阱。在轨迹级梯度占优（trajectory-wise gradient-dominance）条件下，他们证明了这种自适应非参数方案能全局收敛到目标分布 $Q$（定理 3.1）。

2. 向参数化子空间的投影

为了将此应用于参数化模型 $P_\theta = (G_\theta)\#\rho$，作者设计了一个近似非参数流的下降方向。他们并非计算 MMD 对 $\theta$ 的标准梯度，而是将非参数梯度场 $\nabla f_{\ell_t, P_{\theta_t}, Q} \circ G_{\theta_t}$ 投影到由 $\theta$ 的无穷小更新所能实现的线性子空间上。
更新方向 $\Delta \theta_t$ 通过求解以下最小二乘问题获得：
$$\Delta \theta_t = \arg \min_{u \in \mathbb{R}^p} \mathbb{E}_{z \sim \rho} \left[ \| J_\theta G_{\theta_t}(z) u - \nabla f_{\ell_t, P_{\theta_t}, Q}(G_{\theta_t}(z)) \|^2 \right]$$
这产生了一个包含预条件矩阵（生成器雅可比矩阵的经验 Fisher 类矩阵）和岭正则化项 $\lambda_t$ 的闭式解：
$$\Delta \theta_t^{PGD} = \left( \mathbb{E}[J_\theta G_{\theta_t}^\top J_\theta G_{\theta_t}] + \lambda_t I \right)^{-1} \mathbb{E}[J_\theta G_{\theta_t}^\top \nabla f_{\ell_t, P_{\theta_t}, Q}(G_{\theta_t})]$$
这不同于自然梯度下降（NGD），后者的预条件器源自 MMD 本身的几何结构；PGD 的预条件器则源自最小化参数化更新方向与非参数化更新方向之间的差异。

3. 理论保证

作者在满足以下两个主要条件的情况下，为 PGD 方案建立了全局收敛性（定理 4.6）：

1. 梯度占优（Gradient Dominance）： 一个将梯度场范数与 MMD 值（或在模型误设情况下的与最优 MMD 的差距）联系起来的条件。
2. 投影残差（Projection Residual）： 一个确保非参数梯度场与参数化模型的切空间不正交，且投影误差有界的条件（假设 3）。

该定理证明，在这些条件下，即使在非凸设置下，通过自适应调度核长度尺度，PGD 方案也能驱动 MMD 目标函数达到全局最小值（或在误设情况下的最佳近似值）。

关键结果

论文为 PGD 方案提供了理论和实证证据支持：

• 理论收敛性： 定理 4.6 确立了 PGD 的渐近全局收敛性，且无需假设 MMD 目标的凸性。这是对以往要求凸性工作的显著改进。
• 非参数收敛性： 定理 3.1 证明了自适应长度尺度的非参数 MMD 下降会收敛到目标分布，验证了“退火”直觉的有效性。
• 实证性能：
  • 高斯混合模型： 在双模高斯混合模型示例中，标准 GD 会陷入局部极小值，而 PGD 能成功收敛到全局极小值。
  • G-and-k 分布： 在这一无似然基准测试中，PGD 和 NGD 均优于标准 GD。PGD 以更少的迭代次数达到最优值，并且在处理挑战性参数方面比 GD 更出色。
  • Lotka-Volterra 模型： 在存在数据污染（离群点）的情况下，PGD 在各种污染水平下都能一致地恢复全局极小值，而 GD 和 NGD 在初始化较差或污染较高时会失败。
  • 复合拟合优度检验： 在开关基因表达模型的实验中，即使 GD 使用多起点方案（400 次初始化）来缓解非凸性，PGD 仍能实现比 GD 更精确的校准型 I 类错误（Type-I error）和更高的统计功效。PGD 仅需单次初始化即可实现这一点。
• 消融研究： 实验表明，自适应长度尺度和预条件器都对性能有所贡献，且两者的相对重要性随问题而异（例如，长度尺度对 Lotka-Volterra 至关重要，而预条件器对 G-and-k 更为关键）。

意义与主张

本文声称弥合了最小 MMD 估计的统计理论与实际计算之间的鸿沟。其主要意义在于提供了第一个在不假设目标函数凸性的情况下，为最小 MMD 估计器提供全局收敛保证的方法。

通过利用 MMD 梯度流的几何洞察并引入自适应长度尺度调度，作者展示了设计能够逃离非凸景观中局部极小值的优化方案是可能的。所提出的 PGD 方案不仅在显式（尽管是非平凡的）条件下提供了理论收敛保证，而且在包括涉及模型误设和数据污染的多样化统计推断任务中，其实证表现也优于标准梯度下降和自然梯度下降，展现出了更强的稳健性和效率。

作者对局限性保持了谦逊的态度，指出其分析依赖于难以在实践中验证的自适应长度尺度和投影残差的前验条件。他们还承认，其收敛结果是渐近性的，尚未提供关于样本量和迭代次数的非渐近速率。未来的工作建议将这些技术扩展到其他最小距离估计方法。