技术摘要：基于自一致性、方差最大化与坎托罗维奇支配关系的数据去噪

1. 问题表述

本文探讨了数据去噪（或降维）这一基本问题，即从观测到的噪声分布 $\nu$ 中推断未知的真实信号分布 $\mu$。作者假设信号属于一个由 Borel 概率测度构成的结构化域 $\mathcal{D}$。

现有方法通常分为两类：

1. 距离最小化： 在 Wasserstein 度量 ($W_2$) 下寻找距离 $\nu$ 最近的 $\mu \in \mathcal{D}$。这对应于一个“松弛”问题（例如 $k$-means、主曲线）。
2. 自一致性： 寻找满足噪声条件期望为零的 $\mu \in \mathcal{D}$（即对于 $\mu$ 与 $\nu$ 之间的某种耦合，满足 $\mathbb{E}[Y|X]=X$）。这等价于要求满足鞅耦合（martingale coupling），或者说 $\mu$ 在凸序（convex order）下被 $\nu$ 所支配（即 $\mu \preceq_C \nu$）。

作者指出存在一个差距：虽然自一致性是一个理想的性质（在简单情况下，它是距离最小化问题的一阶最优性条件），但仅由自一致性导出的解通常并不最小化与数据的距离。相反，距离最小化并不强制执行自一致性。本文提出了一个统一的框架，旨在寻找既最接近 $\nu$ 又同时满足自一致性的分布 $\mu \in \mathcal{D}$。

2. 方法论

2.1 凸序框架

作者将去噪问题表述为：
$$\min_{\mu \in \mathcal{D}} \min_{\pi \in \mathcal{M}(\mu, \nu)} \int |x-y|^2 d\pi(x,y)$$
其中 $\mathcal{M}(\mu, \nu)$ 是鞅耦合的集合。根据 Strassen 定理，当且仅当 $\mu \preceq_C \nu$ 时，鞅耦合存在。由于在鞅约束下的 Wasserstein 距离简化为方差之差（$\text{Var}(\nu) - \text{Var}(\mu)$），因此该问题等价于在满足凸序约束的前提下，在域 $\mathcal{D}$ 内最大化 $\mu$ 的方差：
$$\max_{\mu \in \mathcal{D}, \mu \preceq_C \nu} \text{Var}(\mu)$$

凸序问题的关键性质：

• 存在性： 对于与凸序集有非空交集的闭域 $\mathcal{D}$，解是存在的。
• 鲁棒性： 如果噪声较小（即 $\nu$ 接近某个属于 $\mathcal{D}$ 且满足 $\rho \preceq_C \nu$ 的真实信号 $\rho$），则解 $\mu^*$ 与 $\rho$ 在量化意义上是接近的。
• 局限性：
  • 计算难度： 检查凸序条件 $\mu \preceq_C \nu$ 是非平凡的。
  • 不稳定性： 解对于数据的扰动 $\nu$ 可能会不稳定。
  • 平凡性： 对于某些特定的域，集合 $\{\mu \in \mathcal{D} \mid \mu \preceq_C \nu\}$ 可能为空，或者仅包含平凡解（例如 Dirac 测度），从而使问题失去意义。

2.2 坎托罗维奇支配关系 (KDR)

为了解决凸序的局限性，作者引入了一种更弱的关系，称为坎托罗维奇支配（Kantorovich Dominance, $\mu \preceq_K \nu$）。
若存在耦合 $\pi \in \Pi(\mu, \nu)$ 使得：
$$\int \langle x - b_\nu, y - x \rangle d\pi(x,y) = 0$$
其中 $b_\nu$ 是 $\nu$ 的重心。假设测度是中心化的，这等价于：
$$\sup_{\pi \in \Pi(\mu, \nu)} \int \langle x, y \rangle d\pi(x,y) \geq \int |x|^2 d\mu(x)$$
该条件意味着“坎托罗维奇代价”（最大相关性）支配了 $\mu$ 的二阶矩。

KDR 的性质：

• 松弛性： 它是凸序的一种松弛（$\mu \preceq_C \nu \implies \mu \preceq_K \nu$）。
• 最优性条件： 对于被称为锥（cones，对缩放运算封闭）的一类域，KDR 条件自然地作为松弛后的距离最小化问题的最优性条件出现。
• 稳定性： 与凸序问题不同，基于 KDR 的去噪问题对于数据的扰动 $\nu$ 是稳定的。
• 紧致性： 虽然由凸序支配的测度集在 $W_2$ 度量下是紧的，但 KDR 下的测度集除非限制在紧支撑集 $\Omega$ 内，否则不一定是紧致的。

2.3 KDR 变分问题

作者提出了以下使用 KDR 的去噪问题：
$$\max_{\mu \in \mathcal{D} \cap \mathcal{M}^K_{\nu, \Omega}} \text{Var}(\mu)$$
其中 $\mathcal{M}^K_{\nu, \Omega}$ 是紧集 $\Omega$ 中被 $\nu$ 在 KDR 下支配的测度集合。

关键理论结果：

1. 对于锥的等价性： 如果 $\mathcal{D}$ 是一个锥且具有平移不变性（或包含在中心化测度中），则 KDR 问题与完全松弛的 Wasserstein 距离最小化问题是等价的。
2. 对于弱优化器的等价性： 如果 $\mathcal{D}$ 对“弱优化器”（一个与重心重中心化相关的条件）是封闭的，则 KDR 解满足完整的自一致性条件（$\mu \preceq_C \nu$）。
3. 恢复 PCA： 当 $\mathcal{D}$ 是支持在 $m$ 维子空间上的测度集合时，KDR 问题会恢复主成分分析（PCA）。至关重要的一点是，与凸序公式化不同，KDR 公式化即使在数据是离散的（例如经验测度）时也能允许非平凡解，而凸序约束在这种情况下会迫使解变为 Dirac 质量。

3. 主要贡献

1. 统一框架： 本文通过将去噪表述为分布支配约束下的方差最大化问题，引入了一个统一的框架，将距离最小化与自一致性结合在一起。
2. 坎托罗维奇支配： 引入了一种新的、更弱的支配关系，它保留了鞅耦合（自一致性）的精神，但提供了更优的计算可行性和稳定性。
3. 理论保证： 证明了所提问题的存在性、鲁棒性和稳定性。论文表明，对于特定的域（锥），复杂的自一致性要求会坍缩为标准的距离最小化，而对于其他域，它则提供了一个有意义的中间解。
4. 与经典方法的联系： 作者严谨地展示了在适当的域选择下，PCA、$k$-means 聚类和主曲线是如何作为其框架下的特例出现的。

4. 数值结果

作者使用广义 Lloyd 算法和用于高效计算耦合的 Sinkhorn 算法来求解 KDR 问题，并提供了数值示例。

• 主曲线： 该方法成功地对噪声数据进行曲线拟合，在捕捉底层结构方面优于或匹配了现有的主曲线定义（如 Hastie-Stuetzle, Kegl et al., Tibshirani）。
• 稳定性比较： 数值实验说明，虽然自一致性（凸序）解可能不稳定或对于离散数据不存在，但 KDR 解保持稳定且具有信息量。
• 可扩展性： KDR 方法允许处理更大的数据集（例如 5000 个点），而在这些情况下，凸序公式化会因为内存限制或缺乏可行解而失效。

5. 意义与主张

本文声称提供了一个“通用的数据去噪范式”，该范式捕捉了距离最小化和自一致性的关键特征。其主要意义在于：

• 解决不稳定性： 它为自一致性方法提供了一个稳定的替代方案，后者容易出现不稳定性和平凡解。
• 架起理论与实践的桥梁： 通过引入坎托罗维奇支配，作者在鞅最优传输的理论优雅性与去噪算法的实际需求（计算效率和稳定性）之间建立了一座桥梁。
• PCA 的泛化： 这项工作不仅将 PCA 视为一种线性投影，还将其框架化为更广泛的在分布支配下的方差最大化问题，从而扩展了其在非线性和受限环境中的适用性。

作者对 KDR 解的定量稳定性保持谦逊，指出虽然证明了定性的稳定性，但关于稳定性界的定量版本仍是未来研究中一个开放且具有挑战性的方向。