技术摘要：低秩分布矩阵补全

问题定义

本文研究了分布矩阵补全问题，这是经典低秩矩阵补全任务的一种推广。在此设定下，目标矩阵 $\rho^* \in \mathcal{P}(\mathcal{X})^{m_1 \times m_2}$ 的条目由定义域 $\mathcal{X}$ 上的概率分布组成，而非标量值。

观测模型具有两层不完整性特征：

1. 部分观测（Partial Observation）： 仅观测到矩阵条目的一个子集，由二值掩码 $T(i,j)$ 表示。
2. 间接观测（Indirect Observation）： 即便对于已观测的条目，其底层的分布 $\rho^*(i,j)$ 也无法直接获取。相反，观测到的是从 $\rho^*(i,j)$ 中抽取的有限个独立同分布（i.i.d.）样本 $\{X^{(ij)}_1, \dots, X^{(ij)}_{N_{ij}}\}$，其中样本量 $N_{ij}$ 可能随条目而异。

目标是从这些部分且间接的观测中恢复完整的分布值矩阵 $\rho^*$（或其表示）。该问题出现在诸如建模不同地点间交通流的变化性，或分析不同财政季度与机构间盈余预测的分布等应用场景中。

方法论

核均值嵌入 (KME)

为了处理概率分布的无限维特性，并避免与密度函数相关的流形约束，作者通过再生核希尔伯特空间（RKHS）$\mathcal{H}$ 中的**核均值嵌入（KME）**来表示每个分布 $\rho^*(i,j)$：
$$\mu^*(i, j, \cdot) = \mathbb{E}_{X \sim \rho^*(i,j)} [K(X, \cdot)] \in \mathcal{H}$$
恢复 $\rho^*$ 等价于恢复 KME 矩阵 $\mu^* \in \mathcal{H}^{m_1 \times m_2}$。两个分布之间的距离使用最大均值差异（MMD）进行衡量。

通过函数展开实现低秩建模

作者为分布值矩阵提出了 Tucker 秩结构。他们将 $\mu^*$ 视为空间 $\mathbb{R}^{m_1} \otimes \mathbb{R}^{m_2} \otimes \mathcal{H}$ 中的三路张量。由于 $\mathcal{H}$ 通常是无限维的，标准的张量秩定义无法直接应用。

为了解决这一问题，论文引入了函数展开算子（$U_1, U_2, U_3$），将张量映射为两个空间之积（例如，$U_1: \mathbb{R}^{m_1} \otimes \mathbb{R}^{m_2} \otimes \mathcal{H} \to \mathbb{R}^{m_1} \otimes (\mathbb{R}^{m_2} \otimes \mathcal{H})$）。这些算子诱导出的线性算子的秩定义了多线性秩 $(r_1, r_2, r_3)$。

• 结构含义： 低多线性秩意味着 KME 的函数分量位于低维子空间内，且相关的期望泛函矩阵（例如，均值矩阵）是低秩的。

估计框架

作者提出了一个正则化 M-估计器 $\hat{\mu}$，通过最小化损失函数加核范数惩罚项来定义：
$$\hat{\mu} = \arg\min_{\mu} \left[ \frac{1}{m_1 m_2} \sum_{(i,j): T(i,j)=1} \left\| \mu(i, j, \cdot) - \hat{\mu}_{emp}(i, j, \cdot) \right\|_{\mathcal{H}}^2 + \lambda \Psi(\mu) \right]$$

• 损失项： 估计的 KME 与源自观测样本的经验 KME 之间的平方 MMD。
• 正则化： $\Psi(\mu) = \sum_{j=1}^3 \beta_j \|U_j \mu\|_*$，其中 $\|\cdot\|_*$ 表示诱导线性算子的核范数。这促进了所有三个模式下的低秩性。

计算方案

尽管 $\mathcal{H}$ 具有无限维特性，但**表示定理（Representer Theorem）**确保了解 $\hat{\mu}$ 位于观测核函数的有限维张成空间内。

1. 问题被重新参数化为一个关于系数张量 $B \in \mathbb{R}^{m_1 \times m_2 \times \tilde{N}}$ 的有限维张量优化问题。
2. 为了处理大规模样本量，作者建议使用核近似技术（如 Nyström 方法或随机傅里叶特征）来近似 Gram 矩阵。
3. 使用加速的**交替方向乘子法（ADMM）**求解优化问题。

核心贡献

1. 新颖的问题表述： 论文形式化了分布值条目的矩阵补全问题，解决了从部分且带有噪声的样本数据中恢复分布的挑战。
2. 理论框架： 引入了利用函数展开算子定义的分布值张量的 Tucker 秩，弥合了无限维函数数据与有限维张量分析之间的鸿沟。
3. 算法创新： 所提出的估计器利用诱导线性算子的核范数正则化。至关重要的是，作者证明了该解具有有限维表示，使其可以通过凸优化进行计算。
4. 统计保证： 论文建立了聚合平方 MMD 的非渐近误差界。
   • 收敛速率与经典核范数正则化标量矩阵补全的速率相匹配。
   • 与现有的最近邻方法（如 Feitelberg 等人，2024）不同，所提方法的一致性并不要求每个条目的样本量 ($N_{ij}$) 发散。相反，通过利用全局低秩结构进行信息共享，当矩阵维度 ($m_1, m_2$) 增长时即可实现一致性。

实验结果

合成数据

• 设置： 使用高斯混合分布生成的模拟矩阵。与最近邻（NN）方法（Feitelberg 等人，2024）以及应用于样本均值/方差的经典矩阵补全方法（SOFTIMPUTE）进行了对比。
• 发现：
  • 所提方法（LRKME）在观测和未观测条目上均一致优于 NN 方法，特别是在估计方差和高阶统计量方面。
  • LRKME 也优于 SOFTIMPUTE，证明了利用完整的分布信息而非仅仅是标量摘要的优势。
  • 在二维设置中，由于多元 Wasserstein 距离的计算困难，排除了 NN 方法，而 LRKME 依然保持有效。

实际应用

• 数据集： NYC 出租车行程数据，对 265 个出发地与目的地之间的每日行程次数分布进行建模。
• 挑战： 高缺失率（>39%）以及每个条目样本量高度可变（1 到 3672 不等）。
• 发现： 在测试集上，LRKME 实现的经验相对误差（0.0015）显著低于 NN 方法（0.0212）。通过对特定案例的视觉检查表明，与 NN 估计器相比，LRKME 能更好地捕捉重尾分布和集中模式。

重要性与主张

论文声称提供了首个能够满足以下条件的分布矩阵补全方法：

1. 能够适应通用的观测模式，且样本量各异。
2. 能自然地扩展到多维分布，而不存在基于 Wasserstein 距离方法的计算瓶颈。
3. 提供全局一致性保证，该保证不依赖于每个条目样本量的渐近增长，而是依赖于矩阵的低秩结构。
4. 通过有限维表示和凸优化提供高效的计算方案。

作者认为，其工作是现有最近邻方法的重大进步，为填补缺失的分布数据提供了一个更稳健、具有理论依据且可扩展的框架。