Two-Sample Homogeneity Test via Entropic Optimal Transport

技术摘要：基于熵正则化最优传输的双样本同质性检验

问题陈述
本文研究了多变量设置下（$d \ge 1$）双样本同质性检验这一基础统计问题。给定来自未知分布 $P$ 和 $Q$ 的两个独立样本，目标是检验原假设 $H_0: P = Q$ 对抗备择假设 $H_1: P \neq Q$。虽然单变量检验受益于规范排序（例如分位数函数），但多变量检验缺乏自然的排序机制，这使得构建能够保留几何结构的分布表示变得困难。现有的方法，如能量距离（energy distances）、基于核的最大均值差异（MMD）以及基于图的统计量，通常将分布差异汇总为一个单一的标量值。这种聚合往往丢弃了关于一个分布相对于另一个分布或共同参考分布是如何组织的映射层级信息。此外，在多变量设置下基于经验 Wasserstein 距离进行推断通常计算成本高昂，且面临非标准渐近性质的问题。

方法论
作者提出了一种基于从共同参考分布出发的**熵正则化最优传输（EOT）**映射的同质性检验。该方法流程如下：

1. 共同参考构造： 令 $U_d$ 为单位球 $B_d \subset \mathbb{R}^d$ 上的均匀分布。对于任何目标分布 $P$，该方法定义了一个熵传输映射 $T_{\varepsilon, P}: B_d \to \mathbb{R}^d$。该映射是 $U_d$ 与 $P$ 之间的唯一熵正则化最优耦合 $\pi_{\varepsilon, P}$ 的重心投影，其最小化代价函数为 $\int \frac{1}{2}\|u-x\|^2 d\pi + \varepsilon \text{KL}(\pi \| U_d \otimes P)$。
2. 经验估计： 给定样本 $X_1, \dots, X_n \sim P$ 和 $Y_1, \dots, Y_m \sim Q$，通过其经验对应物估计总体映射 $\hat{T}_{\varepsilon, n}$ 和 $\hat{T}_{\varepsilon, m}$，其中源分布保持为固定的 $U_d$（通过数值近似的参考样本表示），而目标被替换为经验度量 $P_n$ 和 $Q_m$。
3. 检验统计量： 检验统计量 $T_{n,m}$ 是两个经验映射在参考域上的缩放平方 $L^2$ 距离：
   $$T_{n,m} = \frac{nm}{n+m} \int_{B_d} \| \hat{T}_{\varepsilon, n}(u) - \hat{T}_{\varepsilon, m}(u) \|^2 dU_d(u).$$
4. 校准： 由于 $T_{n,m}$ 的零分布取决于未知协方差结构的极限高斯过程（非枢轴性），作者提出了加权乘法器自助法（weighted multiplier bootstrap）。该程序分别对经验目标度量进行重加权，同时保持源分布固定，从而生成一个条件分布来近似临界值。

核心贡献
本文为该基于映射的检验框架建立了理论与实践基础：

• 可辨识性： 在紧支撑和固定正则化假设下，作者证明了总体 EOT 映射唯一确定了底层分布。具体而言，$T_{\varepsilon, P} = T_{\varepsilon, Q}$ 在 $U_d$ 上几乎处处成立当且仅当 $P = Q$。这确保了在原假设下总体差异精确消失。
• 渐近理论：
  • 零分布极限： 推导了原假设下经验映射差的泛函中心极限定理（FCLT）。该统计量收敛于高斯二次型 $\sum \omega_k Z_k^2$，其中 $\omega_k$ 是极限高斯场协方差算子的特征值。
  • 一致性： 证明了该检验对于固定备择假设（$P \neq Q$）具有一致性，统计量会趋于无穷大。
  • 局部功效： 刻画了在连续局部备择假设下的渐后功效，表明该检验对分布的切向方向差异非常敏感。
• 自助法有效性： 确立了加权乘法器自助法的有效性，证明了自助统计量的条件分布能一致地估计零分布极限分布。
• 诊断能力： 不同于标量差异检验，该方法提供了一个估计的向量场（$\hat{T}_{\varepsilon, n} - \hat{T}_{\varepsilon, m}$），用于可视化分布差异的方向和性质（例如，平移、径向扩张、剪切）。

结果
广泛的数值实验和真实数据应用支持了上述理论发现：

• 有限样本校准： 加权乘法器自助法在各种零分布（高斯、Student-t、高斯混合分布）和维度（$d=2, 5, 10$）下提供了可靠的规模控制，其实际拒绝率接近标称水平（0.05）。
• 功效： 该检验在面对位置备择假设时表现出极强的竞争力，此时映射间的相干方向位移极易被检测。它在尺度、相关性和混合备择假设下也展现出稳健的功效，尽管其相对于其他方法在不同备择假设和维度下的表现有所变化。
• 计算效率： 虽然 EOT 映射检验比能量或 MMD 慢，但比经过置换校准的 Sinkhorn 散度快。计算成本可以通过参考点数量 $N$ 进行调节：适中的 $N$ 值能在保证稳定功效和规模的同时显著减少运行时间。
• 真实数据应用： 应用于 Citi Bike 行程数据（会员与普通骑行者），该检验检测到了起始位置分布的显著差异。映射层级的可视化表明，这种差异不仅是全局性的偏移，还涉及复杂的空间变化，坐标分解显示了来自经度和纬度的共同贡献。

意义与主张
本文将所提出的 EOT 映射检验定位为现有标量差异检验的一个具有竞争力的、可解释的补充，而非简单的统一替代。其主要意义在于：

1. 几何可解释性： 它保留了关于分布变化的方向和几何信息，允许研究人员诊断分布是如何变化的（例如，通过向量场可视化），而不仅仅是判断它们是否发生了变化。
2. 理论严谨性： 它为固定正则化下的 EOT 映射提供了严谨的极限理论，克服了通常与未正则化 Wasserstein 距离相关的非标准渐近问题。
3. 实际效用： 该方法在统计功效、计算可处理性（通过 Sinkhorn 算法和自助法）以及诊断洞察力之间取得了平衡，使其适用于那些不仅需要判断分布偏移是否存在，更需要理解偏移结构的应用场景。