技术摘要：一种鞅核独立性检验

1. 问题陈述

本文解决了基于核的独立性检验（特别是希尔伯特 - 施密特独立性准则 HSIC 及其扩展到联合独立性的 dHSIC）中固有的计算和统计校准挑战。

HSIC 和 dHSIC 的标准实现依赖于退化的 V-统计量。在独立性零假设（$H_0$）下，缩放后的统计量收敛于 $\chi^2$ 随机变量的加权和，其中权重取决于未知的联合数据分布。因此，实际校准需要置换检验来近似零分布。该过程涉及重新计算统计量 $B$ 次（通常 $B \ge 200$），将每次检验的计算成本从 $O(n^2)$ 膨胀至 $O(B n^2)$，即增加了两个数量级。

作者旨在通过构建具有已知且分布自由的零极限（标准正态分布）的统计量，完全消除置换步骤，从而将每次检验的成本降低至与有偏 V-统计量本身的二次复杂度相匹配。

2. 方法论

所提出的方法将最近用于双样本检验的鞅 MMD 构造（Chatterjee 和 Ramdas [2025]）适配到独立性设定中。核心思想是将标准的二次时间估计量转换为鞅差之和，然后通过自归一化鞅中心极限定理（CLT）对其进行学生化（studentized），使其收敛至标准正态分布。

2.1 mHSIC 统计量（双变量独立性）

对于检验变量 $X$ 和 $Y$ 之间的独立性，作者定义了 mHSIC。

• 构造：该统计量是经验中心化的 Gram 矩阵（$K_X$ 和 $K_Y$）的 Hadamard 积的下三角和的学生化形式。
  $$\hat{T}^{\text{mHSIC}}_n = \frac{1}{n} \sum_{i=2}^n \frac{1}{i} \sum_{j=1}^{i-1} (HK_XH)_{ij} (HK_YH)_{ij}$$
• 学生化：该统计量由其经验二次变差 $\hat{\sigma}_n$ 进行归一化。
• 理论基础：在 $H_0$ 下，核乘积 $\bar{k}_X \bar{k}_Y$（其中 $\bar{k}$ 表示总体中心化核）形成鞅差序列。尽管经验中心化矩阵 $H$ 引入了偏差，但作者证明该偏差为 $O_P(1/\sqrt{n})$，且在学生化后渐近可忽略。
• 性质：在有界四阶矩条件下，无论数据分布如何，mHSIC 均收敛至 $\mathcal{N}(0, 1)$。它对每一个固定的备择假设都是一致的，并且在无需样本拆分的情况下保持 $O(n^2)$ 的计算成本。

2.2 mdHSIC 统计量（联合独立性）

对于检验 $d$ 个变量（$X_1, \dots, X_d$）之间的联合独立性，mHSIC 的朴素扩展会失效。

• 直接乘积的失效：用 $d$ 重经验中心化核乘积替换双变量核，会导致 $O_P(d/\sqrt{n})$ 的聚合偏差。当变量数量 $d$ 超过 $\sqrt{n}$ 时，该偏差将主导学生化尺度，破坏标准正态校准。
• 分裂鞅解决方案（mdHSIC）：为解决此问题，作者引入了单次半样本拆分：
  1. 拆分：将样本分为 $S_1$（前半部分）和 $S_2$（后半部分）。
  2. 中心化：仅使用 $S_1$ 估计均值嵌入和中心化核。
  3. 鞅运行：使用 $S_1$ 中心化的核应用于 $S_2$ 内部的配对，计算下三角自归一化鞅和。
• 理论基础：该构造确保核乘积的条件均值残差为 $O_P(m^{-d/2})$（其中 $m \approx n/2$）。该残差随 $d$ 呈指数级减小，对于任何固定的 $d \ge 2$ 均可忽略不计。
• 性质：在联合独立性下，对于任何固定的 $d$，mdHSIC 均收敛至 $\mathcal{N}(0, 1)$。每次检验的成本为 $O(d n^2)$，与 $d$ 呈线性关系，避免了置换因子 $B$。

3. 主要贡献

1. mHSIC：一种无需置换、无需样本拆分的双变量独立性统计量，在零假设下收敛至标准正态分布，其成本与有偏 HSIC V-统计量的 $O(n^2)$ 成本相匹配。
2. mdHSIC：一种用于 $d$ 个变量联合独立性的无需置换统计量。它通过单次半样本拆分修正了直接乘积扩展中的经验中心化偏差，确保在 $O(d n^2)$ 复杂度下对任何固定的 $d$ 具有渐近正态性。
3. 理论保证：基于自归一化鞅 CLT（Fan [2018]），证明了在零假设下收敛至 $\mathcal{N}(0, 1)$（定理 3 和定理 6）以及对固定备择假设的一致性。
4. 实证验证：证明了两种统计量在匹配置换校准基线的 I 类错误率和检验功效的同时，实现了显著的速度提升。

4. 实验结果

作者在具有不同维度和样本量的合成数据上评估了这些方法。

• 校准（I 类错误）：
  • mHSIC：在环境维度高达 500 的双变量数据上，当 $n$ 足够大时，$\alpha=0.05$ 下的经验 I 类错误率紧密围绕名义水平。作者指出存在“有限样本维数灾难”，即当 $d_{\text{ambient}} \gtrsim n^{0.875}$ 时，由于残差中心化偏差，错误率会膨胀。
  • mdHSIC：在 $d \in \{2, \dots, 10\}$ 的联合独立性任务中，I 类错误率在所有测试的样本量和维度下均保持在 $[0.036, 0.066]$ 范围内，证实了其分布自由校准的有效性。
• 功效：两种统计量均表现出随依赖强度和样本量增加而单调提升的功效，与基于置换的基线性能相当。
• 计算效率：
  • mHSIC 和 mdHSIC 比其置换校准对应物（$B=200$ 的 HSIC-perm 和 dHSIC-perm）快 25 到 60 倍。
  • 对于 $n=16,000$，mHSIC 耗时 0.042 秒，而 HSIC-perm 耗时 2.532 秒。
  • 加速比随 $n$ 扩展，因为置换成本随 $B$ 线性增长，而鞅成本每次检验保持恒定。

5. 意义与主张

本文声称解决了核独立性检验中的校准瓶颈。通过利用鞅结构，作者消除了昂贵的置换重采样的需求，在保持统计有效性的同时将计算负担降低了两个数量级。

• 无需置换：主要意义在于用单次正态分位数查找取代了 $O(B n^2)$ 的置换步骤，使得这些检验在置换不可行的大规模数据集上变得可行。
• 鲁棒性：这些方法是分布自由的；只要满足轻微的矩条件，无论底层数据分布如何，零极限均为标准正态分布。
• 可扩展性：mdHSIC 统计量专门解决了高维联合独立性检验中的可扩展性问题，其中朴素扩展因偏差累积而失效。

作者将其工作定位为鞅 MMD 范式（Chatterjee 和 Ramdas [2025]）到独立性问题的直接适配，通过保留利用后半样本中所有可用配对的下三角结构，为现有的样本拆分方法（如 xHSIC）提供了一种更实用的替代方案，从而相对于矩形交叉块方法提高了统计功效。