A Powerful Bootstrap Test of Independence in High Dimensions

这是一篇关于高维数据中非参数独立性检验的学术论文的详细技术总结。

论文标题

A Powerful Bootstrap Test of Independence in High Dimensions (高维数据中强大的独立性 Bootstrap 检验)

1. 研究问题 (Problem)

本文旨在解决一个特定的统计推断问题：检验一个随机变量 $X$ 与一个包含大量其他随机变量 $Y_1, \dots, Y_p$ 的集合之间的成对独立性。

• 原假设 ($H_0$)：对于所有的 $j \in \{1, \dots, p\}$，$Y_j$ 与 $X$ 相互独立 ($Y_j \perp X$)。
• 备择假设 ($H_1$)：至少存在一个 $j$，使得 $Y_j$ 与 $X$ 不独立。
• 核心挑战：
  1. 高维性：变量维度 $p$ 可以远大于样本量 $n$（甚至呈指数级增长）。
  2. 无限制的依赖结构：$Y_1, \dots, Y_p$ 之间的依赖关系完全不受限制（即不需要假设 $Y$ 向量内部是独立的）。
  3. 多重检验控制：在筛选出违反独立性的变量时，需要控制族系误差率 (Family-Wise Error Rate, FWER)，即错误地拒绝至少一个真原假设的概率。

2. 方法论 (Methodology)

2.1 检验统计量

作者采用了 Chatterjee (2021) 提出的秩相关系数 $\hat{\xi}_j$ 来衡量 $X$ 和 $Y_j$ 之间的依赖程度。

• 检验统计量定义为所有 $p$ 个秩相关系数的最大值：
  $$\hat{T} := \sqrt{n} \max_{1 \le j \le p} \hat{\xi}_j$$
• 选择 Chatterjee 相关系数的原因：它具有渐近线性表示（asymptotically linear representation），且对任何固定备择假设具有一致性。

2.2 临界值计算：块乘子 Bootstrap (Block Multiplier Bootstrap)

由于传统的非参数 Bootstrap 无法一致地估计 Chatterjee 相关系数的极限分布（Lin and Han, 2024），且 $Y$ 变量之间存在任意依赖，作者提出了一种块乘子 Bootstrap方法：

1. 线性化表示：利用 Chatterjee 统计量的渐近线性表示 $\sqrt{n}\hat{\xi}_j \approx \frac{1}{\sqrt{n}}\sum W_{j,i}$。
2. 处理依赖性：由于 $W_{j,i}$ 序列是 1-相关的（1-dependent），作者将求和分解为“大块”（big blocks）和“小块”（small blocks）。大块之间相互独立，从而可以应用高维中心极限定理。
3. Bootstrap 过程：
   • 将数据划分为大小为 $q$ 的大块。
   • 生成独立的标准正态乘子 $\varepsilon_k$。
   • 构造 Bootstrap 统计量：$\hat{T}^B := \max_{1 \le j \le p} \frac{1}{\sqrt{mq}} \sum_{k=1}^m \varepsilon_k \hat{A}_{j,k}$，其中 $\hat{A}_{j,k}$ 是估计的大块和。
   • 临界值 $\hat{c}(\alpha)$ 是 $\hat{T}^B$ 在给定数据下的 $(1-\alpha)$ 分位数。

2.3 调优参数选择 (Block Size $q$)

块大小 $q$ 是一个关键参数。作者推导了 $q$ 的最优选择，旨在最小化 Bootstrap 方差与渐近方差之间的均方误差 (MSE)。

• 理论推导表明，最优 $q^*(n)$ 近似为 $(n/16)^{1/3}$。
• 模拟显示，检验的规模（size）和功效（power）对 $q$ 的具体取值不敏感，但最优选择能提供更好的近似。

2.4 逐步筛选程序 (Stepwise Procedure)

为了从 $Y_1, \dots, Y_p$ 中筛选出违反独立性的变量并控制 FWER，作者结合了 Romano and Wolf (2005) 的逐步下降 (Stepdown) 程序：

• 该程序迭代地拒绝统计量最大的假设，并在每一步重新计算基于剩余假设集的临界值。
• 理论证明该程序在 $n \to \infty$ 时能渐近控制 FWER，即使 $p$ 随 $n$ 指数增长且 $Y$ 之间存在任意依赖。

3. 主要理论贡献 (Key Contributions)

1. 一致性的规模控制 (Uniform Size Control)：

   • 证明了该检验在 $n \to \infty$ 时，对一大类数据生成过程（DGP）具有渐近规模控制能力。
   • 允许 $p$ 随 $n$ 指数增长，且完全不对 $Y_1, \dots, Y_p$ 之间的依赖结构做任何限制。这是区别于许多现有高维独立性检验的关键点。

2. Bootstrap 的有效性：

   • 克服了 Lin and Han (2024) 指出的标准 Bootstrap 失效问题。通过块乘子 Bootstrap 正确处理了渐近线性表示中求和项的 1-依赖性，从而正确估计了方差。

3. 一致性 (Consistency)：

   • 证明了检验对所有固定的备择假设（在连续分布假设下）是一致的。

4. FWER 控制：

   • 提出了一个结合逐步检验的程序，能够在高维设置下控制族系误差率。

4. 模拟结果 (Simulation Results)

作者进行了广泛的模拟实验，对比了提出的方法（BMB0, BMB1, BMB2）与基于距离协方差（Distance Covariance）的现有方法（如 Székely et al., 2007; Székely & Rizzo, 2013）以及其他基于秩的检验（Zhou et al., 2024）。

• 规模控制 (Size Control)：
  • 提出的方法在所有场景下（包括 $Y$ 之间存在依赖、高维情况）都能很好地控制第一类错误率（接近名义水平 5%）。
  • 关键发现：许多基于距离协方差的现有检验（如 dcov.test, dcorT.test）在 $H_0$ 成立但 $Y$ 的 Copula 依赖于 $X$ 时（即 $H_0$ 成立但联合独立性 $H_0^{joint}$ 不成立），无法控制规模，导致严重的过度拒绝。
• 检验功效 (Power)：
  • 提出的方法在稀疏替代假设（Sparse alternatives）和衰减替代假设（Decaying alternatives）下，通常比竞争对手具有更高的功效，特别是在高维 ($p$ 很大) 或 $Y$ 之间存在依赖时。
  • 在余弦替代假设（Cosine alternatives，非线性关系）下，提出的方法表现出显著优势，而许多基于距离协方差的检验几乎无功效。
  • 在稠密替代假设（Dense alternatives）下，距离协方差检验表现较好，但提出的方法仍保持竞争力。
• 鲁棒性：检验结果对块大小 $q$ 的选择不敏感。

5. 实证应用 (Empirical Application)

作者将方法应用于 Hughes et al. (2009) 的小鼠肝脏基因表达数据，旨在识别在细胞周期中振荡的基因。

• 数据：$n=48$ 个时间点，$p=45,101$ 个基因。
• 结果：
  • 使用提出的逐步检验程序（控制 FWER），识别出 4,554 个违反独立性的基因（约占总数的 10.1%）。
  • 与原始研究（识别出 3,667 个基因）相比，新方法发现了更多基因，其中包括 2,635 个原始研究未发现的基因。
  • 新方法提供了更严格的统计保证（FWER 控制 vs 原始研究的 FDR 控制）。
• 可视化：展示了 6 个被新方法独特识别出的基因的表达轨迹，显示出明显的周期性振荡。

6. 意义与结论 (Significance)

• 理论突破：解决了高维独立性检验中“维度灾难”和“变量间任意依赖”两大难题，提供了在 $p \gg n$ 且 $Y$ 内部依赖复杂情况下的理论保证。
• 方法创新：通过块乘子 Bootstrap 修正了 Chatterjee 相关系数的分布估计问题，并设计了有效的逐步筛选程序。
• 实用价值：
  • 计算效率高，适用于超大规模数据。
  • 提供了 R 语言包 hdIndep 供实现。
  • 在因果推断（筛选结果变量）、机器学习公平性（检测受保护特征的影响）和生物信息学（基因振荡检测）等领域具有广泛应用前景。
• 警示：论文明确指出，许多流行的基于距离协方差的高维检验在特定的零假设设定下（即仅要求成对独立，而非联合独立）可能失效，这为相关领域的研究者提供了重要的警示。

总之，这篇论文提出了一种在极高维和复杂依赖结构下，兼具理论严谨性、计算可行性和高统计功效的独立性检验框架。