On the extensions of the Chatterjee-Spearman test

技术摘要：关于 Chatterjee-Spearman 检验的扩展

问题陈述
Chatterjee 相关系数（2021）是一种基于秩的独立性检验，它对所有备择假设具有一致性，并拥有简单的渐近理论，允许进行解析$p$值计算。然而，Chatterjee 检验的一个显著局限在于，与斯皮尔曼（Spearman）或肯德尔（Kendall）相关系数等成熟的秩检验相比，其在检测单调关系时统计功效较低。尽管先前的研究（Zhang, 2024）提出了一种结合 Chatterjee 相关系数和斯皮尔曼相关系数的“最大型”统计量来解决这一问题，但仍存在几个关键缺口：

1. 不对称性： 原始组合统计量是不对称的；交换响应变量（$Y$）和自变量（$X$）可能会产生不同的结果，这对于基因共表达分析等需要对称检验的应用场景来说是一个问题。
2. 组合范围的局限性： 先前的框架仅将 Chatterjee 相关系数与斯皮尔曼相关系数相结合。尚不清楚将其与其他秩相关系数（如肯德尔$\tau$或象限相关系数）结合时的表现如何。
3. 多元局限性： 现有检验仅限于随机标量。将该框架扩展到随机向量（多元独立性检验）需要新的理论发展。

方法论
本文提出了对 Chatterjee-Spearman 框架的三个关键扩展：

1. 对称化：
   作者在独立性零假设下推导了斯皮尔曼相关系数（$S_n$）、Chatterjee 相关系数（$\xi_n(X,Y)$）以及反向 Chatterjee 相关系数（$\xi_n(Y,X)$）的渐近联合分布。他们证明了这三个统计量在渐近上是联合正态分布且相互独立的。基于此，他们定义了一个对称的最大型统计量：
   $$\tilde{I}^S_n(X,Y) = \max\left\{ |S_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$$
   解析推导了其渐近零分布，从而无需置换即可直接计算$p$值。

2. 扩展至其他秩相关系数：
   本研究调查了 Chatterjee 相关系数与肯德尔$\tau_n$及象限相关系数$Q_n$之间的渐近关系。作者确立了在独立性条件下，$\xi_n$与$\tau_n$及$Q_n$均渐近独立。因此，他们定义了两个新的对称检验：

   • Chatterjee-Kendall 检验： $\tilde{I}^\tau_n(X,Y) = \max\left\{ |\tau_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
   • Chatterjee-象限检验： $\tilde{I}^Q_n(X,Y) = \max\left\{ 3/2|Q_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
     基于联合正态性结果，推导了这些统计量的解析$p$值。

3. 多元扩展：
   针对多元数据（$X \in \mathbb{R}^p, Y \in \mathbb{R}^q$）探索了两种方法：

   • Grothe 等人（2014）公式： 利用多元秩定义$S_n$和$\tau_n$。由于多元斯皮尔曼/肯德尔的比率形式导致组合最大统计量的渐近零分布难以解析推导，作者建议使用置换检验来估计$p$值和标准差。
   • 博雷尔同构（Borel Isomorphism）： 使用博雷尔合并函数（例如二进制展开）将随机向量转换为随机标量，以直接应用单变量结果。然而，模拟表明，在多元设置中检测单调关系时，这种方法可能导致功效较低。

主要结果

• 理论方面： 本文证明了在独立性条件下，Chatterjee 相关系数与斯皮尔曼、肯德尔及象限相关系数渐近独立。它确立了这些统计量的渐近联合正态性，使得推导对称单变量检验的解析$p$值成为可能。
• 模拟（单变量）：
  • 所有提出的检验均有效控制了一类错误率。
  • Chatterjee-Kendall 检验表现出优于 Chatterjee-Spearman 检验的统计功效，特别是在小样本量（$n=20$）以及线性/阶梯式（单调）设置中。
  • 组合检验在各种相关模式（线性、二次、正弦、阶梯式）下均优于单个检验（Chatterjee、斯皮尔曼、肯德尔）。
• 模拟（多元）：
  • 使用 Grothe 等人公式的基于置换的方法产生了稳健的功效。
  • 博雷尔同构方法虽然在理论上便捷，但在小样本使用解析$p$值时往往无法控制一类错误率，并且在多元设置中对单调关联表现出较低的功效。
• 真实数据应用：
  • 酵母转录组学： 应用于 4,381 个基因，Chatterjee-Kendall 检验识别出了与细胞周期相关的最显著基因（897 个），优于单个检验。它成功检测到了单个检验遗漏的振荡（非单调）和单调模式。
  • 销售人员数据： 应用于销售业绩与推理分数之间的多元关联，基于置换的 Chatterjee-Kendall 检验显示出高灵敏度（小样本模拟中的拒绝率为 95.1%），优于对称化的 Chatterjee 检验。

意义与主张
本文声称显著扩大了基于秩的组合独立性检验的适用范围。通过对称化统计量，消除了任意指定响应变量和自变量的需要，使该方法适用于对称关联分析（例如基因共表达）。通过证明 Chatterjee 相关系数与其他主要秩相关系数渐近独立，本文验证了该框架的灵活性，允许用肯德尔或象限相关系数替换斯皮尔曼相关系数。

作者谦逊地总结道，虽然 Chatterjee-Kendall 检验表现出更好的经验功效，特别是在小样本和噪声数据中，但目前尚无理论依据解释为何它在针对局部备择假设时优于 Chatterjee-Spearman 检验。他们还指出，基于 Grothe 等人公式的多元扩展目前仅限于低维情况，这是由于高维设置中多元秩的稀疏性所致，表明距离相关方法在高维独立性检验中仍然是首选。