On the extensions of the Chatterjee-Spearman test

Resumen Técnico: Sobre las Extensiones de la Prueba Chatterjee-Spearman

Enunciado del Problema
La correlación de Chatterjee (2021) es una prueba de independencia basada en rangos que es consistente frente a todas las alternativas y posee una teoría asintótica simple que permite el cálculo analítico del valor $p$. Sin embargo, una limitación significativa de la prueba de Chatterjee es su baja potencia estadística al detectar relaciones monótonas en comparación con pruebas de rangos establecidas como las correlaciones de Spearman o Kendall. Aunque trabajos anteriores (Zhang, 2024) propusieron una estadística de tipo "máximo" que combina las correlaciones de Chatterjee y Spearman para abordar esto, persistían varias lagunas críticas:

1. Asimetría: La estadística combinada original es asimétrica; intercambiar la variable respuesta ($Y$) y la variable independiente ($X$) puede producir resultados diferentes, lo cual es problemático para aplicaciones como el análisis de co-expresión génica, donde se prefieren pruebas simétricas.
2. Alcance Limitado de la Combinación: El marco anterior solo combinaba la correlación de Chatterjee con la de Spearman. No estaba claro cómo se comportaría al combinarse con otras correlaciones de rangos, como el $\tau$ de Kendall o la correlación cuadrantal.
3. Limitaciones Multivariadas: La prueba existente estaba restringida a escalares aleatorios. Extender este marco a vectores aleatorios (pruebas de independencia multivariadas) requería nuevos desarrollos teóricos.

Metodología
El artículo propone tres extensiones clave al marco Chatterjee-Spearman:

1. Simetrización:
   Los autores derivan la distribución asintótica conjunta de la correlación de Spearman ($S_n$), la correlación de Chatterjee ($\xi_n(X,Y)$) y la correlación de Chatterjee invertida ($\xi_n(Y,X)$) bajo la hipótesis nula de independencia. Demuestran que estas tres estadísticas son asintóticamente conjuntamente normales y mutuamente independientes. Basándose en esto, definen una estadística de tipo máximo simétrica:
   $$\tilde{I}^S_n(X,Y) = \max\left\{ |S_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$$
   La distribución nula asintótica se deriva analíticamente, permitiendo el cálculo directo del valor $p$ sin permutaciones.

2. Extensión a Otras Correlaciones de Rangos:
   El estudio investiga las relaciones asintóticas entre la correlación de Chatterjee y el $\tau_n$ de Kendall y la correlación cuadrantal $Q_n$. Los autores establecen que, bajo independencia, $\xi_n$ es asintóticamente independiente tanto de $\tau_n$ como de $Q_n$. En consecuencia, definen dos nuevas pruebas simétricas:

   • Chatterjee-Kendall: $\tilde{I}^\tau_n(X,Y) = \max\left\{ |\tau_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
   • Chatterjee-Cuadrantal: $\tilde{I}^Q_n(X,Y) = \max\left\{ 3/2|Q_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
     Se derivan valores $p$ analíticos para estas estadísticas basándose en los resultados de normalidad conjunta.

3. Extensiones Multivariadas:
   Se exploran dos enfoques para datos multivariados ($X \in \mathbb{R}^p, Y \in \mathbb{R}^q$):

   • Fórmulas de Grothe et al. (2014): Utilizando rangos multivariados para definir $S_n$ y $\tau_n$. Dado que la distribución nula asintótica de la estadística máxima combinada es difícil de derivar analíticamente debido a la forma de razón de Spearman/Kendall multivariados, los autores recomiendan una prueba de permutación para estimar los valores $p$ y las desviaciones estándar.
   • Isomorfismo de Borel: Transformar vectores aleatorios en escalares aleatorios utilizando una función de fusión de Borel (por ejemplo, expansión binaria) para aplicar directamente los resultados univariados. Sin embargo, las simulaciones sugieren que este enfoque puede resultar en baja potencia para detectar relaciones monótonas en configuraciones multivariadas.

Resultados Clave

• Teóricos: El artículo demuestra que, bajo independencia, la correlación de Chatterjee es asintóticamente independiente de las correlaciones de Spearman, Kendall y cuadrantal. Establece la normalidad conjunta asintótica de estas estadísticas, permitiendo la derivación de valores $p$ analíticos para las pruebas univariadas simétricas.
• Simulación (Univariada):
  • Todas las pruebas propuestas controlan efectivamente la tasa de error Tipo I.
  • La prueba Chatterjee-Kendall demuestra una potencia estadística superior en comparación con la prueba Chatterjee-Spearman, particularmente para tamaños de muestra pequeños ($n=20$) y en configuraciones lineales/pasos (monótonas).
  • Las pruebas combinadas superan a las pruebas individuales (Chatterjee, Spearman, Kendall) a través de diversos patrones de correlación (lineal, cuadrática, sinusoidal, por pasos).
• Simulación (Multivariada):
  • El enfoque basado en permutaciones utilizando las fórmulas de Grothe et al. produce una potencia robusta.
  • El enfoque de isomorfismo de Borel, aunque teóricamente conveniente, a menudo falla en controlar las tasas de error Tipo I al utilizar valores $p$ analíticos para muestras pequeñas y exhibe baja potencia para asociaciones monótonas en configuraciones multivariadas.
• Aplicaciones con Datos Reales:
  • Transcriptómica de Levadura: Aplicado a 4.381 genes, la prueba Chatterjee-Kendall identificó los genes más significativos (897) relacionados con los ciclos celulares, superando a las pruebas individuales. Detectó con éxito tanto patrones oscilatorios (no monótonos) como monótonos que las pruebas individuales pasaron por alto.
  • Datos de Vendedores: Aplicado a asociaciones multivariadas entre el rendimiento de ventas y las puntuaciones de razonamiento, la prueba Chatterjee-Kendall basada en permutaciones mostró alta sensibilidad (tasa de rechazo del 95,1% en simulaciones de muestras pequeñas), superando a la prueba Chatterjee simetrizada.

Significado y Afirmaciones
El artículo afirma ampliar significativamente la aplicabilidad de las pruebas de independencia combinadas basadas en rangos. Al simetrizar la estadística, elimina la necesidad de designar arbitrariamente variables respuesta e independientes, haciendo que el método sea adecuado para el análisis de asociación simétrica (por ejemplo, co-expresión génica). Al demostrar que la correlación de Chatterjee es asintóticamente independiente de otras principales correlaciones de rangos, el artículo valida la flexibilidad del marco, permitiendo la sustitución de la correlación de Spearman por la de Kendall o la correlación cuadrantal.

Los autores concluyen modestamente que, aunque la prueba Chatterjee-Kendall exhibe una mejor potencia empírica, particularmente para muestras pequeñas y datos ruidosos, actualmente no existe una justificación teórica que explique por qué supera a la prueba Chatterjee-Spearman frente a alternativas locales. También señalan que las extensiones multivariadas basadas en las fórmulas de Grothe et al. están actualmente limitadas a dimensiones bajas debido a la dispersión de los rangos multivariados en configuraciones de alta dimensión, sugiriendo que los métodos de correlación de distancia siguen siendo preferibles para la prueba de independencia de alta dimensión.