On the extensions of the Chatterjee-Spearman test

Resumo Técnico: Sobre as Extensões do Teste de Chatterjee-Spearman

Enunciado do Problema
A correlação de Chatterjee (2021) é um teste de independência baseado em ranks que é consistente contra todas as alternativas e possui uma teoria assintótica simples que permite o cálculo analítico do valor-p. No entanto, uma limitação significativa do teste de Chatterjee é sua baixa potência estatística ao detectar relações monotônicas em comparação com testes de ranks estabelecidos, como as correlações de Spearman ou Kendall. Embora trabalhos anteriores (Zhang, 2024) tenham proposto uma estatística do tipo "máximo" combinando as correlações de Chatterjee e Spearman para abordar isso, várias lacunas críticas permaneceram:

1. Assimetria: A estatística combinada original é assimétrica; trocar a variável resposta ($Y$) e a variável independente ($X$) pode produzir resultados diferentes, o que é problemático para aplicações como análise de co-expressão gênica, onde testes simétricos são preferidos.
2. Escopo Limitado de Combinação: O quadro anterior combinava apenas a correlação de Chatterjee com a de Spearman. Não estava claro como ela se comportaria ao ser combinada com outras correlações de ranks, como o $\tau$ de Kendall ou a correlação de quadrantes.
3. Limitações Multivariadas: O teste existente restringia-se a escalares aleatórios. Estender este quadro para vetores aleatórios (teste de independência multivariada) exigia novos desenvolvimentos teóricos.

Metodologia
O artigo propõe três extensões principais ao quadro Chatterjee-Spearman:

1. Simetrização:
   Os autores derivam a distribuição conjunta assintótica da correlação de Spearman ($S_n$), da correlação de Chatterjee ($\xi_n(X,Y)$) e da correlação de Chatterjee invertida ($\xi_n(Y,X)$) sob a hipótese nula de independência. Eles provam que essas três estatísticas são conjuntamente normais assintoticamente e mutuamente independentes. Com base nisso, definem uma estatística máxima simétrica:
   $$\tilde{I}^S_n(X,Y) = \max\left\{ |S_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$$
   A distribuição nula assintótica é derivada analiticamente, permitindo o cálculo direto do valor-p sem permutação.

2. Extensão para Outras Correlações de Ranks:
   O estudo investiga as relações assintóticas entre a correlação de Chatterjee e o $\tau_n$ de Kendall e a correlação de quadrantes $Q_n$. Os autores estabelecem que, sob independência, $\xi_n$ é assintoticamente independente tanto de $\tau_n$ quanto de $Q_n$. Consequentemente, definem dois novos testes simétricos:

   • Chatterjee-Kendall: $\tilde{I}^\tau_n(X,Y) = \max\left\{ |\tau_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
   • Chatterjee-Quadrante: $\tilde{I}^Q_n(X,Y) = \max\left\{ 3/2|Q_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
     Valores-p analíticos são derivados para essas estatísticas com base nos resultados de normalidade conjunta.

3. Extensões Multivariadas:
   Duas abordagens são exploradas para dados multivariados ($X \in \mathbb{R}^p, Y \in \mathbb{R}^q$):

   • Fórmulas de Grothe et al. (2014): Utilizando ranks multivariados para definir $S_n$ e $\tau_n$. Como a distribuição nula assintótica da estatística máxima combinada é difícil de derivar analiticamente devido à forma de razão dos ranks multivariados de Spearman/Kendall, os autores recomendam um teste de permutação para estimar valores-p e desvios padrão.
   • Isomorfismo de Borel: Transformar vetores aleatórios em escalares aleatórios usando uma função de fusão de Borel (por exemplo, expansão binária) para aplicar diretamente os resultados univariados. No entanto, simulações sugerem que essa abordagem pode resultar em baixa potência para detectar relações monotônicas em configurações multivariadas.

Principais Resultados

• Teórico: O artigo prova que, sob independência, a correlação de Chatterjee é assintoticamente independente das correlações de Spearman, Kendall e de quadrantes. Estabelece a normalidade conjunta assintótica dessas estatísticas, permitindo a derivação de valores-p analíticos para os testes univariados simétricos.
• Simulação (Univariada):
  • Todos os testes propostos controlam efetivamente a taxa de erro Tipo I.
  • O teste Chatterjee-Kendall demonstra potência estatística superior em comparação com o teste Chatterjee-Spearman, particularmente para tamanhos de amostra pequenos ($n=20$) e em configurações lineares/escalonadas (monotônicas).
  • Os testes combinados superam os testes individuais (Chatterjee, Spearman, Kendall) em diversos padrões de correlação (linear, quadrática, senoidal, escalonada).
• Simulação (Multivariada):
  • A abordagem baseada em permutação usando as fórmulas de Grothe et al. produz potência robusta.
  • A abordagem de isomorfismo de Borel, embora teoricamente conveniente, frequentemente falha em controlar as taxas de erro Tipo I ao usar valores-p analíticos para amostras pequenas e exibe baixa potência para associações monotônicas em configurações multivariadas.
• Aplicações em Dados Reais:
  • Transcriptômica de Levedura: Aplicado a 4.381 genes, o teste Chatterjee-Kendall identificou os genes mais significativos (897) relacionados aos ciclos celulares, superando os testes individuais. Detectou com sucesso tanto padrões oscilatórios (não monotônicos) quanto monotônicos perdidos por testes únicos.
  • Dados de Vendedores: Aplicado a associações multivariadas entre desempenho de vendas e pontuações de raciocínio, o teste Chatterjee-Kendall baseado em permutação mostrou alta sensibilidade (taxa de rejeição de 95,1% em simulações de amostra pequena), superando o teste Chatterjee simetrizado.

Significado e Alegações
O artigo alega ampliar significativamente a aplicabilidade de testes de independência combinados baseados em ranks. Ao simetrizar a estatística, remove a necessidade de designar arbitrariamente variáveis resposta e independentes, tornando o método adequado para análise de associação simétrica (por exemplo, co-expressão gênica). Ao demonstrar que a correlação de Chatterjee é assintoticamente independente de outras principais correlações de ranks, o artigo valida a flexibilidade do quadro, permitindo a substituição da correlação de Spearman pela de Kendall ou de quadrantes.

Os autores concluem modestamente que, embora o teste Chatterjee-Kendall exiba melhor potência empírica, particularmente para amostras pequenas e dados ruidosos, atualmente não há justificativa teórica que explique por que ele supera o teste Chatterjee-Spearman contra alternativas locais. Eles também observam que as extensões multivariadas baseadas nas fórmulas de Grothe et al. são atualmente limitadas a baixas dimensões devido à esparsidade dos ranks multivariados em configurações de alta dimensão, sugerindo que métodos de correlação de distância permanecem preferíveis para testes de independência de alta dimensão.