On the extensions of the Chatterjee-Spearman test

Sintesi Tecnica: Sugli Estensioni del Test di Chatterjee-Spearman

Enunciato del Problema
La correlazione di Chatterjee (2021) è un test di indipendenza basato sui ranghi che è consistente contro tutte le alternative e possiede una semplice teoria asintotica che permette il calcolo analitico del valore $p$. Tuttavia, una limitazione significativa del test di Chatterjee è la sua bassa potenza statistica nel rilevare relazioni monotone rispetto a test di rango consolidati come le correlazioni di Spearman o Kendall. Sebbene lavori precedenti (Zhang, 2024) avessero proposto una statistica di tipo "max" che combina le correlazioni di Chatterjee e Spearman per affrontare questo problema, rimanevano diverse lacune critiche:

1. Asimmetria: La statistica combinata originale è asimmetrica; lo scambio tra la variabile risposta ($Y$) e la variabile indipendente ($X$) può produrre risultati diversi, il che è problematico per applicazioni come l'analisi della co-espressione genica, dove sono preferiti test simmetrici.
2. Portata Limitata della Combinazione: Il precedente framework combinava solo la correlazione di Chatterjee con quella di Spearman. Non era chiaro come si sarebbe comportata la combinazione con altre correlazioni di rango, come il $\tau$ di Kendall o la correlazione quadrante.
3. Limitazioni Multivariate: Il test esistente era limitato a scalari casuali. Estendere questo framework a vettori casuali (test di indipendenza multivariata) richiedeva nuovi sviluppi teorici.

Metodologia
Il documento propone tre estensioni chiave al framework Chatterjee-Spearman:

1. Simmetrizzazione:
   Gli autori derivano la distribuzione congiunta asintotica della correlazione di Spearman ($S_n$), della correlazione di Chatterjee ($\xi_n(X,Y)$) e della correlazione di Chatterjee invertita ($\xi_n(Y,X)$) sotto l'ipotesi nulla di indipendenza. Dimostrano che queste tre statistiche sono asintoticamente normali congiunte e mutualmente indipendenti. Sulla base di ciò, definiscono una statistica max-type simmetrica:
   $$\tilde{I}^S_n(X,Y) = \max\left\{ |S_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$$
   La distribuzione nulla asintotica è derivata analiticamente, permettendo il calcolo diretto del valore $p$ senza permutazioni.

2. Estensione ad Altre Correlazioni di Rango:
   Lo studio investiga le relazioni asintotiche tra la correlazione di Chatterjee e il $\tau_n$ di Kendall e la correlazione quadrante $Q_n$. Gli autori stabiliscono che, sotto indipendenza, $\xi_n$ è asintoticamente indipendente sia da $\tau_n$ che da $Q_n$. Di conseguenza, definiscono due nuovi test simmetrici:

   • Chatterjee-Kendall: $\tilde{I}^\tau_n(X,Y) = \max\left\{ |\tau_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
   • Chatterjee-Quadrante: $\tilde{I}^Q_n(X,Y) = \max\left\{ 3/2|Q_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
     Valori $p$ analitici sono derivati per queste statistiche basandosi sui risultati di normalità congiunta.

3. Estensioni Multivariate:
   Vengono esplorate due approcci per dati multivariati ($X \in \mathbb{R}^p, Y \in \mathbb{R}^q$):

   • Formule di Grothe et al. (2014): Utilizzo di ranghi multivariati per definire $S_n$ e $\tau_n$. Poiché la distribuzione nulla asintotica della statistica max combinata è difficile da derivare analiticamente a causa della forma di rapporto dei ranghi di Spearman/Kendall multivariati, gli autori raccomandano un test di permutazione per stimare i valori $p$ e le deviazioni standard.
   • Isomorfismo di Borel: Trasformazione di vettori casuali in scalari casuali utilizzando una funzione di unione di Borel (ad esempio, espansione binaria) per applicare direttamente i risultati univariati. Tuttavia, le simulazioni suggeriscono che questo approccio può risultare in bassa potenza per il rilevamento di relazioni monotone in contesti multivariati.

Risultati Chiave

• Teorici: Il documento dimostra che, sotto indipendenza, la correlazione di Chatterjee è asintoticamente indipendente dalle correlazioni di Spearman, Kendall e quadrante. Stabilisce la normalità congiunta asintotica di queste statistiche, permettendo la derivazione di valori $p$ analitici per i test simmetrici univariati.
• Simulazione (Univariata):
  • Tutti i test proposti controllano efficacemente il tasso di errore di Tipo I.
  • Il test Chatterjee-Kendall dimostra una potenza statistica superiore rispetto al test Chatterjee-Spearman, in particolare per piccole dimensioni campionarie ($n=20$) e in contesti lineari/graduali (monotoni).
  • I test combinati superano i test individuali (Chatterjee, Spearman, Kendall) attraverso modelli di correlazione diversificati (lineare, quadratico, sinusoidale, graduale).
• Simulazione (Multivariata):
  • L'approccio basato su permutazioni utilizzando le formule di Grothe et al. produce una potenza robusta.
  • L'approccio di isomorfismo di Borel, sebbene teoricamente conveniente, spesso fallisce nel controllare i tassi di errore di Tipo I quando si utilizzano valori $p$ analitici per piccoli campioni e mostra bassa potenza per associazioni monotone in contesti multivariati.
• Applicazioni a Dati Reali:
  • Trascrittomica del Lievito: Applicato a 4.381 geni, il test Chatterjee-Kendall ha identificato i geni più significativi (897) relativi ai cicli cellulari, superando i test individuali. Ha rilevato con successo sia pattern oscillatori (non monotoni) che monotoni sfuggiti ai singoli test.
  • Dati sui Venditori: Applicato alle associazioni multivariate tra performance di vendita e punteggi di ragionamento, il test Chatterjee-Kendall basato su permutazioni ha mostrato un'alta sensibilità (tasso di rifiuto del 95,1% nelle simulazioni a piccoli campioni), superando il test Chatterjee simmetrizzato.

Significato e Affermazioni
Il documento afferma di ampliare significativamente l'applicabilità dei test di indipendenza combinati basati sui ranghi. Simmetrizzando la statistica, elimina la necessità di designare arbitrariamente variabili risposta e indipendenti, rendendo il metodo adatto all'analisi di associazioni simmetriche (ad esempio, co-espressione genica). Dimostrando che la correlazione di Chatterjee è asintoticamente indipendente da altre principali correlazioni di rango, il documento convalida la flessibilità del framework, permettendo la sostituzione della correlazione di Spearman con quella di Kendall o quadrante.

Gli autori concludono modestamente che, sebbene il test Chatterjee-Kendall mostri una migliore potenza empirica, in particolare per piccoli campioni e dati rumorosi, non esiste attualmente una giustificazione teorica che spieghi perché superi il test Chatterjee-Spearman contro alternative locali. Notano inoltre che le estensioni multivariate basate sulle formule di Grothe et al. sono attualmente limitate a basse dimensioni a causa della sparsità dei ranghi multivariati in contesti ad alta dimensionalità, suggerendo che i metodi di correlazione di distanza rimangono preferibili per il test di indipendenza ad alta dimensionalità.