On the extensions of the Chatterjee-Spearman test

Technische Samenvatting: Over de Uitbreidingen van de Chatterjee-Spearman-test

Probleemstelling
Chatterjee's correlatie (2021) is een ranggebaseerde onafhankelijkheidstest die consistent is tegenover alle alternatieven en beschikt over een eenvoudige asymptotische theorie die analytische $p$-waardeberekening mogelijk maakt. Een aanzienlijke beperking van Chatterjee's test is echter de lage statistische power bij het detecteren van monotone relaties in vergelijking met gevestigde rangtests zoals Spearman's of Kendall's correlaties. Hoewel eerdere werken (Zhang, 2024) een "max-type" statistiek voorstelden die Chatterjee's en Spearman's correlaties combineert om dit aan te pakken, bleven er enkele kritieke gaten bestaan:

1. Asymmetrie: De oorspronkelijke gecombineerde statistiek is asymmetrisch; het verwisselen van de respons ($Y$) en de onafhankelijke ($X$) variabelen kan tot verschillende resultaten leiden, wat problematisch is voor toepassingen zoals gen-co-expressieanalyse waar symmetrische tests de voorkeur genieten.
2. Beperkte Omvang van Combinatie: Het eerdere raamwerk combineerde uitsluitend Chatterjee's correlatie met Spearman's. Het was onduidelijk hoe dit zou presteren bij combinatie met andere rangcorrelaties, zoals Kendall's $\tau$ of kwadrantcorrelatie.
3. Multivariate Beperkingen: De bestaande test was beperkt tot willekeurige scalairen. Het uitbreiden van dit raamwerk naar willekeurige vectoren (multivariate onafhankelijkheidstesten) vereiste nieuwe theoretische ontwikkelingen.

Methodologie
Het artikel stelt drie belangrijke uitbreidingen voor van het Chatterjee-Spearman-raamwerk:

1. Symmetrisatie:
   De auteurs leiden de asymptotische gezamenlijke verdeling af van Spearman's correlatie ($S_n$), Chatterjee's correlatie ($\xi_n(X,Y)$) en de omgekeerde Chatterjee's correlatie ($\xi_n(Y,X)$) onder de nulhypothese van onafhankelijkheid. Zij bewijzen dat deze drie statistieken asymptotisch gezamenlijk normaal en onderling onafhankelijk zijn. Op basis hiervan definiëren zij een symmetrische max-type statistiek:
   $$\tilde{I}^S_n(X,Y) = \max\left\{ |S_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$$
   De asymptotische nulverdeling wordt analytisch afgeleid, wat directe $p$-waardeberekening mogelijk maakt zonder permutatie.

2. Uitbreiding naar Andere Rangcorrelaties:
   De studie onderzoekt de asymptotische relaties tussen Chatterjee's correlatie en Kendall's $\tau_n$ en de kwadrantcorrelatie $Q_n$. De auteurs stellen vast dat onder onafhankelijkheid $\xi_n$ asymptotisch onafhankelijk is van zowel $\tau_n$ als $Q_n$. Bijgevolg definiëren zij twee nieuwe symmetrische tests:

   • Chatterjee-Kendall: $\tilde{I}^\tau_n(X,Y) = \max\left\{ |\tau_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
   • Chatterjee-Kwadrant: $\tilde{I}^Q_n(X,Y) = \max\left\{ 3/2|Q_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
     Analytische $p$-waarden worden voor deze statistieken afgeleid op basis van de resultaten van gezamenlijke normaliteit.

3. Multivariate Uitbreidingen:
   Twee benaderingen worden onderzocht voor multivariate data ($X \in \mathbb{R}^p, Y \in \mathbb{R}^q$):

   • Formules van Grothe et al. (2014): Het gebruik van multivariate rangen om $S_n$ en $\tau_n$ te definiëren. Aangezien de asymptotische nulverdeling van de gecombineerde max-statistiek moeilijk analytisch af te leiden is vanwege de ratio-vorm van multivariate Spearman/Kendall, raden de auteurs een permutatietest aan om $p$-waarden en standaardafwijkingen te schatten.
   • Borel-isomorfisme: Het transformeren van willekeurige vectoren naar willekeurige scalairen met behulp van een Borel-samenvoegfunctie (bijvoorbeeld binaire expansie) om eendimensionale resultaten direct toe te passen. Simulaties suggereren echter dat deze benadering kan leiden tot lage power bij het detecteren van monotone relaties in multivariate situaties.

Belangrijkste Resultaten

• Theoretisch: Het artikel bewijst dat onder onafhankelijkheid Chatterjee's correlatie asymptotisch onafhankelijk is van Spearman's, Kendall's en kwadrantcorrelaties. Het vestigt de asymptotische gezamenlijke normaliteit van deze statistieken, wat de afleiding van analytische $p$-waarden voor de symmetrische univariate tests mogelijk maakt.
• Simulatie (Univariaat):
  • Alle voorgestelde tests controleren effectief het Type I-foutpercentage.
  • De Chatterjee-Kendall-test vertoont superieure statistische power in vergelijking met de Chatterjee-Spearman-test, met name voor kleine steekproefomvang ($n=20$) en in lineaire/stapsgewijze (monotone) situaties.
  • De gecombineerde tests presteren beter dan individuele tests (Chatterjee, Spearman, Kendall) over diverse correlatiepatronen (lineair, kwadratisch, sinusvormig, stapsgewijs).
• Simulatie (Multivariaat):
  • De op permutatie gebaseerde benadering met gebruik van de formules van Grothe et al. levert robuuste power op.
  • De Borel-isomorfisme-benadering, hoewel theoretisch handig, faalt vaak om Type I-foutpercentages te controleren wanneer analytische $p$-waarden worden gebruikt voor kleine steekproeven, en vertoont lage power voor monotone associaties in multivariate situaties.
• Toepassingen op Real Data:
  • Gist-transcriptomics: Toegepast op 4.381 genen, identificeerde de Chatterjee-Kendall-test de meest significante genen (897) gerelateerd aan celcycli, en presteerde beter dan individuele tests. Het slaagde erin zowel oscillatoire (niet-monotone) als monotone patronen te detecteren die door enkele tests werden gemist.
  • Verkooppersoneelsdata: Toegepast op multivariate associaties tussen verkoopprestaties en redeneerscores, toonde de op permutatie gebaseerde Chatterjee-Kendall-test hoge gevoeligheid (95,1% afwijzingspercentage in simulaties met kleine steekproeven), en presteerde beter dan de gesymmetriseerde Chatterjee-test.

Betekenis en Aanspraken
Het artikel claimt de toepasbaarheid van ranggebaseerde gecombineerde onafhankelijkheidstesten aanzienlijk te verbreden. Door de statistiek te symmetriseren, wordt de noodzaak om willekeurig respons- en onafhankelijke variabelen aan te wijzen verwijderd, waardoor de methode geschikt wordt voor symmetrische associatieanalyse (bijvoorbeeld gen-co-expressie). Door aan te tonen dat Chatterjee's correlatie asymptotisch onafhankelijk is van andere belangrijke rangcorrelaties, valideert het artikel de flexibiliteit van het raamwerk, waardoor het vervangen van Spearman's correlatie door Kendall's of kwadrantcorrelatie mogelijk wordt.

De auteurs concluderen bescheiden dat hoewel de Chatterjee-Kendall-test betere empirische power vertoont, met name voor kleine steekproeven en ruisige data, er momenteel geen theoretische rechtvaardiging bestaat die uitlegt waarom deze test de Chatterjee-Spearman-test overtreft tegenover lokale alternatieven. Zij merken ook op dat de multivariate uitbreidingen gebaseerd op de formules van Grothe et al. momenteel beperkt zijn tot lage dimensies vanwege de schaarsheid van multivariate rangen in hoogdimensionale situaties, wat suggereert dat methoden voor afstandscorrelatie bij voorkeur blijven voor hoogdimensionale onafhankelijkheidstesten.