📊 statistics

On the extensions of the Chatterjee-Spearman test

Dieser Beitrag erweitert den zuvor vorgestellten Chatterjee-Spearman-Kombinierten Unabhängigkeitstest durch die Einführung einer symmetrischen Version, die Feststellung seiner asymptotischen Unabhängigkeit von anderen Rangkorrelationen (wobei insbesondere die überlegene Teststärke einer Chatterjee-Kendall-Variante nachgewiesen wird) und die Untersuchung multivariater Verallgemeinerungen zur Erweiterung seiner Anwendbarkeit.

Ursprüngliche Autoren: Qingyang Zhang

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qingyang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, ob zwei Dinge miteinander verbunden sind. Vielleicht prüfen Sie, ob die Niederschlagsmenge beeinflusst, wie viele Regenschirme Menschen kaufen, oder ob ein bestimmtes Gen beeinflusst, wie eine Hefezelle wächst. In der Statistik nennt man dies einen Unabhängigkeitstest.

Lange Zeit hatten Detektive zwei Hauptwerkzeuge:

Der „Gerade-Linie"-Detektor: Hervorragend darin, einfache, geradlinige Zusammenhänge zu finden (wie „mehr Regen = mehr Regenschirme"), aber schlecht darin, komplexe, wellenförmige oder zickzackförmige Muster zu erkennen.
Der „Wellenlinie"-Detektor: Hervorragend darin, komplexe, nichtlineare Muster (wie eine Sinuswelle) zu finden, übersieht aber oft die einfachen geraden Linien.

Vor kurzem wurde ein neues Werkzeug namens Chatterjees Korrelation erfunden. Es ist ein „Wellenlinie"-Detektor, der sehr intelligent und konsistent ist – er kann jede Art von Verbindung finden, egal wie seltsam sie ist. Allerdings hat er einen Fehler: Er ist nicht sehr gut darin, die einfachen, geradlinigen Verbindungen zu erkennen, die im echten Leben ständig vorkommen.

Dieser Artikel von Qingyang Zhang handelt davon, einen Super-Detektiv zu bauen, indem die alten Werkzeuge mit dem neuen kombiniert werden. So verbessert der Autor das Spiel:

1. Das „Symmetrische" Upgrade (Kein Raten mehr, wer der Boss ist)

Das ursprüngliche Chatterjee-Werkzeug ist asymmetrisch. Stellen Sie sich vor, Sie testen, ob „Regen" „Regenschirme" verursacht. Wenn Sie die Reihenfolge ändern und testen, ob „Regenschirme" „Regen" verursachen, könnte das Werkzeug eine andere Antwort geben. In der realen Welt wissen wir oft nicht, welche Variable die „Ursache" und welche die „Wirkung" ist (wie in Genstudien, bei denen Gene sich gegenseitig beeinflussen).

Die Lösung: Der Autor schuf eine symmetrische Version. Denken Sie daran wie an einen Detektiv, der die Beziehung gleichzeitig von beiden Seiten betrachtet. Es spielt keine Rolle, ob Sie sagen „A beeinflusst B" oder „B beeinflusst A"; das Werkzeug liefert dasselbe Ergebnis. Dies macht es für komplexe Daten wie die Gen-Ko-Expression viel zuverlässiger.

2. Die „Team-Up"-Strategie (Neue Partner hinzufügen)

Die vorherige Arbeit des Autors kombinierte das neue „Wellen"-Werkzeug mit dem alten „Gerade-Linie"-Werkzeug (Spearman-Korrelation). Dieser Artikel fragt: Können wir uns mit anderen Partnern zusammentun?

Die neuen Partner: Der Autor testete eine Zusammenarbeit mit Kendalls Tau und der Quadrant-Korrelation. Dies sind weitere „Gerade-Linie"-Detektoren.
Die Entdeckung: Der Autor bewies mathematisch, dass das „Wellen"-Werkzeug und diese „Gerade-Linie"-Werkzeuge unabhängig voneinander sind, wenn keine Verbindung besteht. Das bedeutet, sie treten sich nicht gegenseitig auf die Füße; sie bringen unterschiedliche Informationen ein.
Der Gewinner: Als der Autor Tausende von Computersimulationen durchführte, erwies sich das Team-Up zwischen dem „Wellen"-Werkzeug und Kendalls Tau (der Chatterjee-Kendall-Test) als der stärkste Detektiv von allen. Er war besonders gut darin, Verbindungen in kleinen Datengruppen oder wenn die Daten etwas verrauscht (unordentlich) waren, zu finden.

3. Die „Multivariate" Erweiterung (Von Eins-gegen-Eins zu Gruppenhuddles)

Bisher haben wir über zwei Variablen gleichzeitig gesprochen (A und B). Aber in der realen Welt haben wir oft Gruppen von Variablen (A, B, C vs. X, Y, Z).

Die Herausforderung: Man kann nicht einfach eine Gruppe von Variablen in ein Werkzeug stecken, das für zwei ausgelegt ist.
Die Lösung: Der Autor schlug zwei Möglichkeiten vor, um mit Gruppen umzugehen:
1. Die „Rang"-Methode: Verwendung einer komplexen Formel, um die gesamte Gruppe auf einmal zu rangieren.
2. Der „Magische Spiegel" (Borel-Isomorphismus): Ein mathematischer Trick, der eine ganze Gruppe von Variablen in eine einzige Zahl komprimiert, sodass die alten Werkzeuge damit arbeiten können.
Das Urteil: Der Autor stellte fest, dass der „Magische Spiegel"-Trick für die „Gerade-Linie"-Detektoren in Gruppen nicht gut funktionierte (er machte sie zu schwach). Die Rang-Methode funktionierte jedoch gut, vorausgesetzt, man verwendet einen „Permutationstest" (eine Methode, bei der man die Daten Tausende Male mischt, um zu sehen, was zufällig passiert), um die endgültige Punktzahl zu berechnen.

Beweis aus der realen Welt

Um zu beweisen, dass diese neuen Werkzeuge funktionieren, testete der Autor sie an zwei realen Datensätzen:

Hefe-Gene: Untersuchung von über 4.000 Genen, um zu sehen, welche mit dem Zellzyklus verknüpft sind. Der Chatterjee-Kendall-Test fand die meisten Gene (897) und fing Muster ein, die die anderen Werkzeuge verpasst hatten. Er fand sowohl die glatten Trends als auch die verrauschten, wellenförmigen Muster.
Vertriebsmitarbeiter-Daten: Prüfung, ob Testergebnisse für logisches Denken die Verkaufsleistung vorhersagen. Selbst bei einer kleinen Stichprobengröße waren die neuen Tests sehr empfindlich und fanden einen starken Zusammenhang, wo andere Methoden weniger wirksam waren.

Zusammenfassung

Der Artikel ist im Wesentlichen ein Handbuch für den Bau eines besseren statistischen Detektivs.

Problem: Bestehende Werkzeuge sind entweder zu einfach (verpassen komplexe Muster) oder zu komplex (verpassen einfache Muster).
Lösung: Das Beste aus beiden Welten kombinieren.
Wichtigste Erkenntnis: Die Chatterjee-Kendall-Kombination ist der neue Champion. Sie ist symmetrisch (spielt die Reihenfolge keine Rolle), funktioniert mit Datengruppen und ist das leistungsfähigste Werkzeug, um Verbindungen in verrauschten, realen Daten zu finden.

Technische Zusammenfassung: Zu den Erweiterungen des Chatterjee-Spearman-Tests

Problemstellung
Chatterjees Korrelation (2021) ist ein auf Rangfolgen basierender Unabhängigkeitstest, der gegen alle Alternativen konsistent ist und eine einfache asymptotische Theorie besitzt, die eine analytische Berechnung des $p$ -Werts ermöglicht. Ein wesentlicher Nachteil von Chatterjees Test ist jedoch seine geringe statistische Power beim Erkennen monotoner Beziehungen im Vergleich zu etablierten Rangtests wie den Korrelationen nach Spearman oder Kendall. Während frühere Arbeiten (Zhang, 2024) eine „max-Typ"-Statistik vorschlugen, die Chatterjees und Spearman's Korrelation kombiniert, um dieses Problem zu adressieren, blieben mehrere kritische Lücken bestehen:

Asymmetrie: Die ursprüngliche kombinierte Statistik ist asymmetrisch; das Vertauschen der abhängigen ( $Y$ ) und unabhängigen ( $X$ ) Variablen kann zu unterschiedlichen Ergebnissen führen, was für Anwendungen wie die Gen-Koexpressionsanalyse problematisch ist, bei der symmetrische Tests bevorzugt werden.
Begrenzter Kombinationsumfang: Das vorherige Rahmenwerk kombinierte Chatterjees Korrelation ausschließlich mit Spearman's Korrelation. Es war unklar, wie sie sich verhalten würde, wenn sie mit anderen Rangkorrelationen wie Kendalls $\tau$ oder der Quadrant-Korrelation kombiniert würde.
Einschränkungen bei Multivariaten Daten: Der bestehende Test war auf zufällige Skalare beschränkt. Die Erweiterung dieses Rahmenwerks auf zufällige Vektoren (multivariate Unabhängigkeitstests) erforderte neue theoretische Entwicklungen.

Methodik
Der Artikel schlägt drei wesentliche Erweiterungen des Chatterjee-Spearman-Rahmenwerks vor:

Symmetrisierung:
Die Autoren leiten die asymptotische gemeinsame Verteilung von Spearman's Korrelation ( $S_n$ ), Chatterjees Korrelation ( $\xi_n(X,Y)$ ) und der umgekehrten Chatterjees Korrelation ( $\xi_n(Y,X)$ ) unter der Nullhypothese der Unabhängigkeit ab. Sie beweisen, dass diese drei Statistiken asymptotisch gemeinsam normalverteilt und gegenseitig unabhängig sind. Darauf aufbauend definieren sie eine symmetrische Max-Typ-Statistik:
$\tilde{I}^S_n(X,Y) = \max\left\{ |S_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
Die asymptotische Nullverteilung wird analytisch hergeleitet, was eine direkte Berechnung des $p$ -Werts ohne Permutation ermöglicht.
Erweiterung auf andere Rangkorrelationen:
Die Studie untersucht die asymptotischen Beziehungen zwischen Chatterjees Korrelation und Kendalls $\tau_n$ sowie der Quadrant-Korrelation $Q_n$ . Die Autoren stellen fest, dass unter Unabhängigkeit $\xi_n$ asymptotisch unabhängig von sowohl $\tau_n$ als auch $Q_n$ ist. Folglich definieren sie zwei neue symmetrische Tests:
- Chatterjee-Kendall: $\tilde{I}^\tau_n(X,Y) = \max\left\{ |\tau_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
- Chatterjee-Quadrant: $\tilde{I}^Q_n(X,Y) = \max\left\{ 3/2|Q_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
  Für diese Statistiken werden auf Basis der Ergebnisse zur gemeinsamen Normalverteilung analytische $p$ -Werte hergeleitet.
Multivariate Erweiterungen:
Zwei Ansätze für multivariate Daten ( $X \in \mathbb{R}^p, Y \in \mathbb{R}^q$ ) werden untersucht:
- Formeln nach Grothe et al. (2014): Nutzung multivariater Ränge zur Definition von $S_n$ und $\tau_n$ . Da die asymptotische Nullverteilung der kombinierten Max-Statistik aufgrund der Quotientenform multivariater Spearman-/Kendall-Korrelationen analytisch schwer herzuleiten ist, empfehlen die Autoren einen Permutationstest zur Schätzung von $p$ -Werten und Standardabweichungen.
- Borel-Isomorphismus: Transformation zufälliger Vektoren in zufällige Skalare mittels einer Borel-Mischfunktion (z. B. binäre Expansion), um univariate Ergebnisse direkt anzuwenden. Simulationen deuten jedoch darauf hin, dass dieser Ansatz in multivariaten Settings zu einer geringen Power beim Erkennen monotoner Beziehungen führen kann.

Hauptergebnisse

Theoretisch: Der Artikel beweist, dass unter Unabhängigkeit Chatterjees Korrelation asymptotisch unabhängig von Spearman's, Kendall's und der Quadrant-Korrelation ist. Er stellt die asymptotische gemeinsame Normalverteilung dieser Statistiken fest, was die Herleitung analytischer $p$ -Werte für die symmetrisierten univariaten Tests ermöglicht.
Simulation (Univariat):
- Alle vorgeschlagenen Tests kontrollieren die Fehlerrate erster Art (Type I error) effektiv.
- Der Chatterjee-Kendall-Test zeigt eine überlegene statistische Power im Vergleich zum Chatterjee-Spearman-Test, insbesondere bei kleinen Stichprobengrößen ( $n=20$ ) und in linearen/schrittweisen (monotonen) Settings.
- Die kombinierten Tests übertreffen einzelne Tests (Chatterjee, Spearman, Kendall) über diverse Korrelationsmuster hinweg (linear, quadratisch, sinusförmig, schrittweise).
Simulation (Multivariat):
- Der auf Permutation basierende Ansatz unter Verwendung der Formeln von Grothe et al. liefert eine robuste Power.
- Der Ansatz des Borel-Isomorphismus versagt zwar theoretisch bequem, kontrolliert jedoch oft die Fehlerrate erster Art nicht, wenn analytische $p$ -Werte für kleine Stichproben verwendet werden, und zeigt eine geringe Power für monotone Assoziationen in multivariaten Settings.
Anwendungen auf reale Daten:
- Hefe-Transkriptomik: Angewendet auf 4.381 Gene identifizierte der Chatterjee-Kendall-Test die signifikantesten Gene (897), die mit Zellzyklen zusammenhängen, und übertraf dabei einzelne Tests. Er detektierte erfolgreich sowohl oszillierende (nicht-monomone) als auch monotone Muster, die von einzelnen Tests übersehen wurden.
- Vertriebsmitarbeiter-Daten: Angewendet auf multivariate Assoziationen zwischen Verkaufsleistung und Reasoning-Scores zeigte der auf Permutation basierende Chatterjee-Kendall-Test eine hohe Sensitivität (95,1 % Ablehnungsrate in Simulationen mit kleinen Stichproben) und übertraf den symmetrisierten Chatterjee-Test.

Bedeutung und Behauptungen
Der Artikel behauptet, die Anwendbarkeit von auf Rangfolgen basierenden kombinierten Unabhängigkeitstests erheblich zu erweitern. Durch die Symmetrisierung der Statistik wird die willkürliche Festlegung von abhängigen und unabhängigen Variablen überflüssig, was die Methode für die Analyse symmetrischer Assoziationen (z. B. Gen-Koexpression) geeignet macht. Durch den Nachweis, dass Chatterjees Korrelation asymptotisch unabhängig von anderen wichtigen Rangkorrelationen ist, validiert der Artikel die Flexibilität des Rahmenwerks und ermöglicht den Ersatz von Spearman's Korrelation durch Kendall's oder die Quadrant-Korrelation.

Die Autoren schließen bescheiden, dass der Chatterjee-Kendall-Test zwar eine bessere empirische Power aufweist, insbesondere bei kleinen Stichproben und verrauschten Daten, es derzeit jedoch keine theoretische Begründung gibt, die erklärt, warum er gegenüber lokalen Alternativen den Chatterjee-Spearman-Test übertrifft. Sie weisen zudem darauf hin, dass die multivariaten Erweiterungen auf Basis der Formeln von Grothe et al. derzeit auf niedrige Dimensionen beschränkt sind, da multivariate Ränge in hochdimensionalen Settings dünn besetzt sind, und schlagen vor, dass Methoden der Distanzkorrelation für hochdimensionale Unabhängigkeitstests weiterhin vorzuziehen sind.

1. Das „Symmetrische" Upgrade (Kein Raten mehr, wer der Boss ist)

2. Die „Team-Up"-Strategie (Neue Partner hinzufügen)

3. Die „Multivariate" Erweiterung (Von Eins-gegen-Eins zu Gruppenhuddles)

Beweis aus der realen Welt

Zusammenfassung

Mehr davon