📊 statistics

On the extensions of the Chatterjee-Spearman test

Cet article étend le test d'indépendance combiné Chatterjee-Spearman précédemment proposé en introduisant une version symétrique, en établissant son indépendance asymptotique par rapport à d'autres corrélations de rang (démontrant notamment la puissance supérieure d'une variante Chatterjee-Kendall) et en explorant des généralisations multivariées afin d'élargir son applicabilité.

Auteurs originaux : Qingyang Zhang

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qingyang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective cherchant à déterminer si deux éléments sont liés. Peut-être vérifiez-vous si la quantité de pluie influence le nombre de parapluies achetés par les gens, ou si un gène spécifique affecte la croissance d'une cellule de levure. En statistiques, cela s'appelle un test d'indépendance.

Pendant longtemps, les détectives disposaient de deux outils principaux :

Le Détecteur de "Ligne Droite" : Excellent pour repérer des relations simples et linéaires (comme « plus de pluie = plus de parapluies »), mais terrible pour identifier des motifs complexes, ondulés ou en zigzag.
Le Détecteur de "Ligne Ondulée" : Excellent pour trouver des motifs complexes et non linéaires (comme une onde sinusoïdale), mais rate souvent les lignes droites simples.

Récemment, un nouvel outil appelé Corrélation de Chatterjee a été inventé. C'est un détecteur de « Ligne Ondulée » très intelligent et cohérent : il peut trouver n'importe quel type de lien, aussi étrange soit-il. Cependant, il présente un défaut : il n'est pas très bon pour repérer les connexions simples et linéaires qui se produisent constamment dans la vie réelle.

Cet article, de Qingyang Zhang, porte sur la création d'un Super-Détective en combinant les anciens outils avec le nouveau. Voici comment l'auteur améliore la donne :

1. La Mise à Niveau « Symétrique » (Fin des Suppositions sur Qui est le Patron)

L'outil original de Chatterjee est asymétrique. Imaginez que vous testiez si la « Pluie » cause les « Parapluies ». Si vous inversez l'ordre et testez si les « Parapluies » causent la « Pluie », l'outil pourrait vous donner une réponse différente. Dans le monde réel, nous ignorons souvent quelle variable est la « cause » et laquelle est l'« effet » (comme dans les études génétiques où les gènes s'influencent mutuellement).

La Solution : L'auteur a créé une Version Symétrique. Imaginez cela comme un détective qui examine la relation des deux côtés simultanément. Peu importe que vous disiez « A affecte B » ou « B affecte A » ; l'outil donne le même résultat. Cela le rend beaucoup plus fiable pour des données complexes comme la co-expression des gènes.

2. La Stratégie de « Collaboration » (Ajouter de Nouveaux Partenaires)

Les travaux antérieurs de l'auteur combinaient le nouvel outil « Ondulé » avec l'ancien outil « Ligne Droite » (la corrélation de Spearman). Cet article se demande : Pouvons-nous nous associer à d'autres partenaires ?

Les Nouveaux Partenaires : L'auteur a testé l'association avec le Tau de Kendall et la Corrélation Quadrantale. Ce sont d'autres détecteurs de « Ligne Droite ».
La Découverte : L'auteur a prouvé mathématiquement que l'outil « Ondulé » et ces outils « Ligne Droite » sont indépendants l'un de l'autre lorsqu'il n'y a aucun lien. Cela signifie qu'ils ne se marchent pas sur les pieds ; ils apportent des informations différentes à la table.
Le Gagnant : Lorsque l'auteur a exécuté des milliers de simulations informatiques, l'équipe formée par l'outil « Ondulé » et le Tau de Kendall (appelé le test Chatterjee-Kendall) s'est révélée être le détective le plus puissant de tous. Il était particulièrement efficace pour trouver des liens dans de petits groupes de données ou lorsque les données étaient un peu bruyantes (désordonnées).

3. L'Expansion « Multivariée » (Du Duel aux Rassemblements de Groupe)

Jusqu'ici, nous parlions de deux variables à la fois (A et B). Mais dans le monde réel, nous avons souvent des groupes de variables (A, B, C contre X, Y, Z).

Le Défi : Vous ne pouvez pas simplement insérer un groupe de variables dans un outil conçu pour deux.
La Solution : L'auteur a proposé deux façons de gérer les groupes :
1. La Méthode « Rang » : Utiliser une formule complexe pour classer tout le groupe d'un coup.
2. Le « Miroir Magique » (Isomorphisme de Borel) : Un tour de passe-passe mathématique qui écrase un groupe entier de variables en un seul nombre, permettant aux anciens outils de fonctionner sur eux.
Le Verdict : L'auteur a constaté que l'astuce du « Miroir Magique » ne fonctionnait pas bien pour les détecteurs de « Ligne Droite » dans les groupes (elle les rendait trop faibles). Cependant, la Méthode Rang fonctionnait bien, à condition d'utiliser un « Test de Permutation » (une méthode où l'on mélange les données des milliers de fois pour voir ce qui se produit par hasard) pour calculer le score final.

Preuve du Monde Réel

Pour prouver que ces nouveaux outils fonctionnent, l'auteur les a testés sur deux ensembles de données réels :

Gènes de Levure : Examen de plus de 4 000 gènes pour voir lesquels sont liés au cycle cellulaire. Le test Chatterjee-Kendall a identifié le plus grand nombre de gènes (897), capturant des motifs que les autres outils avaient manqués. Il a trouvé à la fois les tendances lisses et les motifs ondulés bruyants.
Données sur les Vendeurs : Vérification si les scores à des tests de raisonnement prédisent la performance des ventes. Même avec un petit échantillon, les nouveaux tests étaient très sensibles et ont trouvé un lien fort là où d'autres méthodes étaient moins efficaces.

Résumé

L'article est essentiellement un manuel pour construire un meilleur détective statistique.

Problème : Les outils existants sont soit trop simples (ils manquent les motifs complexes), soit trop complexes (ils manquent les motifs simples).
Solution : Combiner le meilleur des deux mondes.
Conclusion Clé : La combinaison Chatterjee-Kendall est le nouveau champion. Elle est symétrique (ne se soucie pas de l'ordre), fonctionne sur des groupes de données et est l'outil le plus puissant pour trouver des liens dans des données réelles et désordonnées.

Résumé technique : Sur les extensions du test Chatterjee-Spearman

Énoncé du problème
La corrélation de Chatterjee (2021) est un test d'indépendance basé sur les rangs, consistant contre toutes les alternatives et possédant une théorie asymptotique simple permettant le calcul analytique de la valeur $p$ . Cependant, une limitation majeure du test de Chatterjee est sa faible puissance statistique pour détecter les relations monotones par rapport aux tests de rang établis tels que les corrélations de Spearman ou de Kendall. Bien que des travaux antérieurs (Zhang, 2024) aient proposé une statistique de type « max » combinant les corrélations de Chatterjee et de Spearman pour remédier à cela, plusieurs lacunes critiques subsistaient :

Asymétrie : La statistique combinée originale est asymétrique ; l'échange des variables réponse ( $Y$ ) et indépendantes ( $X$ ) peut produire des résultats différents, ce qui pose problème pour des applications comme l'analyse de co-expression génique où des tests symétriques sont préférés.
Portée limitée de la combinaison : Le cadre précédent ne combinait que la corrélation de Chatterjee avec celle de Spearman. Il était incertain de savoir comment il se comporterait lorsqu'il serait combiné avec d'autres corrélations de rang, telles que le $\tau$ de Kendall ou la corrélation quadrants.
Limites multivariées : Le test existant était restreint aux scalaires aléatoires. Étendre ce cadre aux vecteurs aléatoires (tests d'indépendance multivariés) nécessitait de nouveaux développements théoriques.

Méthodologie
L'article propose trois extensions clés au cadre Chatterjee-Spearman :

Symétrisation :
Les auteurs dérivent la distribution asymptotique conjointe de la corrélation de Spearman ( $S_n$ ), de la corrélation de Chatterjee ( $\xi_n(X,Y)$ ) et de la corrélation de Chatterjee inversée ( $\xi_n(Y,X)$ ) sous l'hypothèse nulle d'indépendance. Ils prouvent que ces trois statistiques sont asymptotiquement normales conjointes et mutuellement indépendantes. Sur cette base, ils définissent une statistique de type max symétrique :
$\tilde{I}^S_n(X,Y) = \max\left\{ |S_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
La distribution asymptotique sous l'hypothèse nulle est dérivée analytiquement, permettant un calcul direct de la valeur $p$ sans permutation.
Extension à d'autres corrélations de rang :
L'étude examine les relations asymptotiques entre la corrélation de Chatterjee et le $\tau_n$ de Kendall ainsi que la corrélation quadrants $Q_n$ . Les auteurs établissent que sous l'indépendance, $\xi_n$ est asymptotiquement indépendant à la fois de $\tau_n$ et de $Q_n$ . Par conséquent, ils définissent deux nouveaux tests symétriques :
- Chatterjee-Kendall : $\tilde{I}^\tau_n(X,Y) = \max\left\{ |\tau_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
- Chatterjee-Quadrant : $\tilde{I}^Q_n(X,Y) = \max\left\{ 3/2|Q_n(X,Y)|, \sqrt{5/2}\xi_n(X,Y), \sqrt{5/2}\xi_n(Y,X) \right\}$
  Des valeurs $p$ analytiques sont dérivées pour ces statistiques sur la base des résultats de normalité conjointe.
Extensions multivariées :
Deux approches sont explorées pour les données multivariées ( $X \in \mathbb{R}^p, Y \in \mathbb{R}^q$ ) :
- Formules de Grothe et al. (2014) : Utilisation de rangs multivariés pour définir $S_n$ et $\tau_n$ . Puisque la distribution asymptotique sous l'hypothèse nulle de la statistique max combinée est difficile à dériver analytiquement en raison de la forme de ratio des Spearman/Kendall multivariés, les auteurs recommandent un test de permutation pour estimer les valeurs $p$ et les écarts-types.
- Isomorphisme de Borel : Transformation des vecteurs aléatoires en scalaires aléatoires à l'aide d'une fonction de fusion de Borel (par exemple, développement binaire) pour appliquer directement les résultats univariés. Cependant, les simulations suggèrent que cette approche peut entraîner une faible puissance pour détecter les relations monotones dans des contextes multivariés.

Résultats clés

Théoriques : L'article prouve que sous l'indépendance, la corrélation de Chatterjee est asymptotiquement indépendante des corrélations de Spearman, de Kendall et quadrants. Il établit la normalité conjointe asymptotique de ces statistiques, permettant la dérivation de valeurs $p$ analytiques pour les tests univariés symétrisés.
Simulation (Univariée) :
- Tous les tests proposés contrôlent efficacement le taux d'erreur de type I.
- Le test Chatterjee-Kendall démontre une puissance statistique supérieure par rapport au test Chatterjee-Spearman, en particulier pour de petites tailles d'échantillon ( $n=20$ ) et dans des contextes linéaires/par paliers (monotones).
- Les tests combinés surpassent les tests individuels (Chatterjee, Spearman, Kendall) à travers divers modèles de corrélation (linéaire, quadratique, sinusoïdale, par paliers).
Simulation (Multivariée) :
- L'approche basée sur la permutation utilisant les formules de Grothe et al. produit une puissance robuste.
- L'approche par isomorphisme de Borel, bien que théoriquement pratique, échoue souvent à contrôler les taux d'erreur de type I lors de l'utilisation de valeurs $p$ analytiques pour de petits échantillons et présente une faible puissance pour les associations monotones dans des contextes multivariés.
Applications sur données réelles :
- Transcriptomique de la levure : Appliqué à 4 381 gènes, le test Chatterjee-Kendall a identifié les gènes les plus significatifs (897) liés aux cycles cellulaires, surpassant les tests individuels. Il a détecté avec succès à la fois des motifs oscillatoires (non monotones) et monotones manqués par les tests uniques.
- Données sur les vendeurs : Appliqué aux associations multivariées entre la performance des ventes et les scores de raisonnement, le test Chatterjee-Kendall basé sur la permutation a montré une haute sensibilité (taux de rejet de 95,1 % dans les simulations à petits échantillons), surpassant le test Chatterjee symétrisé.

Portée et affirmations
L'article affirme élargir considérablement l'applicabilité des tests d'indépendance combinés basés sur les rangs. En symétrisant la statistique, il élimine le besoin de désigner arbitrairement des variables réponse et indépendantes, rendant la méthode adaptée à l'analyse d'association symétrique (par exemple, co-expression génique). En démontrant que la corrélation de Chatterjee est asymptotiquement indépendante des autres principales corrélations de rang, l'article valide la flexibilité du cadre, permettant le remplacement de la corrélation de Spearman par celle de Kendall ou quadrants.

Les auteurs concluent modestement que, bien que le test Chatterjee-Kendall présente une meilleure puissance empirique, en particulier pour les petits échantillons et les données bruyantes, il n'existe actuellement aucune justification théorique expliquant pourquoi il surpasse le test Chatterjee-Spearman face aux alternatives locales. Ils notent également que les extensions multivariées basées sur les formules de Grothe et al. sont actuellement limitées aux faibles dimensions en raison de la sparsité des rangs multivariés dans des contextes de haute dimension, suggérant que les méthodes de corrélation de distance restent préférables pour les tests d'indépendance en haute dimension.

1. La Mise à Niveau « Symétrique » (Fin des Suppositions sur Qui est le Patron)

2. La Stratégie de « Collaboration » (Ajouter de Nouveaux Partenaires)

3. L'Expansion « Multivariée » (Du Duel aux Rassemblements de Groupe)

Preuve du Monde Réel

Résumé

Articles similaires