Résumé technique : Coefficient de corrélation de couverture

Énoncé du problème

L'article traite du défi de la détection d'associations statistiques complexes et potentiellement non linéaires entre des variables et des vecteurs aléatoires. Bien que les mesures classiques comme la corrélation de Pearson capturent les relations linéaires et que les mesures basées sur le rang (Spearman, Kendall) capturent les associations monotones, elles échouent souvent à détecter les dépendances non monotones. Les approches non paramétriques existantes, telles que la corrélation de distance (dCor), le critère d'indépendance de Hilbert-Schmidt (HSIC) et la corrélation de Chatterjee, présentent des limitations significatives. Beaucoup sont conçues principalement pour les tests d'indépendance sans fournir une mesure directe de l'amplitude de la dépendance. D'autres, particulièrement les tests basés sur la permutation, souffrent d'une intraitabilité computationnelle dans les contextes à grande échelle (par exemple, la génomique) où des distributions nulles asymptotiques précises sont nécessaires pour gérer les charges massives de tests multiples. De plus, la corrélation de Chatterjee, bien qu'efficace et exempte de distribution, est intrinsèquement asymétrique et conçue pour détecter une dépendance fonctionnelle directionnelle ($Y = f(X)$), ce qui la rend moins adaptée à la détection de dépendances symétriques ou indirectes où les variables partagent une structure latente commune.

Méthodologie

Les auteurs proposent le coefficient de corrélation de couverture ($\kappa_{X,Y}$), une nouvelle mesure non paramétrique d'association statistique. La méthodologie est fondée sur l'intuition géométrique et la théorie du transport optimal :

1. Intuition géométrique : L'idée centrale consiste à couvrir l'hypercube unité $[0, 1]^{d_X + d_Y}$ avec de petites boules $\ell_\infty$ (cubes) centrées sur les rangs multivariés empiriques des points de données. La statistique quantifie le « volume non couvert » (vacance) de l'espace à l'extérieur de ces boules.

   • Sous l'hypothèse d'indépendance, les points sont distribués uniformément et le volume non couvert converge vers $e^{-1}$.
   • Sous une dépendance singulière (où la distribution jointe est concentrée sur une variété de dimension inférieure), le volume non couvert converge vers 1.

2. Rangs de Monge–Kantorovich : Pour généraliser cela à des vecteurs multivariés ($X \in \mathbb{R}^{d_X}, Y \in \mathbb{R}^{d_Y}$), les auteurs utilisent les rangs de Monge–Kantorovich. Ceux-ci sont définis via des applications de transport optimal qui poussent les distributions marginales empiriques vers des distributions uniformes sur l'hypercube unité. Plus précisément, pour des points de référence $U$ et $V$ dans les hypercubes unités, les rangs $R_i$ sont obtenus en résolvant des problèmes d'assignation optimale minimisant la distance euclidienne au carré entre les points de données et les points de référence.

3. Définition : La corrélation de couverture empirique est définie par :
   $$\kappa_{X,Y}^n := \frac{V_n - e^{-1}}{1 - e^{-1}}$$
   où $V_n$ est le volume non couvert dans l'hypercube unité lorsque des boules de rayon $\gamma = \frac{1}{2n^{1/d}}$ (où $d = d_X + d_Y$) sont centrées sur les rangs conjoints. Les points de référence peuvent être aléatoires (distribués uniformément) ou déterministes (par exemple, une grille régulière).

4. Cadre théorique :

   • Consistance : La statistique estime de manière cohérente une $f$-divergence entre la distribution jointe $P_{(X,Y)}$ et le produit des marginales $P_X \otimes P_Y$, avec la fonction génératrice $f_{cov}(x) = \frac{e^{-x} - e^{-1}}{1 - e^{-1}}$.
   • Distribution nulle : Sous l'hypothèse nulle d'indépendance, la statistique admet une distribution normale asymptotique analytiquement traitable, permettant la construction de $p$-values sans recours au rééchantillonnage.
   • Dérandomisation : L'article démontre que la statistique peut être « dérandomisée » en utilisant des points de référence déterministes (par exemple, des grilles régulières ou des séquences à faible discrépance) sans perdre sa consistance ni sa normalité asymptotique, à condition que certaines conditions de régularité sur les applications de transport optimal soient remplies.

Contributions clés

1. Mesure symétrique de dépendance singulière : Contrairement à la corrélation de Chatterjee, la corrélation de couverture est symétrique et spécifiquement conçue pour détecter les dépendances singulières (où la distribution jointe est singulière par rapport au produit des marginales), capturant des relations de la forme $f(X, Y) = 0$ plutôt que simplement $Y = f(X)$.
2. Asymptotique exempte de distribution : La méthode fournit une distribution nulle pivot qui est indépendante des distributions marginales, permettant d'obtenir des $p$-values asymptotiques exactes. C'est un avantage significatif par rapport aux méthodes basées sur les noyaux ou les distances qui reposent souvent sur des tests de permutation coûteux en calcul.
3. Efficacité computationnelle : Les auteurs développent un algorithme avec une complexité temporelle de $O(n \log n)$ pour les marginales univariées et fournissent des implémentations efficaces dans les packages R et Python (covercorr).
4. Garanties théoriques : L'article établit la consistance pour les contextes univariés et multivariés (sous des conditions de régularité spécifiques sur les applications de transport optimal et les dimensions) et prouve un théorème de la limite centrale pour la distribution nulle.
5. Robustesse via un générateur borné : La $f$-divergence sous-jacente utilise une fonction génératrice bornée, offrant une robustesse contre les rapports de densité extrêmes par rapport aux divergences non bornées comme l'information mutuelle (Kullback–Leibler).

Résultats

• Études de simulation : L'article évalue la puissance de la corrélation de couverture par rapport à la corrélation de Chatterjee, la corrélation de distance, l'HSIC, KMAc et USP à travers divers mécanismes de génération de données (sinusoïdal, zigzag, cercle, spirale, Lissajous et dépendances locales).
  • Dans les scénarios de dépendance fonctionnelle directionnelle (sinusoïdal, zigzag), la corrélation de Chatterjee est performante.
  • Dans les scénarios de dépendances symétriques ou indirectes (cercle, spirale, Lissajous, où $X$ et $Y$ sont des fonctions d'une variable latente $U$), la corrélation de couverture démontre une puissance supérieure à la corrélation de Chatterjee et à KMAc.
  • La méthode maintient des taux d'erreur de type I bien calibrés, particerulièrement pour de grands échantillons.
• Applications sur données réelles :
  • Données sur les hormones menstruelles : Appliquée à quatre hormones reproductives, la corrélation de couverture a été la seule méthode à détecter une dépendance statistiquement significative pour chaque paire d'hormones au seuil de 5 %, ce qui est cohérent avec les systèmes de rétroaction biologique connus.
  • Séquençage d'ARN unicellulaire (scRNA-seq) : Dans un ensemble de données de 9 369 cellules T CD8+ et 1 000 gènes, la corrélation de couverture a identifié 54 paires de gènes significatives qui avaient été manquées par les corrélations de Pearson, Spearman et de Chatterjee. L'inspection visuelle de ces paires a révélé des relations en forme de "L" indiquant une dépendance fonctionnelle implicite.

Signification et affirmations

L'article affirme que le coefficient de corrélation de couverture comble une lacune critique dans les mesures d'association statistique en offrant un outil symétrique, exempt de distribution et efficace sur le plan computationnel pour détecter des dépendances complexes, non monotones et singulières. Sa capacité à fournir une distribution nulle asymptotiquement traitable le rend particulièrement adapté aux scénarios de tests par paires à grande échelle (par exemple, la génomique) où les méthodes basées sur la permutation sont trop coûteuses en calcul.

Les auteurs positionnent la méthode comme une alternative robuste aux estimateurs de divergence existants qui nécessitent une estimation de densité, notant que la corrélation de couverture opère directement sur les rangs et les volumes non couverts. Bien que l'article reconnaisse un écart théorique dans les preuves de consistance pour les dimensions $d_X + d_Y \in \{3, 4\}$, il affirme que la méthode est théoriquement solide pour les cas univariés et pour les cas de haute dimension ($d_X + d_Y \geq 5$) sous réserve de conditions de régularité, et empiriquement efficace pour une large gamme de dimensions. Le travail souligne que la statistique mesure l'étendue de laquelle la loi jointe ne parvient pas à couvrir l'espace produit, fournissant une perspective géométrique sur la dépendance qui complète les mesures de dépendance fonctionnelle existantes.