An association measure for mixed-type variables

Résumé technique : Une mesure d'association pour les variables de types mixtes

Énoncé du problème
Quantifier l'association entre une variable réelle ($X$) et une variable catégorielle ($Y$) est un défi fondamental en analyse de données, particulièrement à mesure que les données de types mixtes deviennent prépondérantes dans des domaines tels que la génomique et les sciences sociales. Les méthodes existantes pour ce cadre « numérique–catégoriel » souffrent de limitations significatives :

• Hypothèses paramétriques : Les méthodes comme la corrélation polysérielle reposent sur des modèles normaux latents ou des hypothèses linéaires/ordinales qui peuvent ne pas être vérifiées.
• Codage arbitraire : Les solutions de contournement courantes consistent à encoder les catégories nominales sous forme d'entiers pour appliquer des méthodes numériques (par exemple, le $\xi_n$ de Chatterjee) ou à discrétiser les variables numériques. Ces approches introduisent des ordres et des espacements artificiels, menant à des résultats instables où la statistique fluctue de manière significative selon le schéma de codage choisi.
• Absence d'échelle : Les tests standards comme le test $F$ de l'ANOVA évaluent les différences de moyennes mais ne fournissent pas une mesure de dépendance sur une échelle fixe et interprétable (par exemple, de 0 à 1).

Méthodologie
Les auteurs proposent une nouvelle mesure de population d'association, notée $\xi'$, et son estimateur d'échantillon correspondant, $\xi'_n$, spécifiquement conçus pour le cadre mixte réel–catégoriel.

1. Mesure de population ($\xi'$) :
   La mesure est définie sur la base de la réduction de l'impureté de Gini (ou du gain d'information) obtenue en observant $X$. Soient $g_j(x) = P(Y=j | X=x)$ les fonctions de probabilité conditionnelle. La mesure de population est :
   $$\xi'(X, Y) = \frac{E\left[\sum_{j=1}^k g_j(X)^2\right] - \sum_{j=1}^k P(Y=j)^2}{1 - \sum_{j=1}^k P(Y=j)^2}$$
   Cette formulation agrège les probabilités conditionnelles au carré (concentration de la distribution conditionnelle) et les normalise par rapport à la concentration marginale.

2. Estimateur d'échantillon ($\xi'_n$) :
   L'estimateur est construit de manière non paramétrique sans lissage ni paramètres de réglage :

• Trier l'échantillon $(X_i, Y_i)$ par $X$ pour obtenir $(X_{(1)}, Y_{(1)}), \dots, (X_{(n)}, Y_{(n)})$.
• Calculer la proportion d'appariement adjacent $A_n = \frac{1}{n-1}\sum_{i=1}^{n-1} \mathbb{I}(Y_{(i+1)} = Y_{(i)})$.
• Calculer la probabilité de coïncidence marginale $B_n = \sum_{j=1}^k \hat{p}_j^2$, où $\hat{p}_j$ est la proportion d'échantillon de la classe $j$.
• L'estimateur est $\xi'_n = \frac{A_n - B_n}{1 - B_n}$.
• Cet estimateur est calculable en temps $O(n \log n)$ grâce à l'étape de tri.

3. Propriétés théoriques :

• Normalisation : $\xi' \in [0, 1]$.
• Indépendance : $\xi' = 0$ si et seulement si $X$ et $Y$ sont indépendants.
• Dépendance fonctionnelle : $\xi' = 1$ si et seulement si $Y$ est une fonction mesurable de $X$ presque sûrement.
• Invariance : La mesure est invariante aux transformations strictement monotones de $X$ et, de manière cruciale, à toute permutation des étiquettes catégorielles de $Y$.
• Lien avec les mesures classiques : $\xi'$ généralise le coefficient de détermination ($R^2$) en utilisant l'impureté de Gini. Il est structurellement similaire au $\xi$ de Chatterjee mais agrège les variances spécifiques aux classes sans pondération par la prévalence, ce qui le rend adapté aux catégories nominales (non ordonnées).

Théorie asymptotique et inférence
L'article établit la cohérence forte de $\xi'_n$ et dérive sa normalité asymptotique sous deux régimes :

• Sous l'indépendance ($H_0$) : $\sqrt{n}\xi'_n$ converge vers une distribution normale de moyenne 0. Les auteurs dérivent un estimateur de variance cohérent, permettant un test de Wald pour l'indépendance efficace sur le plan computationnel et sans permutation. Une correction de centrage pour échantillon fini est proposée pour traiter le biais négatif dans les petits échantillons.
• Sous dépendance générale : Les auteurs prouvent la normalité asymptotique de $\sqrt{n}(\xi'_n - \xi')$ sous des conditions de variation limitée (variation bornée des probabilités conditionnelles). Un estimateur de variance par injection (plug-in) utilisant les $k$-plus proches voisins ($k$-NN) est fourni, permettant la construction d'intervalles de confiance asymptotiquement valides pour la mesure de population.

Résultats clés

• Études de simulation : Des simulations étendues utilisant un modèle de plan en blocs démontrent que $\xi'_n$ atteint la probabilité de couverture nominale pour les intervalles de confiance et maintient des taux d'erreur de type I corrects pour le test de Wald.
• Stabilité du codage : Contrairement au $\xi_n$ de Chatterjee, qui fluctue violemment sous différents codages entiers pour les mêmes données nominales, $\xi'_n$ reste constant quelle que soit la permutation des étiquettes.
• Puissance : La méthode proposée démontre une puissance compétitive contre les alternatives établies comme la covariance de distance (dCov), l'HSIC et l'ANOVA, particulièrement dans les scénarios impliquant des signaux faibles ou la détection de classes minoritaires.
• Efficacité de calcul : La complexité en $O(n \log n)$ rend la méthode scalable, évitant le coût en $O(n^2)$ des méthodes basées sur les noyaux comme l'HSIC.
• Application de données réelles : Une application aux données de cancer du sein du TCGA montre la capacité de la méthode à détecter des dépendances générales, y compris l'hétérogénéité de la variance, qui pourraient être manquées par les tests basés sur la moyenne.

Signification et revendications
L'article affirme fournir une solution robuste et sans modèle pour mesurer l'association dans les données de types mixtes. Sa principale signification réside dans :

1. Invariance des étiquettes : Résoudre le problème d'instabilité inhérent à l'application de statistiques basées sur les rangs aux variables catégorielles nominales en agrégeant directement les indicateurs de classe plutôt qu'en imposant un ordre artificiel.
2. Interprétabilité : Offrir une mesure normalisée (0 à 1) qui quantifie la proportion de réduction de l'impureté de Gini (gain d'information), comblant le fossé entre les tests statistiques et les concepts de modélisation prédictive.
3. Inférence efficace : Permettre des tests d'hypothèse rapides et sans permutation ainsi que la construction d'intervalles de confiance via la théorie asymptotique, ce qui est avantageux sur le plan computationnel pour les grands ensembles de données par rapport aux alternatives gourmandes en rééchantillonnage.

Les auteurs positionnent $\xi'$ comme une extension nécessaire des travaux de Chatterjee, adaptée spécifiquement aux défis des réponses catégorielles nominales où les corrélations de rang standards échouent en raison de leur sensibilité au codage arbitraire.