Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions

1. Problématique et Contexte

La comparaison de distributions entre $K$ échantillons est un problème fondamental en science des données, avec des applications variées allant de la bio-informatique à l'économie, en passant par l'apprentissage automatique (transfer learning, matching d'attributs de bases de données, analyse de gènes).

Les défis actuels incluent :

• Haute dimensionnalité : La dimension $p$ des données peut être supérieure ou comparable à la taille de l'échantillon $n$.
• Non-paramétrisme : Les méthodes classiques (comme le test de Hotelling) reposent sur des hypothèses paramétriques (ex: normalité multivariée, égalité des moyennes/covariances) qui ne capturent pas nécessairement des différences de distribution complexes.
• Données multivariées avec covariables : La nécessité de tester l'égalité des distributions dans des modèles de régression multivariée, où les erreurs doivent être comparées après ajustement des covariables.
• Limites des méthodes existantes : Les tests non-paramétriques classiques (Kolmogorov-Smirnov) peinent en haute dimension, tandis que les méthodes basées sur les graphes (MST, comptage d'arêtes) peuvent manquer de puissance ou être instables pour $K > 2$.

L'objectif de cet article est de proposer une nouvelle approche, le test MOD (Maximum-of-Differences), capable de comparer $K$ échantillons multivariés (fixes ou de haute dimension) et de s'étendre aux modèles de régression multivariée.

2. Méthodologie

La méthode proposée repose sur une approche basée sur les distances et les probabilités de connexion, structurée en trois étapes principales :

A. Construction des statistiques de base

Pour $K$ échantillons poolés de taille totale $n$ :

1. Calcul des distances : On calcule les distances par paires $\|X_i - X_j\|$ entre toutes les observations.
2. Définition de la connexion : Deux observations $i$ et $j$ sont dites « connectées » si leur distance est inférieure à un seuil pré-spécifié $\tau$.
3. Probabilités « Within » et « Between » : Pour chaque observation $i$, on calcule :
   • $\hat{p}_{in, i}$ : La probabilité d'être connecté à d'autres observations du même échantillon (within).
   • $\hat{p}_{bet, i}$ : La probabilité d'être connecté à des observations d'autres échantillons (between).

B. Le test MOD (Maximum-of-Differences)

Sous l'hypothèse nulle ($H_0$ : les $K$ distributions sont égales), les probabilités de connexion intra et inter-échantillons devraient être égales. La différence $\hat{p}_{bet, i} - \hat{p}_{in, i}$ devrait donc être proche de zéro pour tout $i$.

Le statistique de test MOD est définie comme le maximum des différences carrées standardisées sur toutes les observations :
$$T_\tau = \max_{1 \le i \le n} \frac{(\hat{p}_{bet, i} - \hat{p}_{in, i})^2}{\text{Var}(\hat{p}_{bet, i} - \hat{p}_{in, i})}$$
où la variance est estimée de manière empirique.

Distribution asymptotique : Sous $H_0$, la distribution de $T_\tau$ converge vers le maximum d'une somme pondérée de variables normales et d'une distribution extrême de type I. Cette distribution n'a pas de forme analytique simple, mais ses valeurs critiques peuvent être estimées par une méthode de réplication numérique (simulation de variables gaussiennes avec la matrice de covariance estimée).

C. Le test CA-MOD (Covariance-Adjusted MOD)

Pour éviter la complexité computationnelle de la distribution limite du MOD (qui dépend de la structure de corrélation complexe entre les $T_{i,\tau}$), les auteurs proposent une version ajustée :

1. Ajustement de la covariance : On transforme les statistiques $T_{i,\tau}$ en utilisant l'inverse de la racine carrée de la matrice de covariance estimée $\hat{\Sigma}^{-1/2}$.
2. Statistique ajustée : $T^{adj}_\tau = \max_{1 \le i \le n} (M^{adj}_{i,\tau})^2$.
3. Distribution limite : Après cet ajustement, les éléments sont faiblement corrélés. Sous certaines conditions, $T^{adj}_\tau$ suit asymptotiquement une distribution extrême de type I (Gumbel) :
   $$P(T^{adj}_\tau - 2\log n + \log \log n \le x) \to \exp\left(-\frac{1}{\sqrt{\pi}} e^{-x/2}\right)$$
   Cela permet de calculer des valeurs critiques analytiques sans simulation intensive.

D. Extension aux modèles de régression

La méthode est étendue au cadre de la régression multivariée $X^{(k)}_i = \beta^{(k)} W^{(k)}_i + \epsilon^{(k)}_i$. Au lieu de comparer les observations brutes, on compare les résidus estimés $\hat{\epsilon}^{(k)}_i$ après ajustement par les moindres carrés ordinaires. Cela permet de tester l'égalité des distributions des erreurs (et donc l'adéquation du modèle) tout en contrôlant les covariables.

E. Choix du paramètre de lissage $\tau$

Les auteurs démontrent théoriquement que le choix optimal de $\tau$ (pour maximiser la puissance) correspond à la médiane des distances $\|X_i - X_j\|$. Ce choix évite également que les probabilités estimées ne soient trop proches de 0 ou 1, assurant la stabilité numérique.

3. Contributions Clés

1. Nouvelle approche non-paramétrique : Introduction d'un test basé sur la maximisation des écarts de probabilités de connexion, applicable aux données de haute dimension ($p \gg n$) et à $K \ge 2$ échantillons.
2. Gestion de la corrélation : Développement d'une version ajustée (CA-MOD) qui simplifie la distribution asymptotique vers une loi extrême de type I, facilitant l'inférence.
3. Extension à la régression : Adaptation du test pour comparer des distributions dans un contexte de régression multivariée, une lacune dans la littérature existante pour $K > 2$.
4. Robustesse : Le test ne dépend que de variables binaires (connecté/non connecté) et non de la distribution sous-jacente des données, le rendant robuste aux données à queues lourdes (fat-tailed).
5. Preuves théoriques rigoureuses : Établissement de la consistance sous l'hypothèse alternative et de la convergence asymptotique sous l'hypothèse nulle, même en haute dimension.

4. Résultats (Études de Simulation et Données Réelles)

Simulations

Les auteurs ont comparé MOD et CA-MOD avec des méthodes existantes (EC, GEC, WEC, GLP, MMCM) sur des scénarios de décalage de moyenne, de covariance et de distribution.

• Contrôle de la taille (Size) : Les deux tests contrôlent bien le taux d'erreur de type I (autour de 0.05) dans toutes les configurations (K=2 et K=6, dimensions variées).
• Puissance :
  • Décalage de moyenne : Les performances sont comparables aux meilleures méthodes graphiques existantes (GEC, WEC) pour $K=2$, mais inférieures lorsque $p$ est très grand.
  • Décalage de covariance et de distribution : CA-MOD surpasse systématiquement les autres méthodes, y compris les tests graphiques avancés. C'est là que la méthode brille.
  • K > 2 (K=6) : MOD et CA-MOD sont supérieurs ou comparables aux méthodes de Mukherjee et al. (2022) et Mukhopadhyay et Wang (2020), surtout pour les alternatives de covariance et de distribution.
• Régression : Dans les modèles de régression, CA-MOD maintient de bonnes performances et contrôle la taille, surpassant souvent les autres méthodes adaptées à la régression.

Analyse de Données Réelles

Application à l'efficacité du marché boursier chinois (effet jour de la semaine).

• Objectif : Tester si les distributions des rendements boursiers sont identiques du lundi au vendredi.
• Résultat : Les p-values obtenues (0.199 pour MOD, 0.247 pour CA-MOD) ne rejettent pas l'hypothèse nulle.
• Conclusion : Aucune preuve d'un effet jour de la semaine, suggérant une efficacité croissante du marché chinois, même après ajustement par l'indice de marché (modèle CAPM).

5. Signification et Impact

Cet article propose un outil statistique puissant et flexible pour la comparaison de distributions multivariées. Sa principale valeur réside dans sa capacité à :

• Détecter des différences complexes (covariance, forme de distribution) que les tests basés sur les moyennes ignorent.
• Fonctionner efficacement en haute dimension, un défi majeur en science des données moderne.
• S'intégrer directement dans des cadres de régression, permettant des tests d'hypothèses plus nuancés sur les résidus de modèles prédictifs.

La méthode CA-MOD, en particulier, offre un compromis idéal entre la complexité computationnelle (distribution analytique simple) et la puissance statistique, la rendant très attractive pour les applications pratiques où $K > 2$ et les données sont de haute dimension.