A Nonparametric Goodness-of-Fit Test for High-Dimensional Generalized Gaussian Distributions via Nearest-Neighbor Graphs

1. Problématique et Contexte

L'article aborde le défi du test d'adéquation (goodness-of-fit) pour la distribution généralisée gaussienne multivariée (MGGD) dans des régimes hautes dimensions, où la dimension $m$ est comparable ou supérieure à la taille de l'échantillon $n$ ($m \gtrsim n$).

• Limites des méthodes classiques : Les tests multivariés traditionnels (basés sur l'asymétrie, l'aplatissement ou les distances de Mahalanobis) nécessitent l'inversion de la matrice de covariance. Dans les hautes dimensions, cette matrice est souvent singulière ou mal conditionnée, rendant ces tests instables ou inapplicables. De plus, l'estimation de la densité devient impraticable.
• Spécificité de la MGGD : La MGGD est un modèle flexible utilisé pour modéliser des données aux queues lourdes ou aux pics aigus (paramètre de forme $\beta$). Cependant, valider ce modèle composite (où les paramètres de localisation $\mu$, d'échelle $\Sigma$ et de forme $\beta$ sont inconnus) dans un contexte haute dimension reste un problème ouvert.
• Objectif : Développer un test d'adéquation non paramétrique, affine-invariant, capable de fonctionner lorsque $m \ge n$, sans estimation de densité ni inversion de matrice instable.

2. Méthodologie Proposée

L'approche proposée repose sur la topologie des graphes de plus proches voisins (NN) et le principe de l'hypothèse nulle adaptée.

A. Estimation Robuste et Standardisation

Avant de construire le graphe, les données sont standardisées pour éliminer les effets de position et d'échelle :

1. Estimation des paramètres :
   • $\hat{\mu}$ et $\hat{\Sigma}$ sont estimés via un estimateur de Tyler régularisé (robuste aux queues lourdes et stable quand $m \ge n$).
   • Le paramètre de forme $\hat{\beta}$ est estimé par une méthode basée sur les moments (Pascal et al., 2013).
2. Transformation de blanchiment (Whitening) : Les observations sont transformées en $Z_i = \hat{\Sigma}^{-1/2}(X_i - \hat{\mu})$. Sous $H_0$, ces données standardisées devraient suivre une MGGD centrée et réduite $MGGD(0, I_m, \beta)$.

B. Statistique de Test basée sur les Plus Proches Voisins

Le test compare la géométrie des données observées standardisées ($Z$) avec un échantillon de référence indépendant ($Y$) généré à partir de la MGGD estimée $MGGD(0, I_m, \hat{\beta})$.

• On forme un nuage de points combiné $S = Z \cup Y$.
• La statistique de test $T_n$ compte le nombre de bords croisés (cross-edges) dans le graphe des 1-plus proches voisins : combien de fois un point de l'échantillon de référence $Y$ a-t-il son plus proche voisin dans $Y$ (plutôt que dans $Z$) ?
• Principe : Si le modèle est correct, les étiquettes "données" et "référence" sont interchangeables (échangeabilité), et le nombre de bords internes à $Y$ devrait être proche de $n/2$. Une déviation systématique indique un mauvais ajustement (mismatch géométrique).

C. Calibration par Bootstrap Paramétrique Adapté

Comme l'hypothèse nulle est composite (paramètres inconnus), une calibration standard est insuffisante.

• Les auteurs utilisent un bootstrap paramétrique composite : pour chaque réplication, on génère de nouvelles données sous le modèle estimé, on ré-estime les paramètres ($\hat{\mu}^*, \hat{\Sigma}^*, \hat{\beta}^*$), on re-standardise, et on recalcule la statistique.
• Cela permet de propager l'incertitude des paramètres de nuisance dans la distribution nulle, assurant un contrôle correct du taux d'erreur de type I.

3. Contributions Clés

1. Méthodologique : Introduction d'un test d'adéquation non paramétrique basé sur les graphes NN, spécifiquement conçu pour l'hypothèse composite MGGD en haute dimension. Il évite l'estimation de densité et l'inversion de matrice.
2. Théorique :
   • Validité asymptotique : Démonstration que sous $H_0$, la statistique suit une loi normale asymptotique centrée, grâce à la concentration de la mesure sur des "coquilles" (shells) dans les hautes dimensions.
   • Consistance : Preuve que le test est consistant contre les déviations de forme (changement de $\beta$). La séparation géométrique entre les coquilles radiales des deux échantillons devient détectable lorsque $m \to \infty$.
3. Pratique : Fourniture d'une procédure complète incluant l'estimation robuste, la génération de référence et la calibration par bootstrap, applicable aux données réelles.

4. Résultats Expérimentaux

Les auteurs ont évalué la méthode via des simulations et une application sur des données réelles.

• Contrôle du Taux d'Erreur de Type I : Sur des données générées selon une MGGD (avec $\beta=0.5$, type Laplace), le test proposé maintient un taux de rejet très proche du niveau nominal (5 %) même lorsque $m \ge n$.
  • Comparaison : Les tests de normalité classiques (Chen-Xia) rejettent massivement (100 %) car le modèle MGGD n'est pas gaussien. Les tests basés sur la distance d'énergie sont légèrement trop libéraux.
• Puissance du Test :
  • Le test détecte efficacement les alternatives à queues lourdes (ex: distribution $t$ de Student multivariée) qui ne sont pas de la famille MGGD.
  • Effet de la dimension : La puissance augmente avec la dimension $m$. Cela s'explique par le phénomène de concentration : en haute dimension, les différences dans le comportement radial (queues) entraînent une séparation géométrique plus marquée entre les coquilles des deux échantillons, rendant les bords NN plus discriminants.
• Données Réelles (Crohn's Disease) :
  • Application sur un jeu de données cliniques (n=117, m=4).
  • Les tests NN et Distance d'Énergie rejettent fortement l'hypothèse de normalité multivariée ($p < 0.001$).
  • Les critères AIC/BIC montrent que le modèle MGGD s'ajuste bien mieux aux données que le modèle Normal ou Student-t, confirmant la présence de queues lourdes.

5. Signification et Conclusion

Cet article propose une solution robuste et théoriquement fondée pour valider des modèles de distributions généralisées gaussiennes dans des contextes modernes où la dimensionnalité est élevée.

• Avantage principal : La méthode contourne les problèmes d'instabilité numérique liés à la covariance en haute dimension en se basant sur la géométrie des plus proches voisins et la concentration de la mesure.
• Interprétation géométrique : Le test exploite le fait que, dans les hautes dimensions, les distributions elliptiques se concentrent sur des coquilles de rayons spécifiques. Un mauvais ajustement du paramètre de forme $\beta$ modifie le rayon de cette coquille, créant une séparation détectable par le graphe NN.
• Impact : Cette approche comble un vide méthodologique pour la validation de modèles dans des domaines comme le traitement du signal, l'imagerie et la finance, où les données sont souvent non-gaussiennes et de haute dimension.

En résumé, l'article démontre que l'analyse de la structure locale (voisins) combinée à une calibration par bootstrap adaptée offre un outil puissant et fiable pour le diagnostic de modèles MGGD là où les méthodes classiques échouent.