A Nonparametric Goodness-of-Fit Test for High-Dimensional Generalized Gaussian Distributions via Nearest-Neighbor Graphs

Título: Prueba de Bondad de Ajuste No Paramétrica para Distribuciones Gaussianas Generalizadas Multivariantes de Alta Dimensión mediante Grafos de Vecino Más Cercano

1. El Problema

La distribución gaussiana generalizada multivariante (MGGD, por sus siglas en inglés) es fundamental para modelar vectores de alta dimensión que exhiben comportamientos radiales no gaussianos, desde picos agudos hasta colas pesadas. Sin embargo, validar si los datos siguen un modelo MGGD es extremadamente difícil en regímenes modernos donde la dimensión ($m$) es comparable o incluso mayor que el tamaño de la muestra ($n$).

Los desafíos principales identificados son:

• Inversión de Covarianza: Las pruebas clásicas (como las de Mardia basadas en asimetría y curtosis) dependen de la inversión de la matriz de covarianza, la cual es singular o inestable cuando $m \geq n$.
• Estimación de Densidad: Los métodos basados en estimación de densidad sufren de la "maldición de la dimensionalidad" en espacios de alta dimensión.
• Sensibilidad a la Condicionamiento: Las estadísticas basadas en covarianza son altamente sensibles a la elección de regularización y fallan bajo colas pesadas.
• Vacío Metodológico: Existe una falta de pruebas de bondad de ajuste no paramétricas robustas diseñadas específicamente para la hipótesis nula compuesta de MGGD en alta dimensión.

2. Metodología Propuesta

Los autores proponen una prueba de bondad de ajuste no paramétrica, invariante afín y basada en grafos, que evita la estimación explícita de densidades y la inversión inestable de matrices. El procedimiento se basa en el principio de la "hipótesis nula adaptada" y sigue estos pasos:

1. Estandarización Robusta:

   • Se estiman los parámetros de ubicación ($\hat{\mu}$) y dispersión ($\hat{\Sigma}$) utilizando estimadores robustos de alta dimensión (estimador de Tyler regularizado).
   • Se estima el parámetro de forma ($\hat{\beta}$) mediante un método basado en momentos (relación con la curtosis multivariante).
   • Se transforma la muestra original $X$ a una muestra estandarizada $Z$ mediante un mapa de blanqueamiento: $Z_i = \hat{\Sigma}^{-1/2}(X_i - \hat{\mu})$.

2. Construcción de la Muestra de Referencia:

   • Se genera una muestra de referencia independiente $Y$ de una distribución MGGD estándar con parámetros estimados: $Y_i \sim \text{MGGD}(0, I_m, \hat{\beta})$.

3. Estadístico de Prueba (Grafo de Vecino Más Cercano - NN):

   • Se combinan las muestras estandarizada ($Z$) y de referencia ($Y$) en un conjunto único $S$.
   • Se construye un grafo de vecino más cercano (1-NN) dirigido sobre $S$.
   • El estadístico $T_n$ cuenta el número de "aristas cruzadas" (cross-edges): específicamente, cuántos puntos de la muestra de referencia tienen su vecino más cercano dentro de la propia muestra de referencia.
   • Lógica: Si el modelo es correcto, las etiquetas de "datos" y "referencia" son intercambiables, y el conteo de aristas cruzadas debería centrarse en $n/2$. Si hay un desajuste en la ley radial (colas o pico), los puntos tenderán a agruparse con sus propios tipos, desviando el estadístico.

4. Calibración (Bootstrap Paramétrico Adaptado):

   • Dado que la hipótesis nula es compuesta (parámetros desconocidos), se utiliza un bootstrap paramétrico.
   • En cada réplica, se regeneran datos bajo el modelo ajustado, se vuelven a estimar los parámetros ($\hat{\mu}^*, \hat{\Sigma}^*, \hat{\beta}^*$) y se recalcula el estadístico. Esto incorpora la incertidumbre de los parámetros de molestia en la distribución nula, asegurando un control preciso del tamaño de la prueba.

3. Contribuciones Clave

• Marco Teórico en Alta Dimensión: Establecen la validez asintótica de la prueba bajo escalado de alta dimensión ($m \to \infty$ con $\log m = o(n)$). Demuestran que, bajo la hipótesis nula, la estadística converge a una distribución normal tras la estandarización robusta.
• Consistencia Geométrica: Proponen una interpretación geométrica basada en la "concentración de medida". En alta dimensión, las distribuciones elípticas se concentran en "cascarones" (shells) delgados. Un error en el parámetro de forma $\beta$ provoca que los datos y la referencia se concentren en cascarones de radios diferentes, lo que el grafo NN detecta fácilmente como una separación geométrica.
• Robustez y Eficiencia: El método es invariante afín, no requiere inversión de covarianza inestable y funciona bien incluso cuando $m > n$.
• Calibración Compuesta: La implementación del bootstrap con re-estimación de parámetros en cada iteración es crucial para manejar la incertidumbre de los parámetros en modelos compuestos, algo que a menudo se ignora en pruebas de bondad de ajuste.

4. Resultados

Los autores validan el método mediante estudios de simulación y un caso de datos reales:

• Control del Error Tipo I: En simulaciones con datos generados bajo MGGD (incluyendo colas tipo Laplace, $\beta=0.5$), la prueba propuesta mantiene tasas de rechazo cercanas al nivel nominal (5%), incluso cuando $m \geq n$. En contraste, las pruebas de normalidad estándar (Chen-Xia) rechazan casi siempre (100%), y las pruebas de distancia de energía muestran un ligero sesgo liberal.
• Potencia de Prueba:
  • La prueba demuestra una alta sensibilidad para detectar desviaciones en la forma de las colas (alternativas de distribución $t$ multivariante).
  • Efecto de la Dimensión: A diferencia de muchas pruebas donde la potencia disminuye con la dimensión, la potencia de esta prueba aumenta con $m$. Esto se debe a que la separación geométrica entre los cascarones radiales se vuelve más pronunciada en dimensiones más altas.
  • Supera significativamente a las pruebas basadas en distancia de energía y a las pruebas de normalidad en la detección de desviaciones de MGGD.
• Datos Reales (Enfermedad de Crohn):
  • Se aplicó a un conjunto de datos de 117 pacientes con 4 variables (IMC, altura, edad, peso).
  • Las pruebas de NN y de energía rechazaron fuertemente la normalidad multivariante ($p < 0.001$).
  • El modelo MGGD ajustado (con $\hat{\beta} \approx 1.54$) tuvo el mejor ajuste según AIC y BIC, superando a los modelos Normal y $t$ de Student, confirmando la presencia de colas pesadas y la necesidad de un modelo flexible.

5. Significado e Impacto

Este trabajo es significativo porque cierra una brecha metodológica crítica en el análisis estadístico moderno:

• Viabilidad en Alta Dimensión: Proporciona una herramienta práctica para validar modelos MGGD en escenarios donde los métodos clásicos fallan (cuando la dimensión supera o iguala el número de muestras).
• Interpretación Geométrica: Ofrece una comprensión intuitiva de cómo la estructura de los datos en alta dimensión (concentración en cascarones) puede ser explotada para la inferencia estadística sin depender de momentos de segundo orden inestables.
• Aplicabilidad: Es altamente relevante para campos como el procesamiento de señales (radar/sonar), imágenes médicas, finanzas y aprendizaje automático, donde los datos suelen ser de alta dimensión y no gaussianos.
• Rigor: La combinación de robustez en la estimación inicial con una calibración bootstrap rigurosa asegura que la prueba sea fiable en la práctica, no solo en teoría.

En resumen, el artículo presenta una solución robusta, teóricamente fundamentada y empíricamente superior para la validación de modelos de distribuciones gaussianas generalizadas en el régimen de alta dimensión.