Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions

A continuación presento un resumen técnico detallado del artículo "Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions" (Prueba de Máxima Diferencia para Comparar Distribuciones Multivariadas de K Muestras), escrito por Wei Lan, Long Feng, Runze Li y Chih-Ling Tsai.

1. Planteamiento del Problema

La comparación de distribuciones de $K$ muestras es un problema fundamental en la ciencia de datos con aplicaciones en bioinformática, economía, finanzas y aprendizaje automático. Aunque existen métodos establecidos para la comparación de dos muestras ($K=2$) o para datos de dimensión fija, surgen desafíos significativos en escenarios modernos:

• Alta dimensionalidad: La dimensión de los datos ($p$) puede ser mayor que el tamaño de la muestra ($n$).
• Múltiples muestras: La necesidad de comparar $K > 2$ grupos simultáneamente.
• Datos no euclidianos y regresión: La existencia de variables explicativas (covariables) y la necesidad de probar distribuciones de errores en modelos de regresión multivariada.
• Limitaciones de métodos existentes:
  • Las pruebas tipo Hotelling asumen normalidad y se centran en medias/covarianzas, no en distribuciones completas.
  • Los métodos no paramétricos clásicos (Kolmogorov-Smirnov) no escalan bien a datos multivariados.
  • Los métodos basados en grafos (como MST) existentes a menudo tienen limitaciones computacionales o de potencia en dimensiones altas o con $K$ grande.

El objetivo del artículo es desarrollar un método robusto, no paramétrico y aplicable a datos multivariados de dimensión fija o divergente, tanto para la comparación directa de muestras como para modelos de regresión.

2. Metodología Propuesta

Los autores proponen dos pruebas principales basadas en un enfoque de "Máxima Diferencia" (MOD):

A. Prueba MOD (Maximum-of-Differences)

El procedimiento se basa en tres pasos conceptuales:

1. Conectividad: Se calculan las distancias pairwise (pareadas) entre todas las observaciones de las $K$ muestras combinadas. Dos observaciones se consideran "conectadas" si su distancia es menor que un umbral predefinido $\tau$.
2. Probabilidades "Within" y "Between": Para cada observación $i$, se calculan dos probabilidades empíricas:
   • $\hat{p}_{in}^i$: La proporción de observaciones conectadas a $i$ que pertenecen a la misma muestra.
   • $\hat{p}_{bet}^i$: La proporción de observaciones conectadas a $i$ que pertenecen a otras muestras.
3. Estadístico de Prueba: Bajo la hipótesis nula ($H_0$: todas las distribuciones son iguales), la diferencia entre estas probabilidades debería ser cercana a cero. El estadístico MOD se define como el máximo de las diferencias estandarizadas al cuadrado entre estas probabilidades para todas las observaciones:
   $$T_\tau = \max_{1 \le i \le n} \frac{(\hat{p}_{bet}^i - \hat{p}_{in}^i)^2}{\text{Var}(\hat{p}_{bet}^i - \hat{p}_{in}^i)}$$

Distribución Asintótica: Bajo $H_0$, el estadístico converge a la distribución del máximo de una suma ponderada correlacionada de variables normales estándar y una distribución de valor extremo de Tipo I. Dado que la forma analítica es compleja, se propone un método de replicación numérica para obtener valores críticos.

B. Prueba CA-MOD (Covariance-Adjusted MOD)

Para evitar la complejidad computacional de la distribución conjunta de los estadísticos (debido a las correlaciones entre observaciones), los autores proponen una versión ajustada:

• Se ajusta la estructura de covarianza de los estadísticos estandarizados antes de tomar el máximo.
• Se define $T^{adj}_\tau = \max_{1 \le i \le n} (\hat{\Sigma}^{-1/2} \mathbf{T})_i^2$, donde $\hat{\Sigma}$ es la matriz de covarianza estimada de los estadísticos.
• Resultado Clave: Bajo ciertas condiciones, este estadístico ajustado converge a una distribución de valor extremo de Tipo I (Gumbel), lo que permite calcular valores críticos analíticamente sin necesidad de simulaciones intensivas.

C. Selección del Parámetro de Ajuste ($\tau$)

El umbral $\tau$ es crucial. Los autores demuestran teóricamente que, bajo ciertas alternativas de desplazamiento de media o varianza, la potencia se maximiza cuando $\tau$ corresponde a la mediana de las distancias pairwise $\|X_i - X_j\|$. Esta elección también evita que las probabilidades estimadas sean extremas (cercanas a 0 o 1).

D. Extensión a Modelos de Regresión

El método se extiende a modelos de regresión multivariada $X_i^{(k)} = \beta^{(k)}W_i^{(k)} + \epsilon_i^{(k)}$. En lugar de comparar las observaciones crudas, se comparan los residuos estimados ($\hat{\epsilon}$) de los modelos ajustados para cada grupo, permitiendo probar si las distribuciones de los errores son iguales tras ajustar por las covariables.

3. Contribuciones Clave

1. Novedad Metodológica: Introducción de una prueba basada en la maximización de diferencias de probabilidades de conexión, que es aplicable a $K \ge 2$ muestras en dimensiones fijas y altas.
2. Versatilidad: El método no requiere supuestos de normalidad, es robusto a datos con colas pesadas y funciona con datos no euclidianos (siempre que se defina una métrica de distancia adecuada).
3. Solución Computacional: Desarrollo de la versión CA-MOD que converge a una distribución de valor extremo conocida, facilitando la inferencia estadística sin simulaciones costosas.
4. Aplicabilidad en Regresión: Extensión directa para probar la igualdad de distribuciones en presencia de covariables, un área donde los métodos existentes son limitados.
5. Consistencia: Demostración teórica de que ambas pruebas son consistentes bajo hipótesis alternativas (es decir, la potencia tiende a 1 a medida que $n \to \infty$).

4. Resultados Empíricos

Los autores realizaron estudios de simulación extensos y un análisis de datos reales:

• Control de Tasa de Error Tipo I: Tanto MOD como CA-MOD controlan bien el tamaño de la prueba (nivel de significancia) en diversos escenarios de dimensión ($p$) y tamaño de muestra ($n$), incluso cuando $p > n$.
• Potencia Comparativa:
  • Desplazamiento de Media: En $K=2$, MOD y CA-MOD son comparables a otros métodos basados en grafos (como GEC y WEC), aunque ligeramente inferiores en algunos casos de dimensión muy alta.
  • Desplazamiento de Covarianza y Distribución: CA-MOD supera significativamente a los métodos competidores (EC, GEC, WEC, GLP, MMCM) en la detección de cambios en la varianza y en la forma de la distribución.
  • Múltiples Grupos ($K=6$): En escenarios con más de dos muestras, CA-MOD y MOD muestran un rendimiento superior o comparable al método GLP y MMCM, especialmente en detección de cambios de covarianza y distribución.
• Datos Reales (Eficiencia del Mercado):
  • Se aplicó el método a datos de rendimientos de acciones chinas para probar el "efecto del día de la semana" (comparando distribuciones de lunes a viernes).
  • Sin covariables: No se rechazó la hipótesis nula ($p$-valores > 0.05).
  • Con covariables (Modelo CAPM): Tras ajustar por el rendimiento del mercado (índice Hushen 300), los residuos tampoco mostraron diferencias significativas entre los días.
  • Conclusión: No hay evidencia suficiente de un efecto del día de la semana, sugiriendo una mayor eficiencia del mercado chino tras las reformas estructurales.

5. Significado e Impacto

Este trabajo proporciona una herramienta estadística robusta para la era de los datos masivos y complejos. Su capacidad para manejar:

1. Dimensiones altas sin asumir normalidad.
2. Múltiples grupos simultáneamente.
3. Estructuras de regresión para aislar efectos de distribución.

Lo posiciona como un avance significativo sobre las pruebas de Kolmogorov-Smirnov multivariadas y los métodos basados en grafos tradicionales. La propuesta de CA-MOD es particularmente valiosa por ofrecer una solución computacionalmente eficiente con fundamentos teóricos sólidos, permitiendo a los investigadores probar la igualdad de distribuciones en contextos complejos donde los métodos anteriores fallaban o eran inaplicables.