Semiparametric KSD test: unifying score and distance-based approaches for goodness-of-fit testing

Aquí presento un resumen técnico detallado del artículo "Semiparametric KSD test: unifying score and distance-based approaches for goodness-of-fit testing" (Prueba KSD semiparamétrica: unificando enfoques basados en puntuación y distancia para pruebas de bondad de ajuste), traducido y estructurado en español.

---

1. Planteamiento del Problema

Las pruebas de bondad de ajuste (GoF, por sus siglas en inglés) son herramientas fundamentales para evaluar la adecuación de un modelo estadístico. El problema central abordado es la prueba de hipótesis donde:

• Hipótesis Nula ($H_0$): La distribución de los datos $L$ pertenece a una familia paramétrica $\{L_\theta : \theta \in \Theta\}$.
• Hipótesis Alternativa ($H_1$): La distribución $L$ no pertenece a dicha familia.

Limitaciones de los enfoques existentes:

1. Pruebas basadas en verosimilitud (LRT): A menudo son subóptimas o carecen de potencia cuando la distribución verdadera está fuera de la familia paramétrica asumida. Además, requieren ajustar el modelo completo, lo cual puede ser costoso o imposible si la verosimilitud es intratable.
2. Pruebas basadas en distancia (no paramétricas): Métodos como la distancia de Kolmogorov-Smirnov (K-S), Wasserstein-1 (W-1) o la Discrepancia de la Media Máxima (MMD) son potentes pero sufren de la "maldición de la dimensionalidad". Su complejidad computacional suele ser $O(n^3)$ o incluso NP-dura en dimensiones altas, y a menudo requieren integración numérica costosa.
3. Pruebas basadas en puntuación (Score-based): Aunque son eficientes en entornos paramétricos (solo requieren ajustar el modelo bajo $H_0$), extenderlas a marcos no paramétricos ha sido difícil debido a la falta de definiciones adecuadas de "puntuación" (score) en espacios no paramétricos.

2. Metodología Propuesta: Prueba SKSD

Los autores proponen un nuevo marco de prueba llamado Prueba Semiparamétrica de Discrepancia de Stein Kernelizada (SKSD). Esta metodología se basa en tres pilares teóricos y prácticos:

A. Unificación Teórica: Puntuación vs. Distancia

El artículo establece un puente teórico fundamental demostrando que, bajo una clase de modelos inclinados exponencialmente (ETM), las pruebas basadas en puntuación son equivalentes a las pruebas basadas en Métricas de Probabilidad Integral (IPM).

• Se muestra que el estadístico de puntuación maximizado sobre una clase de funciones $\mathcal{F}$ es idéntico a la IPM definida por esa misma clase.
• Esto permite reinterpretar pruebas clásicas de distancia (K-S, W-1, MMD) como pruebas basadas en puntuación no paramétricas, unificando dos campos de estudio previamente separados.

B. La Prueba SKSD

Utilizando la dualidad anterior, los autores introducen la prueba SKSD, que utiliza una clase de funciones de Stein kernelizadas dentro de un modelo paramétrico inclinado.

• Definición del Estadístico: El estadístico de prueba $T_n$ se define como el cuadrado de la Discrepancia de Stein Kernelizada (KSD) entre la distribución empírica y el modelo ajustado bajo $H_0$.
• Ventaja Computacional: Gracias a la Identidad de Stein, el estadístico tiene una forma cerrada que no requiere integración numérica ni simulación de Monte Carlo. Se calcula como una estadística V:
  $$T_n = \frac{1}{n^2} \sum_{i,j=1}^n h_{\hat{\theta}_n}(X_i, X_j)$$
  donde $h$ es una función explícita que depende solo de la función de puntuación (score) del modelo y del kernel.
• Complejidad: La complejidad es $O(n^2)$, y puede reducirse a $O(n)$ con kernels lineales, haciéndola escalable para datos multivariados, a diferencia de K-S o W-1.

C. Manejo de Parámetros de Nuisance (Estimadores Generales)

A diferencia de las pruebas KSD puntuales (donde $\theta$ es conocido), la SKSD maneja el caso compuesto donde $\theta$ debe estimarse ($\hat{\theta}_n$).

• Flexibilidad: La prueba es válida asintóticamente para cualquier estimador que satisfaga una condición de estimación lineal asintótica uniforme (UALE). Esto incluye estimadores M, estimadores de distancia mínima y estimadores de puntuación mínima.
• Calibración: Dado que la distribución nula del estadístico es compleja (una suma infinita ponderada de variables $\chi^2$), los autores proponen un procedimiento de bootstrap paramétrico genérico. Este método es válido independientemente del estimador utilizado, siempre que cumpla la condición UALE.

3. Contribuciones Clave

1. Unificación Conceptual: Demostración de que las pruebas basadas en IPM (distancia) son esencialmente pruebas basadas en puntuación bajo modelos de inclinación exponencial, ofreciendo una interpretación unificada de métodos como K-S, W-1 y MMD.
2. Nuevo Marco de Prueba (SKSD): Desarrollo de una prueba de bondad de ajuste no paramétrica basada en puntuación que es:
   • Computacionalmente eficiente: Sin integración numérica.
   • Robusta: Funciona con estimadores generales de parámetros de nuisance.
   • Apta para modelos intratables: Solo requiere la función de puntuación (score), no la función de verosimilitud.
3. Garantías Teóricas Rigurosas:
   • Consistencia Universal: La prueba es consistente contra cualquier alternativa fija.
   • Eficiencia de Pitman: Se demuestra que la prueba alcanza la eficiencia óptima bajo alternativas locales contiguas.
   • Consistencia del Bootstrap: Se prueba que el bootstrap paramétrico calibra correctamente la distribución del estadístico tanto bajo $H_0$ como bajo $H_1$, utilizando convergencia estable.

4. Resultados Experimentales

Los autores validan la SKSD en tres escenarios principales:

1. Prueba de Normalidad:

   • Comparada contra pruebas especializadas (Anderson-Darling, Lilliefors) y LRT.
   • Resultado: La SKSD mantiene el nivel de error Tipo I nominal y logra una potencia comparable o superior a las pruebas especializadas, incluso en mezclas de gaussianas y distribuciones t-Student.

2. Detección de Orden en Familias Exponenciales Kernel:

   • Se utiliza para seleccionar el rango (orden) de aproximación en modelos de familia exponencial kernel (donde la verosimilitud es intratable).
   • Resultado: La prueba detecta eficazmente la estructura del modelo verdadero a medida que aumenta la complejidad del modelo nulo, actuando como una estrategia de selección de modelos paso a paso.

3. Detección de Estructura Gráfica en Modelos Gaussianos Condicionales:

   • Aplicado a modelos con interacciones cuadráticas donde la función de verosimilitud es intractable.
   • Resultado: La SKSD logra detectar la presencia de interacciones de segundo orden (estructura de anillo) con alta potencia, superando a otros métodos en ciertos regímenes de señal.

5. Significado e Impacto

El trabajo es significativo por varias razones:

• Resolución del Problema de Verosimilitud Intratable: Proporciona una herramienta robusta para validar modelos complejos (como modelos basados en energía o familias exponenciales kernel) donde la verosimilitud no se puede calcular, pero la función de puntuación sí.
• Escalabilidad: Al reducir la complejidad computacional de $O(n^3)$ (típico en W-1 o K-S multivariados) a $O(n^2)$ o $O(n)$, hace viable la prueba de bondad de ajuste en dimensiones medias y altas.
• Generalidad: La capacidad de trabajar con cualquier estimador de parámetros (MLE, mínimos cuadrados, etc.) sin perder validez asintótica es una ventaja práctica enorme sobre métodos previos que requerían estimadores específicos.
• Fundamento Teórico Sólido: La unificación de las perspectivas de puntuación y distancia enriquece la teoría estadística, sugiriendo que muchas pruebas de distancia pueden mejorarse o reinterpretarse mediante la lente de los métodos basados en puntuación y Stein.

En resumen, la prueba SKSD representa un avance importante al combinar la eficiencia computacional de los métodos basados en Stein con la flexibilidad y potencia de las pruebas no paramétricas, resolviendo desafíos críticos en la validación de modelos estadísticos modernos y complejos.