Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors

A continuación presento un resumen técnico detallado del artículo "Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors" (Verificación de Modelos para Regresiones Basada en Procesos de Residuos Ponderados con Número Divergente de Predictores), escrito por Yue Hu, Haiqi Li y Xintao Xia.

1. Planteamiento del Problema

El artículo aborda el problema de la verificación de especificación de modelos de regresión paramétrica en escenarios de alta dimensión, donde la dimensión de los predictores ($d$) y la dimensión de los parámetros ($p$) crecen junto con el tamaño de la muestra ($n$).

• Contexto: Los modelos de regresión paramétrica son fundamentales, pero si su forma funcional está mal especificada, las inferencias estadísticas posteriores son inválidas.
• El desafío actual: El método clásico y ampliamente utilizado, la prueba de Momentos Condicionales Integrados (ICM) de Bierens (1982), funciona bien en dimensiones fijas. Sin embargo, en regímenes de alta dimensión ($p \to \infty$):
  1. La distribución límite de la estadística ICM bajo la hipótesis nula y alternativa degenera a constantes fijas, perdiendo su capacidad discriminativa.
  2. El método de bootstrap salvaje (wild bootstrap), utilizado habitualmente para aproximar la distribución nula, falla en alta dimensión, provocando distorsiones en el tamaño de la prueba (tasa de error Tipo I incorrecta) y una pérdida sustancial de potencia.
• Objetivo: Desarrollar una nueva prueba de especificación que sea válida, no degenerada y potente cuando el número de predictores diverge con el tamaño de la muestra.

2. Metodología Propuesta

Los autores proponen una nueva estadística de prueba basada en procesos de residuos ponderados y un procedimiento de bootstrap de residuos suavizados.

A. Construcción de la Estadística de Prueba

A diferencia del ICM clásico que integra sobre un espacio de alta dimensión (usando funciones características de los covariables $e^{it^\top X}$), la propuesta se basa en una función unidimensional de los residuos.

1. Definición del residuo: Sea $\hat{\beta}_n$ el estimador de mínimos cuadrados y $\hat{e}_i = Y_i - m(X_i, \hat{\beta}_n)$ los residuos ajustados.
2. Función de peso: Se introduce una función de peso escalar $g(X)$ y su versión centrada $g_0(X) = g(X) - E[g(X)]$.
3. Proceso empírico de residuos: Se define un proceso estocástico indexado por $t \in \mathbb{R}$:
   $$\hat{U}_n(t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \{g(X_i) - \bar{g}\} \{\cos(t\hat{e}_i) + \sin(t\hat{e}_i)\}$$
   Nota: Se utiliza la transformación real $\cos + \sin$ en lugar de la exponencial compleja para evitar la integración en espacios de alta dimensión.
4. Estadístico final: Se agrega la información sobre $t$ utilizando una función de peso par $\phi(t)$ (ej. densidad normal estándar):
   $$WICM_n = \int_{\mathbb{R}} |\hat{U}_n(t)|^2 \phi(t) dt$$
   Esta integral se puede simplificar a una suma doble de pares de observaciones, evitando la maldición de la dimensionalidad.

B. Selección de la Función de Peso $g(\cdot)$

Para maximizar la potencia contra alternativas locales, se propone estimar $g(X)$ de dos formas:

• Alternativas Direcionales: Si se conoce una clase paramétrica alternativa, se proyecta la diferencia entre el modelo nulo y el alternativo sobre el espacio generado por el gradiente del modelo nulo.
• Alternativas No Paramétricas: Se utiliza una expansión de Fourier truncada o reducción de dimensión suficiente (SDR) para aproximar la función de regresión desconocida y construir la función de peso.

C. Bootstrap de Residuos Suavizados (Smooth Residual Bootstrap)

Dado que la distribución límite de $WICM_n$ depende de la distribución desconocida de los errores (no es asintóticamente pivotal), los autores proponen un método de bootstrap para aproximar los valores críticos:

1. Se generan errores de bootstrap $\varepsilon^*_{i,j}$ suavizando los residuos centrados con un núcleo de densidad y un parámetro de suavizado $v_n$.
2. Se generan respuestas bootstrap $Y^*_{i,j}$ y se recalcula el estimador $\hat{\beta}^*_n$.
3. Se calcula la estadística $WICM^*_n$ para múltiples réplicas para construir la distribución empírica y obtener el valor crítico.

3. Contribuciones Clave

1. Resolución de la Degeneración: La metodología propuesta evita la degeneración de la distribución límite que afecta al ICM clásico en alta dimensión. La nueva estadística mantiene una distribución límite no degenerada bajo la hipótesis nula.
2. Validez Asintótica en Alta Dimensión: Se establecen propiedades asintóticas rigurosas bajo la hipótesis nula, alternativas fijas y alternativas locales. Se demuestra que la prueba es consistente y puede detectar desviaciones locales a la tasa paramétrica $1/\sqrt{n}$.
3. Condiciones de Convergencia Mejoras: Bajo las condiciones $p^3 \log(n) / n \to 0$, la prueba es válida. Esto representa una mejora sobre las condiciones de tasa de convergencia de trabajos anteriores (como Tan et al., 2025).
4. Validación del Bootstrap: Se prueba teóricamente que el procedimiento de bootstrap de residuos suavizados aproxima consistentemente la distribución nula en escenarios de alta dimensión, corrigiendo el fallo del bootstrap salvaje tradicional.
5. Estrategias de Peso: Se proporcionan estrategias concretas para seleccionar la función de peso $g(X)$ tanto para alternativas direccionales como no paramétricas, mejorando la potencia de la prueba.

4. Resultados

Estudios de Simulación

Se realizaron simulaciones comparando la prueba propuesta ($WICM^{(1)}_n$ y $WICM^{(2)}_n$) con el ICM clásico y la prueba PCvM de Escanciano (2006).

• Control del Nivel: Las pruebas propuestas mantienen el nivel de significancia nominal (0.05) incluso cuando $p$ es grande (ej. $p=22$ con $n=100$). En contraste, el ICM clásico falla drásticamente, mostrando un tamaño de prueba cercano a 0 (subestimación severa).
• Potencia:
  • En modelos de índice único y múltiple, las pruebas propuestas superan o igualan a las existentes.
  • La prueba con peso para alternativas direccionales ($WICM^{(1)}_n$) suele tener mayor potencia cuando la estructura alternativa es conocida.
  • La prueba con peso no paramétrico ($WICM^{(2)}_n$) es robusta y superior cuando la estructura de la alternativa es compleja o no tiene reducción de dimensión intrínseca.
  • El ICM clásico pierde potencia casi por completo a medida que aumenta la dimensión.

Ejemplo con Datos Reales

Se aplicó el método al conjunto de datos "Geographical Origin of Music" (1,059 observaciones, 68 predictores de características de audio).

• Modelo: Se probó la adecuación de un modelo de regresión lineal para predecir la latitud geográfica.
• Resultado: La estadística $WICM_n$ fue de 3.3037 con un valor p aproximado de 0.
• Conclusión: Hay evidencia fuerte de que el modelo lineal está mal especificado. Los gráficos de dispersión de residuos confirmaron una relación no lineal, validando la utilidad práctica de la prueba para detectar fallos de especificación en datos reales de alta dimensión.

5. Significado e Impacto

Este trabajo es significativo porque:

• Llena un vacío teórico: Proporciona la primera solución rigurosa para la verificación de modelos de regresión paramétrica cuando $p \to \infty$, un escenario cada vez más común en ciencia de datos y finanzas.
• Corrige un error metodológico: Demuestra y soluciona la invalidez del bootstrap salvaje en alta dimensión para pruebas de momentos condicionales, proponiendo una alternativa robusta (bootstrap suavizado).
• Aplicabilidad Práctica: Ofrece una herramienta computacionalmente viable (evitando integrales multidimensionales) que los investigadores pueden utilizar para validar modelos en entornos de "Big Data" donde el número de variables es comparable o mayor que el número de observaciones.
• Direcciones Futuras: Abre la puerta a extensiones hacia casos donde $p > n$ y al desarrollo de pruebas para estructuras de varianza en alta dimensión.

En resumen, el artículo presenta un avance fundamental en la inferencia estadística de alta dimensión, asegurando que la validación de modelos de regresión sea fiable incluso cuando la complejidad de los datos crece sin control.