A Collinearity Test Statistic for Hypothesis Testing in High-Dimensional Generalized Linear Models

Resumen Técnico: Un Estadístico de Colinealidad para Pruebas de Hipótesis en Modelos Lineales Generalizados de Alta Dimensión

Planteamiento del Problema
El artículo aborda el desafío de las pruebas de hipótesis en Modelos Lineales Generalizados (GLM) con respecto a la exclusión de predictores relevantes. Específicamente, dado un conjunto de $p$ predictores y un tamaño de muestra $n$, los autores consideran la prueba de la hipótesis nula $H_0$ de que un subconjunto hipotético de predictores $S$ (donde $|S| < n$) contiene todos los coeficientes de regresión no nulos, frente a la hipótesis alternativa $H_A$ de que existe un conjunto de exclusiones falsas $A$ (predictores con coeficientes no nulos omitidos de $S$).

La dificultad de este problema varía a través de tres regímenes asintóticos:

1. Clásico ($p = o(n)$): Las pruebas de Razón de Verosimilitud (LRT) estándar y las pruebas de Wald son efectivas.
2. Moderado ($p/n \to \kappa \in (0, 1/2)$): Las pruebas clásicas fallan; Sur y Candès [5] demostraron que los estadísticos LRT requieren un factor de reescalado no trivial derivado de la resolución de ecuaciones no lineales.
3. Alta Dimensión ($p > n$): Los métodos clásicos son inaplicables. Las soluciones existentes involucran pruebas de razón de verosimilitud parcialmente penalizadas (por ejemplo, usando penalizaciones SCAD/MCP), las cuales requieren resolver problemas de optimización no convexos difíciles sin garantías de encontrar la solución global.

Los autores pretenden proponer un único estadístico de prueba que sea computacionalmente simple, evite la optimización no convexa y la resolución de ecuaciones no lineales, y que siga siendo válido en los tres regímenes, incluyendo el caso de $p > n$.

Metodología
Los autores proponen el Estadístico de Prueba de Colinealidad, denotado como $T_n$. La metodología se basa en el marco de la familia exponencial canónica de los GLM.

1. Definiciones:

   • Sea $\eta(\beta) = X\beta$ el parámetro natural.
   • Defina la matriz de pesos $D(\beta) = \text{diag}(b''(\eta_i(\beta)))^{1/2}/\phi^{1/2}$ y la respuesta estandarizada $V(\beta)$.
   • Defina el vector de respuesta ajustada $Z(\beta) = D(\beta)\eta(\beta) + \sqrt{n}V(\beta)$.
   • Sea $\hat{\beta}_S$ el Estimador de Máxima Verosimilitud (MLE) bajo la hipótesis nula (restringido a $S$).
   • Defina la matriz de proyección $\Pi_S(\beta)$ sobre el espacio generado por la matriz de diseño ponderada $D(\beta)X_S$, y su complemento ortogonal $\Pi_S^\perp(\beta)$.

2. El Estadístico:
   Para cada predictor $v_i$ que no está en $S$ (es decir, $i \in S^c$), los autores definen una métrica de colinealidad $R_i$ que mide el coseno del ángulo entre la proyección del predictor y la proyección de la respuesta ajustada sobre el complemento ortogonal del espacio del modelo nulo:
   $$R_i = \frac{\langle \hat{\Pi}_S^\perp \hat{D}v_i, \hat{\Pi}_S^\perp \hat{Z} \rangle}{\|\hat{\Pi}_S^\perp \hat{D}v_i\| \|\hat{\Pi}_S^\perp \hat{Z}\|}$$
   El estadístico de prueba es la máxima colinealidad al cuadrado de todos los predictores excluidos:
   $$T_n = \max_{i \in S^c} n R_i^2$$

3. Distribución y Estimación del Valor p:

   • Límite Teórico: Bajo $H_0$, $n R_i^2$ converge en distribución a $\chi^2_1$.
   • Valores Críticos:
     • Para $p$ fijo, una corrección de Bonferroni utilizando el cuantil $(1 - \alpha/(p-s))$ de $\chi^2_1$ proporciona una región de rechazo conservadora.
     • Para altas dimensiones ($p > n$), los autores derivan una aproximación asintótica para el cuantil: $q^{(n)} \approx 2 \ln(p_n/\alpha\sqrt{\pi}) - \ln(\ln(2p_n/\alpha))$. El Teorema 2 establece que esta aproximación se mantiene bajo supuestos técnicos específicos (por ejemplo, $(\ln p_n)^4/n \to 0$).
   • Monte Carlo: Para valores p precisos (especialmente cuando $p$ es pequeño o moderado), los autores recomiendan un enfoque de Monte Carlo donde la respuesta ajustada $\hat{Z}$ se reemplaza por vectores gaussianos aleatorios para generar una distribución empírica de $T_n$.

Contribuciones Clave

• Estadístico Unificado: El artículo introduce un único estadístico de prueba aplicable en los regímenes clásico, moderado y de alta dimensión sin modificaciones.
• Simplicidad Computacional: A diferencia de sus competidores en el régimen de alta dimensión, la prueba de colinealidad no requiere la resolución de sistemas no lineales (como el LRT reescalado) ni la optimación no convexa de verosimilitudes penalizadas. Se apoya en la misma maquinaria de Mínimos Cuadrados Pesados Iterativos (IRLS) utilizada para calcular el MLE.
• Validez Teórica en Alta Dimensión: Los autores demuestran que la aproximación $\chi^2_1$ para la cola del estadístico sigue siendo válida incluso cuando $p > n$, siempre que se cumplan ciertas condiciones de regularidad.
• Sensibilidad a la Dispersión (Sparsity): El análisis teórico (Teorema 3) y los resultados numéricos indican que la prueba es particularmente potente cuando la hipótesis alternativa es dispersa (es decir, faltan pocos predictores).

Resultados
Los autores proporcionan experimentos numéricos utilizando regresión logística con datos simulados ($n=100$) a través de diversas dimensiones ($p$) y niveles de dispersión ($|A|$):

• Régimen Clásico ($p=12, n=100$): La prueba de colinealidad se desempeña de manera competitiva con las pruebas LRT y Wald. Produce valores p pequeños para alternativas dispersas ($|A|=1$).
• Dimensiones Moderadas ($p=49, n=100$): En este régimen, las pruebas LRT y Wald (calculadas con penalizaciones de la distribución previa de Jeffreys) muestran una potencia reducida en comparación con la prueba de colinealidad, particularmente para alternativas dispersas.
• Alta Dimensión ($p=1000, n=100$): La prueba de colinealidad funciona sin modificaciones. Demuestra una alta potencia para alternativas dispersas ($|A|=1$, mediana de valor p $< 10^{-6}$), pero una potencia menor para alternativas no dispersas ($|A|=10$), lo cual es consistente con su naturaleza de estadístico de tipo máximo ($L_\infty$).
• Desempeño General: La prueba de Wald generalmente fue la que peor se desempeñó. La prueba de colinealidad no siempre fue la más potente (por ejemplo, la LRT fue superior en el régimen clásico con alternativas no dispersas), pero fue consistentemente competitiva y superior en entornos de alta dimensión y dispersos.

Significado y Reivindicaciones
El artículo sostiene que la prueba de colinealidad ofrece una alternativa práctica y robusta para las pruebas de hipótesis en GLM, particularmente en escenarios donde $p \ge n$. Su principal significancia radica en su tractabilidad computacional y su universalidad a través de los regímenes asintóticos.

Los autores son modestos en sus afirmaciones, reconociendo:

1. Limitaciones: La prueba no es la más potente en todos los regímenes; las pruebas diseñadas específicamente para un régimen dado (por ejemplo, LRT clásica para $p=o(n)$) pueden superarla cuando se cumplen los supuestos.
2. Estimación de Valores p: Aunque existen límites analíticos, la estimación precisa de los valores p a menudo requiere simulación de Monte Carlo, lo que conlleva un costo computacional de $O(nmp)$.
3. Alcance Teórico: La prueba teórica de la tasa de decaimiento del error Tipo 2 (Teorema 3) se establece para el modelo lineal Gaussiano. La extensión de estos resultados de potencia a GLM no gaussianos (como logísticos o de Poisson) se identifica como un problema abierto para investigaciones futuras.

Los autores concluyen que la prueba es una herramienta viable y de fácil implementación que evita los cuellos de botella computacionales de los métodos existentes de alta dimensión, manteniendo al mismo tiempo una fuerte potencia estadística, especialmente en entornos dispersos.