Post-selection inference in generalized linear models via parametric programming

1. El Problema

En la práctica estadística moderna, es común que los investigadores exploren los datos para seleccionar un subconjunto de variables (covariables) antes de realizar inferencias sobre sus efectos. Este proceso, conocido como selección de modelos (a menudo utilizando métodos como Lasso), viola el supuesto tradicional de que las hipótesis se formulan antes de observar los datos.

• Riesgo: Ignorar el evento de selección al realizar inferencias (usar intervalos de confianza o valores p estándar) conduce a tasas de error Tipo I infladas (falsos positivos) y a intervalos de confianza demasiado estrechos que no cubren el parámetro real con la probabilidad nominal.
• Limitaciones de métodos existentes:
  • Los métodos de condicionamiento poliedral (ej. Lee et al., 2016) corrigen el error Tipo I pero sufren de "sobre-condicionamiento" (condicionar también a los signos de los coeficientes seleccionados), lo que resulta en una pérdida de eficiencia estadística e intervalos de confianza excesivamente amplios.
  • La mayoría de los métodos de inferencia post-selección rigurosos están diseñados para modelos lineales con respuesta Gaussiana, dejando un vacío para Modelos Lineales Generalizados (GLM) con respuestas no Gaussianas (binarias, conteos, proporciones).

2. Metodología Propuesta

Los autores proponen un marco unificado que adapta la Programación Paramétrica (PP) al contexto de GLM mediante un enfoque de dos pasos:

Paso 1: Linealización del Modelo (Transformación a Datos Pseudo)

Dado que la distribución condicional exacta de los estimadores de máxima verosimilitud (MLE) en GLM tras la selección de Lasso es analíticamente intratable, los autores "linealizan" el problema:

• Utilizan la actualización de Newton-Raphson (o Fisher Scoring para regresión Beta) para definir un vector de respuesta pseudo ($\hat{z}_0$) y una matriz de diseño pseudo ($\hat{U}_0$).
• Estos datos pseudo se construyen de manera que el estimador de coeficientes del GLM original sea equivalente al estimador de mínimos cuadrados en un modelo lineal con respuesta $\hat{z}_0$ y diseño $\hat{U}_0$.
• Se demuestra teóricamente que, bajo condiciones de regularidad, la inferencia basada en estos datos observables es asintóticamente equivalente a la basada en un "modelo lineal idealizado" con parámetros verdaderos.

Paso 2: Inferencia Post-Selección mediante Programación Paramétrica (PP)

Una vez linealizado el modelo, se aplica la estrategia de Programación Paramétrica (desarrollada previamente para modelos lineales Gaussianos):

• Selección del Modelo: Se selecciona un modelo $\hat{M}_\lambda$ mediante la penalización L1 sobre el modelo linealizado (usando $\hat{z}_0$ y $\hat{U}_0$).
• Caracterización del Evento de Selección: En lugar de condicionar a un poliedro complejo en el espacio de respuesta $n$-dimensional, el método PP parametriza el espacio de respuesta a lo largo de una línea unidimensional definida por un parámetro $\tau$.
• Distribución Condicional: El evento de selección se mapea a un conjunto de intervalos disjuntos en el espacio del parámetro $\tau$. La distribución condicional del estadístico de interés se convierte en una distribución normal truncada sobre estos intervalos.
• Ventaja Clave: A diferencia de los métodos poliedrales, este enfoque no requiere condicionar a los signos de los coeficientes seleccionados, preservando la eficiencia estadística. Además, permite incorporar la selección basada en datos del parámetro de penalización ($\lambda$) (ej. mediante validación cruzada) dentro del mismo marco de programación paramétrica.

3. Contribuciones Clave

1. Unificación de GLM y PP: Es la primera adaptación de la programación paramétrica para inferencia post-selección en GLM no Gaussianos (Logístico, Poisson, Beta).
2. Eficiencia Mejorada: Al evitar el condicionamiento a los signos de los coeficientes, el método produce intervalos de confianza más estrechos y mayor potencia estadística en comparación con los métodos poliedrales, manteniendo la cobertura nominal.
3. Flexibilidad en la Selección de $\lambda$: El método puede manejar la selección del parámetro de regularidad $\lambda$ basada en los datos (usando conjuntos de entrenamiento/validación) sin perder la validez de la inferencia, algo que los métodos poliedrales estándar no soportan fácilmente.
4. Aplicabilidad a Regresión Beta: Extiende la metodología a la regresión Beta, un modelo crucial para datos de proporciones continuas, donde la linealización requiere un enfoque específico (Fisher Scoring).

4. Resultados

Los autores validan el método mediante estudios de simulación y tres estudios de caso con datos reales:

• Simulaciones (Logística, Poisson, Beta):

  • Control de Error Tipo I: El método propuesto (PPL) mantiene la tasa de error Tipo I cerca del nivel nominal (0.05) en todos los escenarios, mientras que el método ingenuo (que ignora la selección) muestra tasas infladas drásticamente (hasta 0.35 en algunos casos).
  • Eficiencia vs. Método Poliedral: En comparación con el método poliedral, PPL logra una cobertura similar (aprox. 95%) pero con intervalos de confianza significativamente más estrechos para los coeficientes nulos (falsos positivos), lo que indica una mayor potencia para detectar efectos verdaderos.
  • Selección de $\lambda$: PPL mantiene el control de error incluso cuando $\lambda$ se selecciona mediante validación cruzada, mientras que el método poliedral no puede acomodar esto fácilmente.

• Estudios de Caso Reales:

  1. Datos de Spam (Logística): El método PPL identificó 13 variables significativas frente a 19 del método ingenuo, eliminando falsos positivos que no son consistentes con la literatura previa.
  2. Datos de Medicaid (Poisson): PPL fue más conservador, identificando solo 3 de 4 variables como significativas, alineándose mejor con análisis previos que sugieren que ciertas variables (como "school") pierden importancia al controlar por el estado de salud.
  3. Rendimiento Estudiantil (Beta): PPL identificó 10 variables significativas frente a 13 del método ingenuo, descartando variables de estilo de vida (como "goout" y "health") que el método ingenuo marcaba como significativas, pero que la literatura sugiere tienen un poder predictivo débil.

5. Significancia

Este trabajo es significativo porque cierra una brecha importante en la inferencia estadística moderna:

• Proporciona una solución rigurosa y eficiente para la inferencia post-selección en modelos no Gaussianos, que son omnipresentes en ciencias aplicadas (medicina, economía, ciencias sociales).
• Resuelve el dilema entre validez (controlar el error Tipo I) y eficiencia (ancho del intervalo de confianza) que ha limitado a los métodos de condicionamiento poliedral.
• Ofrece una herramienta práctica para investigadores que utilizan selección de variables basada en datos (como Lasso con validación cruzada) en modelos complejos, asegurando que las conclusiones sobre la significancia de las variables sean estadísticamente sólidas y no artefactos del proceso de selección.