Comparing Variable Selection and Model Averaging Methods for Logistic Regression

Este estudio compara 28 métodos de selección de variables y promediado de modelos en regresión logística mediante simulaciones y datos empíricos, concluyendo que el promediado bayesiano con priores g es superior cuando no hay separación, mientras que los enfoques de verosimilitud penalizada como LASSO ofrecen mayor estabilidad ante la separación.

Lo esencial

Imagina que eres un chef famoso que quiere crear el plato perfecto (un modelo estadístico) para predecir si un cliente va a pedir postre (un resultado binario: sí o no). Tienes una despensa llena de ingredientes (predictores): azúcar, harina, huevos, canela, chocolate, etc.

El gran dilema es: ¿Qué ingredientes debo poner en la receta y cuáles debo dejar fuera?

Si pones demasiados, el plato se vuelve un desastre (sobreajuste). Si pones muy pocos, el sabor no es el correcto. Además, a veces, ciertos ingredientes se comportan de forma extraña cuando se mezclan (lo que los estadísticos llaman "separación"), haciendo que la receta falle por completo.

Este artículo es como una gran competencia de cocina organizada por un equipo de científicos. Ellos probaron 28 métodos diferentes (28 chefs con estilos distintos) para ver cuál era el mejor para decidir qué ingredientes usar en la receta de la "Regresión Logística" (la herramienta estadística para predecir cosas de sí/no).

Aquí tienes los hallazgos principales, explicados de forma sencilla:

1. Los dos grandes equipos de chefs

En esta competencia, los métodos se dividieron en dos grandes filosofías:

• El Equipo Bayesiano (BMA): Estos chefs no eligen una sola receta. En su lugar, prueban muchas recetas posibles a la vez, les dan un puntaje según qué tan bien funcionan y luego mezclan un poco de todas ellas para crear un "plato promedio" súper equilibrado. Son como un comité de expertos que vota.
• El Equipo de Penalización (LASSO, etc.): Estos chefs son más directos. Tienen una receta base y usan un "cuchillo" matemático para cortar (eliminar) los ingredientes que no son esenciales, forzando a que algunos coeficientes sean exactamente cero. Son como un editor estricto que corta todo lo que sobra.

2. La prueba: Cocinar con y sin "ingredientes explosivos"

Los investigadores usaron 11 recetas reales de diferentes campos (medicina, sociología, etc.) para simular la cocina. Pero hubo un truco: algunas recetas tenían un problema llamado separación.

• Sin Separación (Cocina normal): Los ingredientes se mezclan bien. Aquí, los métodos Bayesianos brillaron. Específicamente, un método llamado "Benchmark" (g = max(n, p²)) fue el ganador. Imagina que este chef tiene una regla de oro muy inteligente que le dice exactamente cuántos ingredientes probar sin volverse loco.
• Con Separación (Cocina con ingredientes explosivos): Aquí, algunos ingredientes se combinan de tal forma que la receta se rompe (el modelo no puede calcular nada). En este escenario caótico, los métodos Bayesianos tradicionales se confundieron. ¡Pero los métodos de Penalización (como el LASSO y el Induced Smoothed LASSO) salvaron el día! Fueron los más estables, como un chef que sabe exactamente cuándo apagar el fuego antes de que la olla explote.

3. El gran ganador: El "Equilibrista"

Hubo un método que destacó por ser el más versátil y resistente: el EB-local.
Imagina al EB-local como un chef que tiene un "ojo mágico".

• Si la cocina está tranquila, cocina delicioso.
• Si la cocina se vuelve caótica (separación), ajusta su técnica y sigue cocinando bien.
  No fue el número 1 absoluto en ningún escenario específico, pero fue el más consistente en todos los casos. Es el "caballo de batalla" que puedes contratar si no sabes qué tipo de ingredientes vas a tener mañana.

4. ¿Qué métodos evitar?

El estudio encontró que los métodos clásicos y antiguos, como la selección paso a paso (agregar o quitar ingredientes uno por uno basándose en reglas simples) o los que usan solo el valor p (una regla de "si es menor a 0.05, úsalo"), fueron los peores.

• Analogía: Son como intentar adivinar la receta probando un ingrediente, luego otro, y otro, sin un plan maestro. A menudo se quedan atrapados en recetas mediocres o fallan estrepitosamente cuando los ingredientes se comportan mal.

5. El mensaje final para el mundo real

Si eres un investigador, un científico de datos o alguien que toma decisiones basadas en datos:

1. Si tu problema es "normal" (sin separación): Usa métodos Bayesianos (como el Benchmark o Hyper-g). Son como tener un equipo de expertos que te da la respuesta más precisa y segura.
2. Si tu problema es "difícil" (con separación o datos raros): Usa métodos de Penalización como el LASSO. Son rápidos, robustos y no se rompen fácilmente.
3. Si quieres una solución segura para todo: El EB-local es tu mejor amigo. Es el método que te da paz mental.

En resumen:
La ciencia de los datos a menudo se trata de elegir entre la precisión (Bayesiano) y la estabilidad (Penalización). Este estudio nos dice que ya no hace falta adivinar: si tu cocina es tranquila, usa el equipo de expertos; si hay caos, usa el cuchillo estricto. Y si no sabes qué te espera, el "Equilibrista" (EB-local) es tu mejor opción.

Resumen técnico

Resumen Técnico: Comparación de Métodos de Selección de Variables y Promedio de Modelos en Regresión Logística

1. Planteamiento del Problema
La incertidumbre del modelo es un desafío central en la inferencia estadística para resultados binarios, especialmente en la regresión logística. Surge cuando no está claro qué predictores deben incluirse en el modelo, dado que incluso un número modesto de variables candidatas genera un espacio de modelos exponencialmente grande. Además de la incertidumbre sobre la inclusión de variables, la regresión logística enfrenta dificultades específicas de estimación, siendo la más crítica la separación (cuando una combinación lineal de predictores clasifica perfectamente el resultado). En casos de separación, las estimaciones de máxima verosimilitud pueden no existir, lo que provoca inestabilidad numérica e inferencias inválidas. Aunque existen numerosos métodos bayesianos y frecuentistas para abordar la selección de variables, su rendimiento relativo bajo condiciones realistas (incluyendo separación y diferentes tamaños de muestra) no había sido evaluado sistemáticamente.

2. Metodología
Los autores realizaron un estudio de simulación pre-registrado y exhaustivo para comparar 28 métodos establecidos de selección de variables e inferencia bajo incertidumbre de modelo.

• Diseño de Simulación:

  • Se basó en 11 conjuntos de datos empíricos reales de diversas disciplinas (medicina, genética, ciencias sociales, astronomía), abarcando una amplia gama de tamaños de muestra ($n$) y números de predictores ($p$), incluyendo casos de alta dimensionalidad ($p > n$).
  • Se utilizó un proceso de generación de datos (DGP) paramétrico basado en estos datos reales para simular vectores de resultados binarios, manteniendo la matriz de predictores fija.
  • Se generaron 100 repeticiones por conjunto de datos, totalizando 1,100 conjuntos de datos simulados.
  • Se monitoreó la aparición de separación (completa o cuasi-completa) en el 42% de los conjuntos de datos simulados.

• Métodos Evaluados:

  • Enfoques Bayesianos (Model Averaging - BMA): Incluyeron diversas especificaciones de priores $g$ (fijos y adaptativos), como Benchmark ($g = \max(n, p^2)$), Hyper-g, EB-local, EB-global, Robust, Intrinsic, CCH, Beta-prime, y priores de tipo Spike-and-Slab. También se evaluó el criterio de información de Akaike (AIC) y Bayesiano (BIC) dentro de BMA.
  • Enfoques de Verosimilitud Penalizada (Frecuentistas): LASSO, Ridge, Elastic Net, SCAD, MCP, LASSO suavizado inducido (IS-LASSO) y la regresión logística de reducción de sesgo de Firth.
  • Métodos Clásicos: Selección paso a paso (hacia adelante, hacia atrás, ambos) y selección basada en valores $p$ ($p < 0.05$, $p < 0.005$).

• Métricas de Evaluación:

  • Estimación de Puntos: Error Cuadrático Medio Raíz (RMSE).
  • Estimación de Intervalos: Puntuación Media de Intervalo (MIS).
  • Predicción: Puntuación de Brier (Brier score).
  • Selección de Modelo: Área bajo la curva de Precisión-Recall (AUPRC).
  • Métricas Adicionales: Tiempo de CPU y tasa de fallo (errores de convergencia o salida).

3. Contribuciones Clave

• Amplitud y Rigor: Es la comparación más amplia hasta la fecha de métodos para regresión logística, evaluando 28 técnicas en un diseño pre-registrado basado en datos reales, superando las limitaciones de estudios anteriores que usaban solo datos sintéticos o un subconjunto pequeño de métodos.
• Distinción por Separación: Por primera vez, los resultados se estratifican explícitamente según la presencia o ausencia de separación, revelando que el rendimiento de los métodos varía drásticamente dependiendo de esta condición.
• Validación Empírica: Proporciona una guía práctica basada en evidencia para investigadores aplicados sobre qué métodos utilizar en diferentes escenarios de datos.

4. Resultados Principales

• Sin Separación:

  • Los métodos de Promedio de Modelos Bayesianos (BMA) basados en priores $g$ mostraron el mejor rendimiento general.
  • El prior Benchmark ($g = \max(n, p^2)$) obtuvo las puntuaciones más altas, seguido de cerca por BIC.BAS, CCH, Hyper-g/n y Beta-prime.
  • Los métodos de verosimilitud penalizada como Induced Smoothed LASSO, MCP y SCAD también tuvieron un buen desempeño, aunque generalmente inferior a los mejores BMA.
  • Los métodos clásicos (paso a paso y valores $p$) tuvieron un rendimiento notablemente inferior y fueron los más lentos.

• Con Separación:

  • El rendimiento de los métodos BMA basados en priores $g$ fijos o adaptativos (como Hyper-g) se degradó significativamente en la estimación de puntos e intervalos, aunque mantuvieron cierta estabilidad en la predicción.
  • Los métodos de verosimilitud penalizada demostraron ser los más robustos. El LASSO y el Induced Smoothed LASSO proporcionaron los resultados más estables, aunque con tasas de fallo más altas en casos extremos (ej. dataset Singh).
  • El método de Firth (reducción de sesgo) fue competitivo, pero también mostró tasas de fallo elevadas en ciertos conjuntos de datos.
  • Destacó el prior EB-local (Empirical Bayes local), que mantuvo un rendimiento competitivo tanto en presencia como en ausencia de separación, ofreciendo un equilibrio entre precisión y estabilidad.

• Tasa de Fallo:

  • Los métodos bayesianos (BMA) tuvieron tasas de fallo muy bajas (<1%).
  • Los métodos de verosimilitud penalizada y los métodos paso a/paso mostraron tasas de fallo significativas (hasta 71% en algunos casos de separación extrema), lo que debe considerarse al elegir un método.

5. Significado e Implicaciones
El estudio ofrece una guía práctica crucial para la investigación empírica y de aprendizaje automático:

1. Recomendación General: Para escenarios sin separación, los métodos BMA con priores adaptativos (especialmente EB-local o Benchmark) son superiores en términos de inferencia y predicción.
2. Manejo de Separación: Cuando se espera separación (común en muestras pequeñas o alta dimensionalidad), los métodos de penalización (LASSO, SCAD, MCP) o el prior EB-local son preferibles debido a su estabilidad numérica.
3. Advertencia sobre Métodos Clásicos: Los métodos de selección paso a paso y los basados en valores $p$ deben evitarse, ya que muestran un rendimiento pobre, alta inestabilidad y lentitud computacional.
4. Reproducibilidad: El estudio demuestra la viabilidad de realizar estudios de simulación transparentes y pre-registrados que utilicen datos empíricos como base, estableciendo un nuevo estándar para la evaluación metodológica en estadística.

En conclusión, la elección del método debe depender de la presencia de separación y de la necesidad de cuantificar la incertidumbre del modelo. Mientras que BMA ofrece una cuantificación de incertidumbre superior, los métodos penalizados ofrecen robustez computacional en condiciones problemáticas.