Parsimonious Subset Selection for Generalized Linear Models with Biomedical Applications

Resumen Técnico: COMBSS-GLM

1. El Problema

En estudios biomédicos de alta dimensión (como estudios de asociación del genoma completo - GWAS, o perfiles de expresión génica), es crucial desarrollar modelos que sean simultáneamente precisos, escasos (parsimoniosos) e interpretables. El enfoque clásico para lograr esto es la Selección del Mejor Subconjunto (Best Subset Selection), que busca el subconjunto óptimo de $k$ predictores que minimice el error (o maximice la verosimilitud).

Sin embargo, para Modelos Lineales Generalizados (GLM), este problema es computacionalmente intratable. La búsqueda exhaustiva sobre todas las combinaciones posibles de subconjuntos binarios es un problema NP-duro, incluso en regresión lineal simple. Los métodos existentes, como la regularización Lasso o SCAD, ofrecen soluciones aproximadas pero no garantizan la selección exacta de un subconjunto de tamaño fijo, a menudo resultando en modelos más densos de lo necesario o inestables bajo alta correlación entre predictores.

2. Metodología: COMBSS-GLM

Los autores proponen COMBSS-GLM, un método escalable que combina una relajación continua booleana con un algoritmo de Frank-Wolfe impulsado por gradientes de envolvente.

A. Relajación Booleana Continua:
En lugar de buscar directamente en el espacio discreto $\{0, 1\}^p$, el método relaja el problema a un espacio continuo en el hipercubo $[0, 1]^p$.

• Se introduce un vector de pesos de selección $t \in [0, 1]^p$, donde $t_j$ representa la probabilidad o "peso" de incluir la variable $j$.
• Se define una función objetivo relajada $f_{\delta, \lambda}(t)$ que minimiza la verosimilitud negativa penalizada, donde los coeficientes $\beta$ se escalan por $t$ (es decir, $\beta_j \to t_j \beta_j$).
• Se añade un término de penalización de curvatura $\delta \|\Gamma_t \beta\|^2_2$ que actúa como un "empujón" hacia los bordes binarios ($0$o$1$) a medida que $\delta$ aumenta.

B. Algoritmo de Homotopía Frank-Wolfe:
El algoritmo resuelve el problema de optimización restringida mediante un esquema de homotopía:

1. Inicialización: Comienza con un valor de curvatura $\delta$ pequeño y un punto interior $t$ (centroide del simplex).
2. Iteración: Aumenta $\delta$ geométricamente. En cada paso:
   • Calcula el gradiente de la envolvente (usando el Teorema de Danskin) de la función de valor respecto a $t$. Esto evita tener que derivar el solucionador interno del GLM.
   • Resuelve un oráculo de minimización lineal (LMO) sobre el conjunto factible (simplex de tamaño $k$). Dado que el objetivo es lineal, la solución óptima es un vértice binario (seleccionar las $k$ variables con los gradientes más pequeños).
   • Actualiza $t$ como una combinación convexa del punto actual y el nuevo vértice binario.
3. Convergencia: A medida que $\delta$ crece, el paisaje de la función objetivo se vuelve cóncavo en el interior, garantizando que el mínimo global se encuentre en una esquina binaria (un subconjunto discreto válido).

C. Ventajas Computacionales:

• Requiere un solo ajuste de GLM penalizado por iteración (utilizando solucionadores estándar como glmnet).
• No requiere pasos de proyección costosos.
• Es escalable a miles de predictores.

3. Contribuciones Clave

1. Formulación General: Extiende la relajación booleana continua (anteriormente usada solo en regresión lineal) a toda la familia de GLM (Logística, Multinomial, Poisson, etc.).
2. Algoritmo Eficiente: Desarrolla un algoritmo de Frank-Wolfe con homotopía que utiliza gradientes de envolvente, eliminando la necesidad de diferenciación numérica compleja del solucionador interno.
3. Teoría de Concavidad: Establecen un régimen de parámetros basado en la curvatura donde la función objetivo relajada es cóncava. Derivan umbrales explícitos para $\delta$ en regresión logística y multinomial que garantizan que los minimizadores globales sean soluciones binarias.
4. Implementación Abierta: Proveen código en R y Python, facilitando la adopción en la comunidad científica.

4. Resultados

A. Estudios de Simulación (Regresión Logística):

• Escenarios: Se probaron configuraciones de baja dimensión ($n=200, p=30$) y alta dimensión ($n=200, p=1000$) con diferentes niveles de correlación entre predictores ($\rho$).
• Comparación: Se comparó contra Lasso, SCAD y MCP.
• Hallazgos:
  • COMBSS-GLM superó consistentemente a los métodos penalizados en calidad de selección de variables (medido por MCC y F1-score), especialmente en escenarios de alta dimensión y alta correlación.
  • Mantuvo un rendimiento predictivo competitivo o superior.
  • Los métodos penalizados (especialmente Lasso) tendían a seleccionar subconjuntos demasiado densos o inestables bajo correlación, mientras que COMBSS-GLM recuperaba el modelo verdadero con mayor precisión.

B. Aplicaciones Biomédicas:

1. GWAS de Arroz (Binario):

   • Datos: $n=1,155$ muestras, $p=158,210$ SNPs.
   • Objetivo: Predecir si la longitud del grano de arroz supera los 6 mm.
   • Resultado: El método identificó correctamente el locus conocido GS3 (SNP-3.16732086) en el cromosoma 3, así como otros loci relevantes en los cromosomas 5 y 12, demostrando su capacidad para recuperar señales biológicas reales en un espacio de búsqueda masivo.

2. Clasificación de Cáncer (Multinomial):

   • Datos: Conjunto de datos SRBCT de Khan ($n=63$ muestras, $p=2,308$ genes, 4 tipos de tumores).
   • Objetivo: Clasificación multiclase.
   • Resultado: COMBSS-GLM logró una precisión de prueba perfecta (100%) utilizando solo 12 genes.
   • Comparación: El Lasso de grupo multinomial requirió 35 genes para alcanzar el mismo rendimiento (o 28-30 genes con 95% de precisión). Esto representa una reducción de más del 70% en el tamaño del modelo, demostrando una parsimonia superior.

5. Significado e Impacto

El trabajo de Mathur et al. aborda una brecha fundamental en el aprendizaje estadístico: la dificultad de realizar una selección de subconjuntos exacta en modelos no lineales de alta dimensión.

• Interpretabilidad: Al forzar la selección de un número exacto y pequeño de variables, los modelos resultantes son más fáciles de interpretar biológicamente, algo crítico en medicina y genómica.
• Eficiencia: El método es computacionalmente viable para problemas donde $p \gg n$, superando las limitaciones de los métodos de búsqueda exhaustiva y ofreciendo mejores resultados que las aproximaciones de regularización convexa.
• Generalidad: Al funcionar con cualquier GLM, abre la puerta a aplicaciones en conteos (Poisson), tiempos de supervivencia y otros tipos de datos biomédicos complejos.

En conclusión, COMBSS-GLM representa un avance significativo al proporcionar una herramienta robusta, teóricamente fundamentada y práctica para la selección de características en estudios biomédicos modernos, logrando un equilibrio óptimo entre precisión predictiva y parsimonia del modelo.