Resumen Técnico: Contracción Adaptativa Neural (Nash) para Regresión Estructurada de Alta Dimensión

1. Definición del Problema

El artículo aborda las limitaciones de los métodos tradicionales de regresión lineal dispersa (por ejemplo, Lasso, Ridge) cuando se aplican a datos de alta dimensión ($p \gg n$) donde las covariables exhiben propiedades estructurales o provienen de fuentes heterogéneas. Los métodos clásicos suelen aplicar penalizaciones uniformes en todas las covariables, lo cual es subóptimo cuando los predictores poseen tipos distintos (por ejemplo, diferentes modalidades genéticas) o relaciones estructurales (por ejemplo, proximidad espacial, conectividad de grafos o pertenencia a grupos).

Los enfoques existentes que intentan aprovechar la información secundaria de las covariables (como Group Lasso, Fused Lasso o IPF-Lasso) a menudo sufren dos desventajas principales:

1. Rigidez específica de la aplicación: Dependen de estructuras de penalización predefinidas (por ejemplo, agrupaciones específicas o topologías de grafos) que pueden no capturar dependencias complejas y no lineales en los datos.
2. Ineficiencia computacional: Los métodos que incorporan información secundaria mediante Bayes Empírico (EB) a menudo requieren validación cruzada para la selección de hiperparámetros o, en el caso de la inferencia variacional, se vuelven computacionalmente intratables. Específicamente, la Inferencia Variacional de Ascenso de Coordenadas Estándar (CAVI) acoplada con priores basados en redes neuronales requiere $O(p)$ pasadas hacia atrás de la red neuronal por barrido, haciéndolos poco prácticos para grandes $p$ (por ejemplo, $10^4$ predictores).

El objetivo es desarrollar un marco unificado que aprenda automáticamente la forma de la penalización y la cantidad de regularización basándose en información secundaria específica de la covariable sin validación cruzada, manteniendo al mismo tiempo la escalabilidad computacional.

2. Metodología: Contracción Adaptativa Neural (Nash)

2.1 Formulación del Modelo

Nash modela la respuesta $y$ y los predictores $X$ mediante un modelo lineal gaussiano:
$$y | X, \beta, \sigma^2 \sim \mathcal{N}(X\beta, \sigma^2)$$
Críticamente, el prior sobre los coeficientes de regresión $\beta_j$ no es fijo, sino que depende de la información secundaria $d_j$ asociada a la $j$-ésima covariable:
$$\beta_j \sim g(d_j, \theta)$$
Aquí, $g(\cdot, \cdot)$ es una función flexible (parametrizada por $\theta$) que mapea la información secundaria $d_j$ a una distribución a priori. La información secundaria $d_j$ puede ser datos arbitrarios procesables por una red neuronal (por ejemplo, indicadores de grupo, índices continuos, matrices de grafos o imágenes).

2.2 Bayes Empírico Variacional Dividido (Split VEB)

La contribución algorítmica central es un nuevo enfoque de Bayes Empírico Variacional Dividido (Split VEB). El CAVI estándar aplicado directamente al modelo objetivo acopla el aprendizaje del prior (actualización de $\theta$) con la inferencia posterior (actualización de $\beta$). Si $g$ depende de la información secundaria a través de una red neuronal, actualizar $\theta$ requiere reevaluar la posterior para cada coordenada $j$, lo que conduce a $p$ pasadas de red neuronal por barrido.

Para desacoplar estos pasos, Nash introduce un modelo aumentado con una variable latente $b_j$:

1. $\beta_j | b_j \sim \mathcal{N}(b_j, \sigma_0^2)$
2. $b_j \sim g(d_j, \theta)$

Este "cuello de botella gaussiano" permite dividir la Cota Inferior de la Evidencia (ELBO) en dos pasos desacoplados:

• Paso 1 (Actualización Posterior): Actualizar la posterior variacional $q(\beta)$ y $q(b)$ utilizando los parámetros del prior actuales. Este paso implica actualizaciones conjugadas simples (cálculos similares a Mínimos Cuadrados Ordinarios) y no requiere la red neuronal.
• Paso 2 (Aprendizaje del Prior): Actualizar los parámetros de la red neuronal $\theta$ maximizando la verosimilitud marginal de las variables latentes $b_j$ dados los medios posteriores actuales $\bar{\beta}_j$. Esto se formula como un problema de Medias Normales de Bayes Empírico Moderado por Covariables (cEBNM).

Ganancia Clave de Eficiencia: Dado que el paso de aprendizaje del prior (Paso 2) opera sobre las estadísticas suficientes agregadas ($\bar{\beta}_j$) en lugar de coordenadas individuales, la red neuronal se actualiza solo una vez por barrido de ascenso de coordenadas mediante una única pasada hacia adelante y hacia atrás por lotes. Esto reduce la complejidad computacional del paso M de $O(p)$ pasadas secuenciales a $O(1)$ pasada por lotes, logrando una aceleración de 74$\times$ a 106$\times$ sobre el CAVI directo para $p \in [10^2, 10^4]$.

2.3 Flexibilidad del Prior

El marco soporta diversas familias de priores $g$:

• Redes de Densidad de Mezcla (MDN): Generan una mezcla de Gaussianas (pico y losa) donde los pesos de la mezcla, las medias y las varianzas son funciones de $d_j$. Esto permite patrones de contracción adaptativa (por ejemplo, diferentes niveles de dispersión para diferentes grupos).
• Redes Neuronales de Grafos (GNN): Para información secundaria con estructura de grafo, Nash puede aprender penalizaciones que fomenten la suavidad o la dispersión basadas en la topología del grafo (por ejemplo, imitando Fused Lasso o extendiéndolo a grafos complejos).
• Modelos Probabilísticos Generales: Cualquier modelo donde la verosimilitud marginal y los momentos posteriores sean tratables puede integrarse.

3. Contribuciones Clave

1. Primera Aprendizaje de Penalización Basado en Redes Neuronales: Según el conocimiento de los autores, Nash es el primer marco de regresión lineal que parametriza la distribución a priori sobre los efectos de regresión como una función arbitraria de la información secundaria de las covariables utilizando redes neuronales.
2. Algoritmo Split VEB: La introducción de una capa latente gaussiana para desacoplar el aprendizaje del prior de la inferencia posterior. Esto hace que los priores basados en redes neuronales sean tratables para regresión de alta dimensión, reduciendo el costo del paso M de $O(p)$ a una única actualización por lotes.
3. Marco Unificado: Nash generaliza métodos existentes (Group Lasso, Fused Lasso, IPF-Lasso) y los extiende para manejar estructuras de penalización no lineales y basadas en datos sin requerir especificación manual de formas de penalización o validación cruzada.
4. Modularidad: El método es modular; los usuarios solo necesitan proporcionar un solucionador para el problema cEBNM bajo su familia de priores elegida, permitiendo la integración de diversos enfoques de aprendizaje automático (por ejemplo, XGBoost, GNNs).

4. Resultados Experimentales

4.1 Estudios de Simulación

• Comparación con Línea Base: Nash se comparó contra siete métodos (Mr.ASH, Elastic Net, Lasso, Ridge, SCAD, MCP, L0Learn) en diversos escenarios de simulación (variando dispersión, relación señal-ruido, dimensionalidad y correlación).
• Rendimiento: Nash igualó al estado del arte (Mr.ASH) en casi todos los escenarios y lo superó en varios escenarios de predictores correlacionados. Superó significativamente a los métodos clásicos en configuraciones con perfiles de señal heterogéneos.
• Experimentos con Información Secundaria: En experimentos sintéticos con grupos conocidos e índices continuos, Nash con información secundaria (Nash-mdn) superó sustancialmente a los métodos sin información secundaria (Nash-no-cov) y a los métodos tradicionales (Group Lasso, IPF-Lasso).
  • Ablación: Reemplazar la red neuronal con un mapeo lineal (Nash-linear) degradó el rendimiento en configuraciones de índice continuo, confirmando la necesidad de modelado no lineal para estructuras complejas.
  • Robustez: Barajar la información secundaria (Nash-shuffled) resultó en un rendimiento equivalente a no tener información secundaria, confirmando que el modelo no sobreajusta el ruido.

4.2 Eficiencia Computacional

• Aceleración: Los experimentos mostraron una aceleración de 74$\times$ en $p=100$ y de 106$\times$ en $p=10,000$ para el paso M en comparación con el CAVI directo.
• Escalabilidad: El paso M de Nash escala aproximadamente de forma lineal con $p$ (única pasada por lotes), mientras que el CAVI directo escala de forma superlineal debido al procesamiento secuencial. En $p=10,000$, el CAVI directo requirió más de cuatro minutos por paso M, haciéndolo poco práctico, mientras que Nash requirió ~2.5 segundos.

4.3 Aplicaciones con Datos Reales

Nash se evaluó en cuatro conjuntos de datos con información secundaria:

1. SNP500: Predicción de retornos de AAPL utilizando el sector industrial como información secundaria.
2. Airpassenger: Predicción de la cantidad de pasajeros utilizando el índice temporal.
3. GSE40279: Predicción de la edad a partir de datos de metilación utilizando anotaciones de sondas.
4. TCGA: Predicción de la expresión de BRCA1 utilizando vías KEGG.

• Resultados: Nash (específicamente Nash-mdn) logró consistentemente un RMSE más bajo en comparación con las líneas base (Mr.ASH, Lasso, Ridge, XGBoost, MLP) y Nash sin información secundaria. Notablemente, en el conjunto de datos GSE40279 ($n=679$, $p=489,503$), Nash logró el error más bajo (5.03) en comparación con Mr.ASH (5.25) y Ridge (7.21).

4.4 Eliminación de Ruido en Imágenes (MNIST)

Nash se aplicó a la eliminación de ruido en imágenes MNIST utilizando un prior "Fused" parametrizado por una Red Neuronal de Grafos (GNN) para modelar la adyacencia de píxeles.

• Rendimiento: Nash-fused superó a los métodos clásicos de eliminación de ruido (Fused Lasso, Variación Total, Medias No Locales) y a Noise2Self en términos de RMSE.
• Eficiencia: El enfoque basado en GNN fue sustancialmente más rápido que el modelo Noise2Self basado en CNN.

5. Significado y Afirmaciones

El artículo afirma que Nash proporciona un marco unificado, expresivo y computacionalmente eficiente para la regresión de alta dimensión que aprovecha la información secundaria.

• Adaptabilidad: Elimina la necesidad de validación cruzada al aprender la estructura de penalización directamente de los datos.
• Generalidad: Subsume diversas técnicas de regularización existentes (Ridge, Lasso, Group Lasso, Fused Lasso) como casos especiales o aproximaciones dentro de un único marco probabilístico.
• Escalabilidad: El algoritmo Split VEB hace factible aplicar priores complejos basados en redes neuronales a problemas con decenas de miles de predictores, un régimen donde los enfoques variacionales anteriores eran computacionalmente prohibitivos.

Limitaciones Reconocidas:

• La implementación actual está restringida a verosimilitudes gaussianas.
• Requiere un solucionador cEBNM tratable para la familia de priores elegida, necesitando ya sea soluciones de forma cerrada o aproximaciones rápidas para el log-verosimilitud marginal, lo cual puede no estar disponible para todos los modelos probabilísticos.