Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties

A continuación presento un resumen técnico detallado del artículo "Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties" (Grados de libertad en regresión penalizada: Selección de modelos con penalizaciones adaptativas), escrito por Mauro Bernardi, Antonio Canale y Marco Stefanucci.

---

1. Planteamiento del Problema

La selección de modelos en regresión penalizada depende críticamente de una evaluación precisa de la complejidad del modelo, cuantificada habitualmente mediante los grados de libertad efectivos (df).

• El caso Lasso estándar: Para el Lasso (Tibshirani, 1996), existe una caracterización simple y no sesgada de los grados de libertad, dada por el tamaño del conjunto activo (número de coeficientes no nulos).
• El problema de las penalizaciones adaptativas: Métodos como el Adaptive Lasso (Zou, 2006) y el Adaptive Group Lasso introducen pesos dependientes de los datos para reducir el sesgo de contracción y lograr propiedades óptimas (comportamiento "oracle"). Sin embargo, la práctica común de utilizar el tamaño del conjunto activo como proxy para los grados de libertad en estos métodos adaptativos es incorrecta y no justificada.
• La brecha: La dependencia de los pesos en los datos altera fundamentalmente la relación entre el ajuste del modelo y su complejidad. Esto distorsiona la estimación del riesgo y la selección de modelos si se utilizan fórmulas simplistas basadas en el Lasso estándar.

2. Metodología

Los autores desarrollan un marco teórico basado en el estimador no sesgado de riesgo de Stein (SURE) y el lema de Stein. La metodología se centra en derivar estimadores no sesgados de los grados de libertad calculando la divergencia de los valores ajustados con respecto a la respuesta ($y$).

La definición general de grados de libertad es:
$$df(\hat{y}) = E\left[ \text{trace}\left( \frac{\partial \hat{y}}{\partial y} \right) \right]$$

El enfoque metodológico implica:

1. Análisis de la trayectoria de regularización: Estudiar cómo cambian los grados de libertad a medida que varía el parámetro de regularización $\gamma$, más allá de los diseños ortogonales (donde $X^\top X = I_p$).
2. Derivación de términos adicionales: Identificar y cuantificar los términos extra que surgen debido a la dependencia de los datos en los pesos adaptativos ($w_j$) y en las normas de los grupos.
3. Generalización: Extender los resultados desde diseños ortogonales a matrices de diseño generales (no ortogonales), lo cual es crucial para aplicaciones reales donde las covariables están correlacionadas.

3. Contribuciones Clave y Resultados Principales

El artículo presenta resultados teóricos fundamentales para tres estimadores:

A. Adaptive Lasso

• Resultado: Se deriva un estimador no sesgado de los grados de libertad que incluye un término adicional respecto al tamaño del conjunto activo ($|A|$).
• Fórmula (Diseño no ortogonal):
  $$\widehat{df}_\gamma = |A| - \gamma \sum_{j \in A} s(\hat{\beta}_j)s(\hat{\beta}^{LS}_j) \frac{\partial w_j(z)}{\partial z}\bigg|_{z=\hat{\beta}^{LS}_j} [(X_A^\top X_A)^{-1}]_{\pi(j),\pi(j)}$$
• Hallazgo: Los grados de libertad no son constantes por tramos (como en el Lasso estándar), sino que forman una función lineal por tramos con pendientes positivas.
• Implicación: Bajo condiciones estándar (pesos decrecientes), los grados de libertad del Adaptive Lasso son mayores que el tamaño del conjunto activo ($df > |A|$). Usar $|A|$ subestima sistemáticamente la complejidad. Además, se observa un comportamiento contraintuitivo: al aumentar $\gamma$ (más regularización), los grados de libertad pueden aumentar temporalmente debido a la interacción no lineal de los pesos adaptativos.

B. Group Lasso

• Resultado: Se revisa el Group Lasso, demostrando que sus grados de libertad no son simplemente el número de variables activas ni el número de grupos activos.
• Fórmula: Se expresa como la traza de una matriz que depende de la proyección y de la estructura de los grupos:
  $$\widehat{df}_\gamma = \text{trace}\left[ (I_n + \gamma B)^{-1} A \right]$$
• Hallazgo: Los grados de libertad del Group Lasso son menores que el número de variables activas ($|A_p|$) y mayores que el número de grupos activos ($|A_G|$). El uso de la norma $\ell_2$ dentro de los grupos induce un efecto de "contracción" que reduce la complejidad efectiva en comparación con el Lasso.
• Monotonía: Se demuestra que la monotonía de los grados de libertad a lo largo de la trayectoria de regularización no está garantizada en diseños no ortogonales, a diferencia de lo que ocurre en diseños ortogonales.

C. Adaptive Group Lasso

• Resultado: Se combinan los efectos de los dos métodos anteriores.
• Dinámica: Existe una competencia entre dos efectos:
  1. Inflación: Causada por los pesos adaptativos (tendencia a aumentar los df).
  2. Contracción: Causada por la norma $\ell_2$ de grupo (tendencia a disminuir los df).
• Conclusión: El estimador resultante es una función compleja donde el signo de la diferencia respecto al Group Lasso estándar depende de la magnitud relativa de estos dos efectos. Se proveen cotas y condiciones para determinar cuándo los df del Adaptive Group Lasso superan a los del Group Lasso estándar.

4. Validación Empírica

Los autores validan sus resultados mediante:

1. Datos Sintéticos: Simulaciones con $n=100, p=30$ y ruido gaussiano. Se compararon los estimadores teóricos con la fórmula de covarianza (considerada como referencia "verdadera" aunque no aplicable en la práctica). Los resultados mostraron una concordancia fuerte, confirmando la no sesgabilidad de los nuevos estimadores.
2. Datos Reales (Diabetes): Se utilizó el conjunto de datos de diabetes (Efron et al., 2004).
   • Selección de Modelo: Al utilizar el Criterio de Información Bayesiano (BIC) con los grados de libertad correctos, la selección de variables fue más precisa (seleccionando el número verdadero de variables en la mayoría de los casos) en comparación con el uso del tamaño del conjunto activo.
   • Sesgo de la práctica actual: Se demostró que usar el tamaño del conjunto activo como df lleva a seleccionar valores de $\gamma$ subóptimos (generalmente con mayor regularización de la necesaria), resultando en modelos con peor ajuste o selección de variables incorrecta.

5. Significado e Impacto

• Corrección de una práctica errónea: El trabajo desmantela la suposición común de que el tamaño del conjunto activo es un proxy válido para los grados de libertad en métodos adaptativos.
• Fundamento teórico riguroso: Proporciona las primeras expresiones analíticas no sesgadas para los grados de libertad en Adaptive Lasso y Adaptive Group Lasso bajo diseños generales.
• Mejora en la inferencia y selección: Permite el uso correcto de criterios de información (AIC, BIC) para la selección de modelos, mejorando la fiabilidad de la inferencia estadística en regresiones penalizadas de alta dimensión.
• Comprensión de la complejidad: Revela que la complejidad del modelo en métodos adaptativos es dinámica y depende de la estructura de los pesos y la correlación entre variables, no solo del número de coeficientes no nulos.

En resumen, este artículo establece un nuevo estándar teórico para la evaluación de la complejidad en regresiones penalizadas adaptativas, corrigiendo sesgos sistemáticos en la selección de modelos y ofreciendo herramientas precisas para la estimación de riesgo.