Functional Liu Regression for Scalar-on-Functional Models in High-Dimensional Settings

Resumen Técnico: Regresión de Liu Funcional para Modelos de Escalar-sobre-Funcional en Entornos de Alta Dimensión

Planteamiento del Problema
La regresión de escalar-sobre-función, un componente central del Análisis de Datos Funcionales (FDA), modela una respuesta escalar dependiente de uno o más predictores funcionales definidos sobre un continuo (por ejemplo, tiempo o espacio). Aunque flexible, este enfoque enfrenta desafíos significativos cuando los predictores se discretizan o se expanden en funciones base. La estructura suave de los datos funcionales induce una fuerte multicolinealidad entre los regresores resultantes, lo que conduce a matrices de diseño mal condicionadas o singulares. En entornos de alta dimensión donde el número de coeficientes de base ($m$) se acerca o supera el tamaño de la muestra ($n$), las estimaciones de Mínimos Cuadrados Ordinarios (MCO) se vuelven inestables con varianza inflada. Aunque la regresión de cresta y las penalizaciones de suavidad (por ejemplo, regularización de Tikhonov) ofrecen estabilización, aplican una contracción uniforme o restricciones de suavidad específicas que pueden no equilibrar óptimamente el sesgo y la varianza en todas las direcciones. Además, se ha observado que los criterios de ajuste estándar como la Validación Cruzada Generalizada (GCV) y la Validación Cruzada de Dejar-Uno-Salir (LOO-CV) fallan en regímenes indeterminados, sin embargo, las razones teóricas de este fallo en contextos de tipo Liu permanecen poco exploradas.

Metodología
El artículo propone un estimador de contracción de tipo Liu funcional (fLiu) diseñado para abordar la multicolinealidad y la inestabilidad en la regresión de escalar-sobre-función. La metodología procede de la siguiente manera:

1. Formulación del Modelo: El modelo de escalar-sobre-función se aproxima mediante una expansión truncada de base (por ejemplo, B-splinas o base de Fourier), transformando el problema de dimensión infinita en un modelo lineal de dimensión finita $y = Zb + \epsilon$, donde $Z$ es la matriz de diseño y $b$ representa los coeficientes de la base.
2. Estructura de Penalización Híbrida: Para manejar tanto la singularidad como la suavidad, los autores definen una matriz de penalización híbrida $Q_{\lambda, \alpha} = \lambda(\alpha I + (1-\alpha)R)$, donde $R$ es una matriz de penalización de suavidad (que penaliza la curvatura) e $I$ es la matriz identidad. El parámetro $\lambda$ controla la magnitud general de la regularización, mientras que $\alpha$ equilibra la contracción de cresta isotrópica frente a la rugosidad dependiente de la base.
3. El Estimador fLiu: El estimador propuesto minimiza un criterio de penalización centrado:
   $$J_{\lambda, d, \alpha}(b) = \|y - Zb\|^2 + (b - d\hat{b}_{LS})^\top Q (b - d\hat{b}_{LS})$$
   Esto produce la solución de forma cerrada:
   $$\hat{b}_{fLiu} = (S + Q)^{-1}(Z^\top y + dQ\hat{b}_{LS})$$
   donde $S = Z^\top Z$, $\hat{b}_{LS}$ es el estimador MCO, y $d$ es el parámetro de sesgo de tipo Liu.
   • Rol de los Parámetros: $\lambda$ y $\alpha$ gobiernan la geometría y la magnitud de la penalización (estabilidad y suavidad), mientras que $d$ controla el compromiso sesgo-varianza en relación con los MCO. Cuando $d=1$, el estimador se reduce a MCO; cuando $d=0$, se reduce al estimador de cresta generalizado.
4. Selección de Parámetros:
   • Caso Sobredeterminado ($n \ge m$): Los autores emplean optimización continua (utilizando SLSQP y diferenciación automática) para minimizar los criterios GCV o PRESS/LOO-CV sobre los tres parámetros $(\lambda, d, \alpha)$.
   • Caso Indeterminado ($n < m$): El artículo deriva un resultado teórico que muestra que GCV y PRESS se vuelven constantes con respecto a $d$ en este régimen, volviéndolos poco informativos para ajustar $d$. Para abordar esto, se propone una regla de ajuste de inserción (plug-in), derivando un $d$ óptimo explícito minimizando la descomposición del Error Cuadrático Medio (MSE) utilizando estimaciones empíricas de sesgo y varianza.

Contribuciones Clave

• Extensión Teórica: El estudio extiende el estimador de Liu clásico (Liu 1993) al entorno funcional, integrando la contracción direccional con la regularización de suavidad.
• Análisis de Riesgo: Se deriva una descomposición explícita del MSE, demostrando que el riesgo del estimador fLiu es una función cuadrática convexa del parámetro $d$. Esto establece la existencia de un $d$ óptimo único que domina a los MCO en términos de MSE bajo condiciones específicas.
• Perspectiva de Alta Dimensión: El artículo proporciona una explicación teórica del fallo de GCV y LOO-CV en entornos funcionales indeterminados. Demuestra que, para matrices de diseño de rango de fila completo, estos criterios son independientes del parámetro de Liu $d$, explicando por qué la literatura existente de tipo Liu se ha centrado predominantemente en regímenes sobredeterminados.
• Implementación Práctica: Los autores desarrollaron el paquete Python fLiu.py (y utilizaron el paquete fda de R) para implementar el estimador, utilizando diferenciación automática para resolver eficientemente el problema de optimización no convexo para la selección de parámetros.

Resultados Empíricos
La metodología fue evaluada utilizando el conjunto de datos climáticos de Canadá (35 estaciones, prediciendo precipitación anual a partir de curvas de temperatura).

• Configuración Sobredeterminada ($K=11$ funciones base): El estimador fLiu logró el valor de Validación Cruzada Generalizada (GCV) más bajo y la menor pérdida de predicción en el conjunto de prueba (0.0203) en comparación con MCO, Cresta, Liu clásico y Cresta Generalizada. Demostró un compromiso sesgo-varianza favorable, produciendo estimaciones de coeficientes estables que capturaron patrones estacionales sin sobreajuste.
• Configuración Indeterminada ($K=35$ funciones base): En este régimen de alta dimensión, se observó que la curva GCV era plana con respecto a $d$, confirmando la degeneración teórica. La regla de ajuste de inserción proporcionó exitosamente una elección basada en datos para $d$, superando a elecciones arbitrarias (como $d=0$) y demostrando la necesidad de estrategias de ajuste alternativas cuando $n < m$.

Significado y Afirmaciones
El artículo afirma que el estimador fLiu ofrece una alternativa fundamentada, flexible y estable a los métodos existentes de regresión funcional penalizada. Al desacoplar la imposición de suavidad/estabilidad ($\lambda, \alpha$) del ajuste de sesgo-varianza ($d$), el método proporciona un control adicional sobre el proceso de estimación.

Los autores afirmodestamente que el estudio:

1. Clarifica el comportamiento teórico de los estimadores de tipo Liu en entornos funcionales, específicamente en lo que respecta a la descomposición de riesgo y la selección de parámetros.
2. Identifica y explica las limitaciones de los criterios estándar de validación cruzada en la regresión funcional de alta dimensión, motivando el uso de reglas de inserción en tales escenarios.
3. Demuestra mediante análisis empírico que el método propuesto produce una precisión predictiva competitiva y funciones de coeficientes interpretables, particularmente en presencia de fuerte multicolinealidad.

El artículo concluye que, si bien el estimador fLiu es un aporte significativo a la clase de métodos de regresión funcional penalizada, el trabajo futuro podría explorar extensiones a la regresión función-sobre-función, el análisis teórico de las propiedades del estimador de inserción y la incorporación de dispersión para múltiples predictores correlacionados.