Hybrid Partial Least Squares Regression with Multiple Functional and Scalar Predictors

Resumen Técnico: Regresión de Mínimos Cuadrados Parciales Híbrida con Múltiples Predictores Funcionales y Escalares

1. Planteamiento del Problema

El artículo aborda el desafío de la reducción de dimensionalidad supervisada y la regresión en entornos donde la variable de respuesta está influenciada por una mezcla de covariables escalares y múltiples predictores funcionales (curvas). Este entorno híbrido, formalizado como un Modelo Lineal Parcialmente Funcional (PFLM), presenta dos dificultades primordiales:

1. Parsimonia: La necesidad de representaciones interpretables y de baja dimensión, particularmente cuando se requieren reglas de decisión clínica.
2. Multicolinealidad: La presencia de dependencias complejas en cuatro niveles: (i) correlaciones dentro de la función, (ii) correlaciones entre funciones, (iii) correlaciones entre predictores escalares y (iv) correlaciones intermodales entre predictores funcionales y escalares.

Los métodos existentes suelen fallar al intentar abordar estos problemas simultáneamente. Los métodos euclidianos de alta dimensión (por ejemplo, Lasso, SCAD) asumen estructuras de datos homogéneas. Los métodos de regresión funcional suelen centrarse en un único predictor funcional o utilizan procedimientos de dos etapas (por ejemplo, convertir los datos funcionales en representaciones de dimensión finita mediante PCA no supervisado, seguido de una regresión) que ignoran las correlaciones cruzadas entre modalidades y tratan las representaciones funcionales como ajenas a la respuesta.

2. Metodología: PLS Híbrido

Los autores proponen la Regresión de Mínimos Cuadrados Parciales Híbrida (Hybrid PLS), un marco que unifica los predictores funcionales y escalares en una única estructura matemática para realizar una reducción de dimensionalidad supervisada.

A. Espacio de Hilbert Híbrido Unificado
El método construye un espacio producto $\mathcal{H} := (L^2[0, 1])^K \times \mathbb{R}^p$ para tratar los predictores funcionales y escalares de forma conjunta. Un elemento $h \in \mathcal{H}$ es una tupla ordenada $(f_1, \dots, f_K, u)$. El producto interno se define como:
$$\langle h_1, h_2 \rangle_{\mathcal{H}} := \sum_{k=1}^K \int_0^1 f_{1k}(t)f_{2k}(t) dt + \omega u_1^\top u_2$$
donde $\omega$ es un parámetro de peso que equilibra las escalas de los componentes funcionales y escalares. Esto permite la extensión del algoritmo de Mínimos Cuadrados Parciales Iterativos No Lineales (NIPALS) al entorno híbrido.

B. Algoritmo a Nivel de Población
A nivel de población, el método busca direcciones PLS $\xi$ que maximicen la covarianza al cuadrado entre el predictor $W$ y la respuesta $Y$, sujeto a restricciones de ortogonalidad. Los autores establecen que el problema de optimización es equivalente a encontrar las autofunciones de un operador compuesto $U = \Sigma_{YW} \otimes \Sigma_{YW}$, asegurando que el problema esté bien planteado bajo condiciones de momento suaves. El algoritmo garantiza la ortogonalidad de las puntuaciones latentes y la ausencia de correlación en los residuos.

C. Implementación a Nivel de Muestra
El algoritmo de muestra propuesto (Algoritmo 3) alterna entre dos pasos:

1. Estimación Regularizada de las Direcciones PLS: Para evitar el sobreajuste y asegurar la suavidad (crucial para los datos funcionales), la dirección PLS $\hat{\xi}$ se estima maximizando la covarianza empírica sujeta a una penalización de rugosidad sobre las segundas derivadas de los componentes funcionales. Esto conduce a un problema de cociente de Rayleigh generalizado.
   • Perspectiva Computacional Clave: Debido a la estructura de rango uno de la matriz de covarianza, los autores derivan una solución en forma cerrada que requiere resolver únicamente sistemas lineales. Esto evita la inestabilidad computacional asociada a menudo con los problemas de autovalores generalizados.
2. Residualización: Tanto los predictores como la respuesta son residualizados contra las puntuaciones estimadas, imitando el procedimiento NIPALS estándar pero dentro del espacio de Hilbert híbrido.

D. Estimación Final
El coeficiente de regresión $\hat{\beta}$ se reconstruye como una combinación lineal de las direcciones PLches PLS estimadas, ajustadas por los pasos de residualización para asegurar la consistencia con el modelo original.

3. Contribuciones Clave

• Extensión Teórica: Extiende rigurosamente el algoritmo NIPALS a un entorno híbrido que involucra múltiples predictores funcionales y escalares mediante la definición de un espacio de Hilbert unificado y la demostración de la existencia de un sistema completo de autofunciones ortonormales para el operador asociado.
• Eficiencia Algorítmica: Deriva una solución en forma cerrada computacionalmente eficiente para los pasos iterativos regularizados, lo que hace que el método sea escalable para datos funcionales densos o irregulares.
• Propiedades Geométricas: Establece que el marco propuesto preserva las propiedades geométricas centrales de PLS, específicamente la ortogonalidad de las direcciones PLS (bajo un producto interno sensible a la rugosidad) y la ortogonalidad de las puntuaciones latentes.
• Manejo de la Correlación Intermodal: A diferencia de los enfoques PFLM de dos etapas, el Hybrid PLS modela explícitamente las dependencias conjuntas entre los predictores funcionales y escalares, evitando la pérdida de información predictiva contenida en las correlaciones cruzadas de modalidades.

4. Resultados

Estudios Numéricos:

• Validación Geométrica: Las simulaciones confirmaron que las propiedades de ortogonalidad (entre direcciones, puntuaciones y residuos) se mantienen robustamente a través de diferentes intensidades de regularización, con desviaciones del orden de $10^{-11}$ a $10^{-16}$.
• Poder Predictivo vs. Parsimonia: En escenarios sintéticos que involucran una varianza no predictiva dominante (factores de molestia) y fuertes correlaciones intermodales, el Hybrid PLS superó significativamente a la Regresión de Componentes Principales (PCR). El Hybrid PLS identificó la señal predictiva en el primer componente, mientras que el PCR fue inducido a error por factores de molestia de alta varianza, resultando en un error más alto y representaciones redundantes.
• Estimación de Coeficientes: Los análisis de sensibilidad mostraron que las penalizaciones de rugosidad controlan eficazmente el error de estimación tanto para los coeficientes funcionales como para los escalares, seleccionando los parámetros de regularización mediante validación cruzada.

Aplicación de Datos Reales (Estudio Renal de la Universidad de Emory):

• El método se aplicó a un conjunto de datos de 216 riñones con dos curvas de renograma funcionales (línea base y post-furosemida) y 14 covariables farmacocinéticas escalares.
• Desempeño: El Hybrid PLS logró un Error Cuadrático Medio (RMSE) de prueba más bajo y una mayor estabilidad que la Regresión Funcional Penalizada (PFR) y la OLS de solo escalares.
• Eficiencia: Igualó el poder predictivo de PCR pero con una parsimonia significativamente mayor. Mientras que PCR requería $3L$ componentes (extrayendo $L$ de cada una de las tres fuentes) para alcanzar una precisión similar, el Hybrid PLS logró un desempeño comparable con solo $L$ componentes.
• Interpretabilidad: El primer componente latente extraído por Hybrid PLS se alineó con el conocimiento clínico de la obstrucción renal (por ejemplo, distinguiendo patrones de acumulación vs. drenaje), mientras que el PCR exhibió correlaciones potencialmente redundantes entre sus puntuaciones de componentes a través de las modalidades.

5. Significación y Reivindicaciones

El artículo afirma que el Hybrid PLS proporciona un marco parsimonioso y robusto para la regresión en presencia de modalidades de datos mixtas. Al embeber los predictores funcionales y escalares en un espacio unificado, el método:

1. Mitiga la Multicolinealidad: Maneja eficazmente las complejas correlaciones intermodales que degradan el rendimiento de los enfoques estándar de dos etapas.
2. Preserva la Estructura Predictiva: Extrae componentes latentes que maximizan la covarianza con la respuesta, asegurando que las representaciones de baja dimensión retengan el poder predictivo incluso cuando la varianza primaria en los datos no es predictiva.
3. Garantiza la Factibilidad Computacional: La solución en forma cerrada permite una computación eficiente sin sacrificar las garantías teóricas de ortogonalidad y suavidad.

Los autores concluyen que este enfoque unificado es particularmente valioso en contextos biomédicos, como la imagenología renal, donde la combinación de trayectorias funcionales completas con resúmenes escalares produce modelos predictivos superiores en comparación con los métodos que tratan estos tipos de datos de forma separada o secuencial. El trabajo futuro sugerido incluye la derivación de tasas de convergencia teórica y límites de optimalidad minimax.