Towards regularized learning from functional data with covariate shift

Resumen Técnico: Hacia el Aprendizaje Regularizado de Datos Funcionales con Desplazamiento de Covariables

Planteamiento del Problema
Este artículo aborda el desafío de la regresión de valores vectoriales bajo el supuesto de desplazamiento de covariables (covariate shift), específicamente en el contexto de datos funcionales donde tanto las variables de entrada como las de salida son funciones. En el aprendizaje estadístico estándar, se asume que los datos de entrenamiento y de prueba se extraen de la misma distribución. Sin embargo, en muchos escenarios prácticos —como el monitoreo de la integridad estructural o las imágenes médicas— las distribuciones de entrada de los dominios de origen (fuente) y de destino (objetivo) difieren, mientras que la distribución condicional de la salida dado la entrada permanece invariante.

Los autores se centran en el escenario donde la distribución de origen es $p(x, y) = p(y|x)p_X(x)$ y la distribución de destino es $q(x, y) = p(y|x)q_X(x)$. El objetivo es aprender una función de regresión $f^*: X \to Y$ que minimice el riesgo esperado sobre la distribución marginal de destino $q_X$, a pesar de tener acceso únicamente a muestras etiquetadas de origen $\{(x_i, y_i)\}$ y entradas de destino no etiquetadas $\{x'_j\}$. Este problema es particularmente complejo cuando el espacio de salida $Y$ es un espacio de Hilbert de dimensión infinita (datos funcionales), un escenario menos explorado en la literatura existente en comparación con los entornos de dimensión finita.

Metodología
El marco propuesto utiliza Espacios de Reproducción de Núcleos de Valores Vectoriales (vRKHS) para manejar salidas funcionales. La metodología procede a través de varias etapas clave:

1. Formulación del Aprendizaje de Operadores:
   Los autores aprovechan el isomorfismo entre el vRKHS $\mathcal{G}$ y el espacio de operadores de Hilbert-Schmidt $\mathcal{S}_2(\mathcal{H}, Y)$, donde $\mathcal{H}$ es el RKHS escalar inducido por un núcleo multiplicativo escalar $K(x, t) = k(x, t)I_Y$. Esto permite reformular el problema de regresión como la búsqueda de un operador óptimo $C \in \mathcal{S}_2(\mathcal{H}, Y)$ tal que $f(\cdot) = C\phi(\cdot)$.

2. Mínimos Cuadrados Regularizados con Pesos de Importancia (IWRLS):
   Para dar cuenta del desplazamiento de covariables, el riesgo empírico se repondera utilizando una función $\beta(x)$ tal que $dq_X(x) = \beta(x)dp_X(x)$. El funcional de riesgo empírico se expresa en términos de los datos de origen y los pesos de importancia. Los autores derivan una solución regularizada utilizando una familia general de funciones de filtro espectral $g_\lambda$, lo que conduce a un estimador $\hat{C}_{\lambda}^\beta$ definido a través del operador de covarianza empírica $\hat{C}_X^\beta$.

3. Análisis Teórico:
   El artículo establece tasas de convergencia óptimas para el estimador propuesto tanto en la norma $L^2(q_X, Y)$ como en la norma vRKHS. El análisis se basa en:

• Condiciones de Fuente Generales: Se asume que el operador de destino $C^*$ satisface $C^* = C_0 \phi(C_X)$, donde $\phi$ es una función de índice general que caracteriza la suavidad de la solución.
• Decaimiento Espectral: Se realizan supuestos respecto al decaimiento polinómico de los autovalores del operador de covarianza $C_X$.
• Desigualdades de Concentración: Los límites teóricos se derivan utilizando desigualdades de concentración para variables aleatorias con valores en espacios de Hilbert para controlar la desviación entre los operadores empíricos y poblacionales.

4. Estrategia de Agregación:
   Reconociendo la dificultad de seleccionar los parámetros de regularización óptimos ($\lambda$) y los núcleos ($k$) en la práctica, los autores proponen un enfoque basado en la agregación. Este método construye una combinación lineal de estimadores generados por diferentes parámetros de regularización y/o diferentes núcleos. Los pesos para esta combinación lineal se determinan resolviendo un sistema de ecuaciones lineales que involucra estimaciones empíricas de la matriz de Gram y el vector de co-varianza cruzada, aproximados utilizando los datos de origen y los pesos de importancia.

Contribuciones Clave

• Algoritmo de Aprendizaje de Operadores: El artículo propone el primer algoritmo sistemático de aprendizaje de operadores para la regresión de valores vectoriales bajo desplazamiento de covariables dentro del marco vRKHS, diseñado específicamente para datos funcionales.
• Tasas de Convergencia Óptimas: Los autores establecen tasas de convergencia óptimas para esquemas de regularización generales bajo condiciones de fuente generales. Se demuestra que estas tasas son minimax óptimas, coincidiendo con los resultados conocidos para configuraciones de valores escalares cuando se especializan al caso funcional.
• Marco de Agregación: Se introduce una novedosa estrategia de agregación para mitigar la sensibilidad del aprendizaje basado en núcleos a la elección de los parámetros de ajuste y los núcleos. Se proporcionan garantías teóricas que muestran que el estimador agregado tiene un rendimiento comparable al del mejor estimador individual del conjunto.
• Extensión a Datos Funcionales: El trabajo cierra la brecha entre la literatura existente sobre desplazamiento de covariables (mayormente de dimensión finita) y el análisis de datos funcionales, proporcionando una base teórica para el aprendizaje en espacios de salida de dimensión infinita bajo cambios de distribución.

Resultados Experimentales
Los autores validan su método utilizando un conjunto de datos de imágenes faciales del mundo real (The 10k US Adult Faces Database). La tarea consiste en reconstruir imágenes faciales no distorsionadas a partir de sus representaciones de sinograma (transformadas de Radon), donde el dominio de destino implica sinogramas desenfocados (desplazamiento de covariables).

• Configuración: Se probaron dos casos experimentales: (1) desenfoque aplicado a los sinogramas, y (2) desenfoque aplicado a las imágenes faciales antes de la generación del sinograma.
• Desempeño: El método propuesto se evaluó utilizando el Error Cuadrático Medio (MSE), el Error Relativo y la Relación Señal-Ruido de Pico (PSNR).
• Hallazgos:
  • El enfoque de aprendizaje regularizado logró recuperar una información facial sustancial a pesar de la severa degradación de la entrada, superando o igualando a las líneas base estándar de la transformada inversa de Radon (iradon).
  • El método de agregación produjo resultados muy cercanos al mejor parámetro de regularización individual encontrado mediante un "barrido de lambda" (lambda sweep), demostrando su eficacia para evitar la necesidad de un ajuste exhaustivo de parámetros.
  • En experimentos de aprendizaje de múltiples núcleos (combinando núcleos Gaussian, Cauchy, Exponencial e IMQ), el predictor agregado alcanzó un desempeño comparable al del mejor núcleo individual, confirmando la robustez de la estrategia de agregación contra el riesgo de seleccionar un espacio de hipótesis inadecuado.

Significado y Reivindicaciones
El artículo afirma proporcionar el primer tratamiento sistemático de la regresión de desplazamiento de covariables de valores vectoriales, vinculando efectivamente el desarrollo teórico con la aplicación práctica en entornos de alta dimensión. Al establecer tasas de convergencia óptimas bajo condiciones de fuente generales, el trabajo ofrece una base teórica rigurosa para el aprendizaje regularizado en este dominio. Además, el enfoque de agregación propuesto aborda un cuello de botella práctico crítico —la selección de parámetros de ajuste y núcleos— haciendo que el método sea más viable para aplicaciones del mundo real donde no se dispone de conocimiento previo sobre los hiperparámetros óptimos. Los autores posicionan su trabajo como un paso significativo hacia la aplicación del aprendizaje automático a problemas de datos funcionales donde las distribuciones de entrada cambian debido a factores ambientales u operativos.