Resumen Técnico: Regresión de Factores Latentes de Procesos Gaussianos para Problemas de Datos Escasos y Salidas de Alta Dimensionalidad

Planteamiento del Problema

En dominios científicos, las tareas de regresión requieren frecuentemente predecir salidas estructuradas de alta dimensionalidad ($D_y$) a partir de un número limitado de ejemplos de entrenamiento ($N$). Aunque los Procesos Gaussianos Multivariables (MOGPs) sobresalen en regímenes de pocos datos al modelar las correlaciones de las salidas, suelen tener dificultades cuando $D_y$ es muy grande (por ejemplo, $10^3$–$10^4$). Por el contrario, los flujos de trabajo estándar de "comprimir y luego predecir", como el Análisis de Componentes Principales seguido de una regresión por Proceso Gaussiano (PCA-GP), gestionan la alta dimensionalidad mediante el aprendizaje de una base para la reconstrucción de la salida. Sin embargo, estos métodos sufren un desajuste fundamental: la base aprendida está optimizada para minimizar el error de reconstrucción (capturando toda la varianza) en lugar de maximizar la predictibilidad desde el espacio de entrada. Cuando las salidas contienen variación estructural de "molestia" (nuisance) que está correlacionada entre dimensiones pero es independiente de la entrada, el método PCA-GP puede asignar capacidad de modelado a estas direcciones impredecibles, degradando el rendimiento.

Metodología: Regresión de Factores Latentes de Procesos Gaussianos (GPLFR)

Los autores proponen la Regresión de Factores Latentes de Procesos Gaussianos (GPLFR), un modelo probabilístico que acopla el aprendizaje de representaciones y la regresión en un único objetivo.

Estructura del Modelo Central

GPLFR asume que cada salida de alta dimensión $y$ es una decodificación lineal-gaussiana de un estado latente de baja dimensión $z$ extraído de un proceso gaussiano (GP) previo sobre el espacio de entrada $x$.

1. Prior Latente: Para cada ejemplo $i$, se genera un vector latente $z_i \in \mathbb{R}^{D_z}$ (donde $D_z \ll D_y$). Las funciones latentes $z^{(q)}(\cdot)$ para cada dimensión $q$ siguen priors de GP independientes sobre las entradas $X$ con kernels específicos $k_q$.
2. Decodificador Lineal: La salida se modela como $Y = ZW^\top + E$, donde $W \in \mathbb{R}^{D_y \times D_z}$ representa los pesos del decodificador y $E$ es el ruido de observación.
3. Marginalización Analítica: A diferencia de los modelos de variables latentes estándar que requieren muestreo o inferencia variacional para los pesos, GPLFR margina analíticamente los pesos del decodificador $W$ (asumiendo un prior matriz-normal). Esto produce una verosimilitud colapsada que depende únicamente de las variables latentes $Z$ y los hiperparámetros del kernel.

Relación con Modelos Existentes

El artículo enmarca a GPLFR y al Modelo Lineal de Corregionalización (LMC) como dos marginalizaciones diferentes del mismo modelo de factor lineal-gaussiano conjunto subyacente:

• LMC: Se obtiene al marginalizar los factores latentes $Z$. Esto resulta en una estructura de covarianza de salida explícita, pero trata el mapeo entrada-salida como una caja negra respecto a la geometría latente.
• GPLFR: Se obtiene al marginalizar los pesos del decodificador $W$. Esto resulta en una verosimilitud donde las variables latentes están constreñidas simultáneamente por el prior GP sobre las entradas y la reconstrucción de las salidas.

Esta distinción permite que GPLFR concentre la capacidad de modelado en el aprendizaje de una estructura de similitud sobre el espacio de entrada ($x$), en lugar de enriquecer la estructura de acoplamiento de la salida, lo cual es crucial cuando $N$ es pequeño y $D_y$ es grande.

Regularización y Optimización

Para abordar la falta de fiabilidad estadística al estimar una matriz de corregionalización $B$ rica en regímenes de pocos datos, GPLFR típicamente establece $B = I$ (identidad), confiando en la geometría latente para capturar las correlaciones. Para evitar que la verosimilitud sobreestime el contenido de información de las dimensiones de salida cuando los residuos están correlacionados (especificación errónea del modelo), los autores introducen un atemperado de la verosimilitud con un parámetro de temperatura inversa $\beta \in (0, 1]$. Adicionalmente, se añade un pequeño término de ruido latente $\lambda$ a las covarianzas de los GP para relajar el requisito de que las puntuaciones latentes sean explicadas exactamente por funciones GP suaves, estabilizando así el paisaje de optimización.

Contribuciones Clave

1. Aprendizaje de Representación Conjunto: El artículo introduce un modelo que aprende una representación latente de baja dimensión conjuntamente con la tarea de regresión, sesgando la representación hacia estructuras previsibles en lugar de simplemente estructuras de alta varianza.
2. Marginalización Analítica: Al derivar una verosimilitud colapsada que margina los pesos del decodificador, el método evita la necesidad de realizar una estimación puntual de una base específica (como en PCA) o de una inferencia variacional compleja, escalando eficazmente a salidas de alta dimensionalidad.
3. Conexión Teórica: El trabajo clarifica la relación matemática entre GPLFR y el LMC, demostrando cómo diferentes marginalizaciones conducen a distintos sesgos inductivos adecuados para diferentes regímenes de datos.
4. Aplicación Científica: Los autores aplican GPLFR para construir el primer emulador espacialmente resuelto de Modelos de Circulación Global (GCM) para exoplanetas rocosos, una tarea caracterizada por salidas de alta dimensionalidad ($D_y \approx 3 \times 10^4$) y datos de entrenamiento muy limitados.

Resultados Experimentales

Los autores evalúan GPLFR frente a PCA-GP y otros modelos de referencia en tres tareas:

1. Benchmark Sintético:

   • Configuración: Datos generados con un componente de señal predecible y un componente de "molestia" estructurado e independiente de la entrada.
   • Hallazgos: GPLFR supera significativamente a PCA-GP en presencia de variación de molestia estructurada. Logra las mismas tasas de error que PCA-GP con aproximadamente 4 veces menos datos de entrenamiento. La representación latente de GPLFR captura más energía de la señal (77% frente al 54% de PCA-GP en el rango real) y menos energía de molestia.
   • Limitación: En el límite sin ruido, donde toda la varianza es relevante para la predicción, PCA-GP supera ligeramente al GPLFR estándar, aunque un GPLFR inicializado con PCA puede cerrar esta brecha.

2. Óptica Biomédica (Emulación PyXOpto):

   • Configuración: Predicción de perfiles de reflectancia radial de 500 dimensiones a partir de propiedades ópticas de tejidos. El ruido aquí es mayoritariamente no correlacionado, lo que constituye un régimen "amigable para PCA".
   • Hallazgos: Incluso cuando las suposiciones de PCA se cumplen, GPLFR demuestra una eficiencia de muestra y de representación superior, manteniendo un umbral de error más bajo con menos dimensiones latentes.

3. Emulación de Clima de Exoplanetas:

   • Configuración: Predicción de estados atmosféricos 3D (temperatura, humedad, vientos, etc.) para exoplanetas rocosos a partir de 8 propiedades planetarias continuas y una etiqueta discreta de GCM. El conjunto de datos contiene solo 307 ejemplos de alta fidelidad (más 1,419 ejemplos auxiliares).
   • Hallazgos: GPLFR logra el menor Error Cuadrático Medio (RMSE) y el Score de Energía en todas las variables en comparación con PPCA-ICM, PPCA-MLP, kNN y las bases de la media de entrenamiento. Las mejoras sobre el mejor modelo probabilístico de referencia (PPCA-ICM) oscilan entre el 8% y el 34%. Los resultados sugieren que la variación estructurada e independiente de la entrada, derivada de las diferencias en las configuraciones de simulación (molestia), confunde a los métodos basados en PCA, mientras que GPLFR logra filtrarla con éxito.

Significado y Reivindicaciones

El artículo afirma que GPLFR proporciona una alternativa fundamentada y de extremo a extremo para los flujos de trabajo de "comprimir y luego predecir" en problemas de regresión de alta dimensionalidad y pocos datos. Su principal importancia radica en su capacidad para priorizar la estructura predecible sobre la estructura de alta varianza, lo que lo hace particularmente efectivo cuando las salidas contienen ruido estructurado o variación de molestia que no está correlacionada con las entradas.

Los autores señalan que el coste práctico de GPLFR es un paisaje de optimización más desafiante debido al acoplamiento entre las variables latentes y los hiperparámetros del kernel. Sin embargo, demuestran que esto puede mitigarse mediante la regularización (atemperado de la verosimilitud y ruido latente). La aplicación exitosa a la modelización climática de exoplanetas destaca la utilidad de este método en dominios científicos donde la generación de datos es costosa y las salidas son campos complejos y espacialmente resueltos.