Resumen Técnico: Aprendizaje Activo para Regresión de Procesos Gaussianos en Variedad

Enunciado del Problema

La Regresión de Procesos Gaussianos (GPR) estándar es un marco no paramétrico potente para la regresión y la cuantificación de la incertidumbre. Sin embargo, enfrenta la "maldición de la dimensionalidad" a medida que aumentan las dimensiones de entrada. En espacios de alta dimensión, los datos se vuelven escasos, la escalabilidad computacional se deteriora y la capacidad de las funciones de covarianza estándar (por ejemplo, exponencial cuadrada) para capturar estructuras de datos subyacentes disminuye. Esto es particularmente problemático para modelar funciones complejas y discontinuas o datos con estructuras geométricas intrínsecas de baja dimensión.

Aunque los Procesos Gaussianos en Variedad (mGPs) han surgido como una solución al proyectar datos de alta dimensión en un espacio latente de menor dimensión para preservar la geometría intrínseca, el rendimiento de estos modelos depende en gran medida de la calidad y la representatividad de los datos de entrenamiento. En muchas aplicaciones científicas y de ingeniería, la adquisición de datos etiquetados es costosa o consume mucho tiempo. Las estrategias existentes de aprendizaje activo para GPR a menudo no están adaptadas a los desafíos específicos de los mGPs, donde la geometría del espacio latente y las entradas de alta dimensión interactúan dinámicamente. Existe la necesidad de un marco que seleccione eficientemente puntos de datos para refinar modelos mGP mientras minimiza el error global de predicción.

Metodología

El artículo propone un marco unificado, denominado Aprendizaje Activo de Proceso Gaussiano en Variedad (ALmGP), que integra el aprendizaje de variedades con el diseño experimental secuencial. La metodología consta de tres componentes principales:

1. Modelo de Proceso Gaussiano en Variedad (mGP)

El marco mGP descompone la tarea de regresión $F = G \circ M$, donde:

• $M$ (Mapeo): Un mapeo determinista desde el espacio de entrada $\mathcal{X}$ a un espacio de características latentes $\mathcal{H} \subset \mathbb{R}^Q$. Esto se implementa utilizando una red neuronal multicapa con parámetros $\theta_M$.
• $G$ (Regresor): Un modelo GPR estándar que opera dentro del espacio latente $\mathcal{H}$ con parámetros $\theta_G$.

El modelo optimiza conjuntamente $\theta_{mGP} = [\theta_M, \theta_G]$ minimizando la Verosimilitud Marginal Negativa (NLML). Este enfoque supervisado permite al modelo aprender representaciones de características conscientes de la tarea que pueden manejar discontinuidades y patrones multiescala de manera más efectiva que las transformaciones no supervisadas (como PCA) o los kernels estándar.

2. Criterio de Aprendizaje Activo (ALC)

Para seleccionar los puntos de datos más informativos, el marco emplea el criterio Aprendizaje Activo de Cohn (ALC), que tiene como objetivo minimizar el Error Cuadrático Medio Integrado (IMSE) sobre el espacio de entrada.

• Objetivo: Seleccionar un nuevo punto $x_{n+1}$ que maximice la reducción esperada en la varianza posterior.
• Función de Adquisición: La puntuación ALC es proporcional a la integral de la reducción de la varianza predictiva.
• Aproximación: Para garantizar la viabilidad computacional, la integral se aproxima utilizando un conjunto de referencia fijo $X_{ref}$ muestreado mediante Diseño de Hipercubo Latino (LHD).
• Estrategia de Selección: El algoritmo utiliza un proceso de filtrado de dos pasos:
  1. Pre-filtrado: Identificar los $K$ candidatos principales con la varianza predictiva más alta del grupo de candidatos.
  2. Optimización: Calcular la puntuación ALC solo para estos $K$ puntos y seleccionar los $B$ puntos principales (tamaño de lote) para agregarlos al conjunto de entrenamiento.

3. Optimización y Entrenamiento

El marco utiliza el algoritmo L-BFGS para optimizar los hiperparámetros. Para garantizar la estabilidad y la positividad, los hiperparámetros (como las escalas de longitud y la varianza de salida) se elevan al cuadrado antes de la optimización. El proceso itera: ajustando el mGP, seleccionando nuevos puntos mediante ALC y reentrenando hasta alcanzar un umbral de convergencia o un presupuesto máximo.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco Unificado: La integración del aprendizaje de variedades con el aprendizaje activo basado en IMSE específicamente para mGPs, cerrando la brecha entre la adquisición eficiente de datos y la reducción de dimensionalidad.
2. Eficiencia Estratégica: Mayor eficiencia mediante la selección estratégica de puntos en el espacio latente, aprovechando la capacidad del mGP para capturar estructuras geométricas complejas.
3. Escalabilidad: Un enfoque escalable para datos de alta dimensión al operar en variedades intrínsecas de baja dimensión, abordando las limitaciones de los GP estándar en altas dimensiones.

Resultados Experimentales

Los autores validaron el marco ALmGP utilizando cuatro experimentos de referencia, comparándolo con el aprendizaje secuencial aleatorio (Random LHS). Cada experimento se repitió 10 veces para garantizar la robustez estadística.

• Función Trigonométrica por Partes (1D): Una función con discontinuidades. El método ALmGP logró un RMSE promedio de 0.156 con 15 nuevas muestras, superando significativamente al muestreo aleatorio. El espacio latente 2D aprendido desenrolló con éxito la estructura discontinua.
• Función Determinista Bidimensional: Una función rotada con componentes gaussianos. El método alcanzó un RMSE promedio de 0.0152 después de 50 iteraciones (100 muestras en total), demostrando una convergencia superior en comparación con la línea base.
• Función Tridimensional en la Esfera Unitaria: Una función definida en una variedad esférica. El marco logró un bajo RMSE promedio de $6 \times 10^{-3}$ con 100 muestras, modelando eficazmente la geometría esférica.
• Función de Pozo de Perforación (8D): Un estándar de regresión no lineal con ocho parámetros físicos. El método ALmGP logró un RMSE promedio de 0.6 con 150 muestras, mostrando robustez en simulaciones físicas de mayor dimensión.

En todos los casos, el método ALmGP (líneas sólidas verdes en las figuras) demostró consistentemente un Error Cuadrático Medio (RMSE) más bajo y una convergencia más rápida que la adquisición aleatoria (líneas discontinuas rojas).

Significado y Afirmaciones

El artículo afirma que el marco propuesto ofrece una solución práctica para aplicaciones científicas y de ingeniería donde la adquisición de datos es costosa y las funciones son complejas o discontinuas. Al optimizar conjuntamente la reducción de dimensionalidad y el regresor bajo un criterio de aprendizaje activo, el método:

• Mejora la Precisión: Logra un rendimiento predictivo superior en comparación con el muestreo pasivo y los métodos estándar de aprendizaje activo en espacios de alta dimensión.
• Maneja la Complejidad: Gestiona eficazmente funciones discontinuas y estructuras geométricas complejas con las que los GP estándar tienen dificultades.
• Mantiene la Viabilidad: A pesar de la complejidad de la optimización conjunta, el método sigue siendo computacionalmente factible mediante estrategias de filtrado eficientes y optimización de hiperparámetros.

Los autores señalan que, aunque el marco actual asume un mapeo de variedad determinista, el trabajo futuro se centrará en la escalabilidad, el aprendizaje de variedades consciente de la incertidumbre (por ejemplo, mediante redes neuronales bayesianas) y en mejorar la interpretabilidad de las variedades aprendidas mediante restricciones específicas del dominio.