Resumen Técnico: Aprendizaje Activo para Regresión de Procesos Gaussianos bajo Pesos de Boltzmann Autoinducidos

1. Definición del Problema

Este artículo aborda una variante específica del problema de Aprendizaje Activo (AA) donde el objetivo es aprender una función desconocida $f$ con un error de predicción bajo una distribución objetivo $P_f$ que es autoinducida por la propia función. A diferencia del AA estándar (que asume una distribución objetivo uniforme o conocida) o del AA Robusto Distribucional (que asume un conjunto de ambigüedad de distribuciones posibles), este escenario postula que la distribución objetivo sigue una forma de Boltzmann:
$$P_f(x) = Z_f^{-1} \exp(\lambda f(x) + b(x))$$
donde $\lambda \neq 0$ es un parámetro conocido, $b(x)$ es una función de sesgo conocida, y $Z_f$ es la función de partición.

Desafíos Clave:

1. Dependencia Circular: La distribución objetivo $P_f$ depende de la función desconocida $f$, creando una dependencia circular donde la estrategia de muestreo depende de la misma función que busca aprender.
2. Función de Partición Intratable: La constante de normalización $Z_f = \int \exp(\lambda f(x) + b(x)) dx$ es generalmente intratable de calcular, especialmente dado que $f$ es desconocida y evoluciona.
3. Objetivo Desconocido: La distribución no está completamente especificada de antemano; emerge del proceso de aprendizaje.

Este escenario surge naturalmente en dominios científicos como el modelado de Superficies de Energía Potencial (SEP) en química computacional (donde la dinámica molecular muestrea de una distribución de Boltzmann ponderada por la energía) y el descubrimiento de fármacos moleculares (donde el interés se concentra en compuestos con alta puntuación).

2. Metodología

Los autores proponen SIDAL (Aprendizaje Activo bajo Distribución Autoinducida) e introducen dos funciones de adquisición basadas en Procesos Gaussianos (PG): AB-SID-iVAR y TS-SID-iVAR.

2.1. Fundamento Teórico

El enfoque se basa en acotar el Error Cuadrático Medio (ECM) esperado bajo la $P_f$ desconocida relacionándolo con una distribución sustituta computable $P_{\mu_t}$ (basada en la media posterior del PG $\mu_t$).

• Límite de Alta Probabilidad: Mediante la descomposición de la razón de log-densidad entre $P_f$ y $P_{\mu_t}$, los autores derivan una cota superior que involucra la razón de funciones de partición. Esto conduce a una cota con un prefactor exponencial dependiente del error de predicción máximo.
• Límite de Caso Promedio: Tomando la esperanza sobre la posterior del PG $f|D_t$, los autores utilizan la desigualdad de Jensen e identidades de la Función Generadora de Momentos (FGM) para variables Gaussianas. Esto permite absorber la razón de funciones de partición, produciendo una cota más ajustada sin necesidad de estimar $Z_f$ explícitamente.
  $$\mathbb{E}_{f|D_t}[\mathbb{E}_{P_f}[(f - \mu_T)^2]] \leq C \cdot \mathbb{E}_{P_{\mu_t}}[\sigma_T^2(x)]$$
  donde $\sigma_T^2(x)$ es la varianza predictiva.

2.2. Funciones de Adquisición

Ambos métodos propuestos buscan minimizar la varianza posterior integrada sobre una sustituta tratable de la distribución autoinducida.

1. AB-SID-iVAR (SID Bayesiano Aproximado):

   • Aproxima la esperanza intratable $\mathbb{E}_{f|D_{t-1}}[P_f]$ en forma cerrada utilizando una expansión de Taylor de orden cero.
   • La densidad no normalizada sustituta es: $\tilde{p}^u_{t-1}(x) = \exp(\lambda \mu_{t-1}(x) + \frac{\lambda^2}{2}\sigma_{t-1}^2(x) + b(x))$.
   • Esta formulación incorpora naturalmente la incertidumbre posterior ($\sigma^2$) en la ponderación, evitando un compromiso prematuro con un único modo.

2. TS-SID-iVAR (SID por Muestreo de Thompson):

   • Aproxima la esperanza mediante una única muestra de Monte Carlo (Muestreo de Thompson): $\tilde{p}^u_{t-1}(x) = \exp(\lambda \tilde{f}_{t-1}(x) + b(x))$, donde $\tilde{f}_{t-1} \sim f|D_{t-1}$.
   • Esto ofrece un compromiso sesgo-varianza en comparación con la aproximación en forma cerrada.

2.3. Implementación Algorítmica

Los algoritmos seleccionan el siguiente punto de consulta $x_t$ minimizando la varianza posterior esperada sobre un conjunto potencial $\bar{X}_t$:
$$x_t = \arg \min_{x \in \bar{X}_t} \int_{x^* \in \mathcal{X}} \tilde{p}^u_{t-1}(x^*) \sigma_t^2(x^* | x_t = x) dx^*$$

• Conjunto de Restricción $\bar{X}_t$: Para asegurar la exploración, la búsqueda se restringe a regiones donde la varianza actual supera un umbral (estimado mediante la sustituta).
• Dominios Continuos: Para entradas continuas, la integral y el umbral de restricción se aproximan utilizando muestreo Monte Carlo Secuencial (SMC) desde la distribución sustituta.

3. Contribuciones Clave

1. Formalización del Problema: El artículo define formalmente el problema SIDAL, distinguiéndolo del AA estándar y del AA Robusto Distribucional por la dependencia de la distribución objetivo sobre la función desconocida.
2. Nuevas Funciones de Adquisición: Introducción de AB-SID-iVAR y TS-SID-iVAR, que aproximan la distribución objetivo Bayesiana en forma cerrada (o mediante MC de muestra única) sin requerir estimación de la función de partición. Estos métodos son aplicables tanto a dominios discretos como continuos.
3. Garantías Teóricas:
   • Convergencia: Los autores establecen que el error de predicción terminal desaparece con alta probabilidad a medida que el número de consultas $T \to \infty$.
   • Tasas: Proporcionan tasas de convergencia sublineales: $O(T^{-1/2+\epsilon})$ con muestras de Monte Carlo constantes, y $O(T^{-1+\epsilon})$ cuando el número de muestras escala linealmente con $T$.
   • Análisis de Caso Promedio: Se proporciona una cota de caso promedio más ajustada, mostrando factores logarítmicos mejorados en comparación con la cota de alta probabilidad.
   • Análisis Heurístico: El artículo proporciona el primer análisis de convergencia para métodos heurísticos existentes (Aprendizaje Activo Heurístico Genérico, GHAL) dentro de este marco.
4. Validación Empírica: Demostró mejoras consistentes sobre las líneas base (Muestreo Aleatorio, Muestreo de Incertidumbre, IMSE, EPIG y GHAL) en benchmarks sintéticos y tareas del mundo real.

4. Resultados Experimentales

Los métodos fueron evaluados en:

• Benchmarks Sintéticos: Funciones en dimensiones $d=1$ hasta $d=6$ (por ejemplo, Gramacy, Branin, Hartmann, Ishigami).
  • Resultados: AB-SID-iVAR logró consistentemente un ECM ponderado más bajo que las líneas base. La brecha de rendimiento se amplió en dimensiones más altas y para objetivos multimodales (por ejemplo, Branin), donde el muestreo de incertidumbre estándar falló al concentrarse en regiones de alta incertidumbre pero baja probabilidad.
• Modelado de Superficies de Energía Potencial (SEP): Tareas que involucran H2 sobre Cu, H sobre cúmulos de Cu, cristales de Si y H2O sobre Pt.
  • Resultados: AB-SID-iVAR logró el ECM ponderado más bajo en todos los sistemas, demostrando robustez en aplicaciones de fisicoquímica donde la predicción precisa solo se requiere en configuraciones específicas de baja energía.
• Descubrimiento de Fármacos Moleculares: Una tarea discreta basada en un pool utilizando funciones de puntuación de GuacaMol.
  • Resultados: El método superó significativamente a las líneas base en la predicción de propiedades para moléculas de alta puntuación (alto peso de Boltzmann). Mientras que las líneas base se degradaron a un $R^2$ negativo en el top-k% de compuestos, AB-SID-iVAR mantuvo una precisión cercana a cero, indicando que enfocó exitosamente el muestreo en el espacio químico relevante.

Estudios de Ablación:

• Reemplazar la sustituta Bayesiana con una inserción ingenua ($\exp(\lambda \mu_t)$) causó fallos en objetivos multimodales, confirmando la necesidad de incorporar la varianza posterior ($\sigma^2$) en la sustituta.
• Eliminar el conjunto de restricción $\bar{X}_t$ condujo a una mayor varianza y una convergencia menos robusta.

5. Significado y Afirmaciones

El artículo afirma llenar una brecha en la literatura de aprendizaje activo al abordar escenarios donde la distribución objetivo es autoinducida y sigue una forma de Boltzmann, un escenario común pero previamente no estudiado en campos como la química computacional y el descubrimiento de fármacos.

• Significado Teórico: Proporciona las primeras garantías rigurosas de convergencia para el aprendizaje bajo distribuciones autoinducidas, mostrando que el error terminal desaparece a pesar de la dependencia circular y la función de partición intratable.
• Significado Práctico: Los métodos propuestos (específicamente AB-SID-iVAR) ofrecen una alternativa principista y libre de parámetros (en cuanto al ajuste de hiperparámetros de la función de adquisición) a las heurísticas existentes que a menudo requieren un ajuste cuidadoso. Los métodos equilibran exitosamente la exploración y la concentración, asegurando predicciones precisas en regiones de alta probabilidad de la distribución autoinducida sin necesidad de conocer el soporte de la distribución a priori.
• Limitaciones: Los autores notan que sus cotas teóricas exhiben una dependencia exponencial de $|\lambda|$ debido al argumento de la razón de densidades. Computacionalmente, la dependencia del muestreo MCMC para dominios continuos introduce sobrecarga, aunque el análisis de sensibilidad sugiere que esto puede mitigarse con menos partículas.

En resumen, el artículo presenta un marco fundamentado teóricamente y empíricamente efectivo para el aprendizaje activo cuando la "importancia" de los puntos de datos está determinada por la función desconocida que se está aprendiendo, específicamente en el contexto de distribuciones ponderadas por Boltzmann.