Resumen Técnico: Optimización Bayesiana Generativa

Enunciado del Problema

La Optimización Bayesiana (OB) es un enfoque estándar para resolver problemas complejos de optimización de caja negra mediante el uso de modelos sustitutos probabilísticos, como Procesos Gaussianos (PG), para maximizar un criterio de utilidad esperado conocido como función de adquisición. Aunque es efectiva, la OB tradicional enfrenta desafíos significativos de escalabilidad en configuraciones por lotes, particularmente al tratar con espacios de diseño de alta dimensión y combinatorios (por ejemplo, diseño de proteínas).

Los métodos existentes de OB por lotes a menudo dependen de la construcción incremental de conjuntos de candidatos mediante el muestreo de observaciones "fantasía", un proceso que se vuelve computacionalmente intratable a medida que crece el tamaño del lote. Alternativamente, los enfoques que entrenan modelos generativos como distribuciones de propuesta suelen emplear un proceso de dos etapas: primero ajustan un modelo sustituto (regresión o clasificación) para aproximar la función objetivo o de adquisición, y luego entrenan un modelo generativo sobre la base de este. Esta tubería de dos etapas complica los errores de aproximación y aumenta los costos computacionales. Además, muchos enfoques generativos existentes son específicos de ciertas funciones de adquisición (por ejemplo, Probabilidad de Mejora) o requieren modelos de recompensa explícitos que introducen fuentes adicionales de error.

Metodología

El artículo propone Optimización Bayesiana Generativa (GenBO), un marco unificado que convierte directamente los modelos generativos en muestreadores de soluciones candidatas para la OB por lotes, sin modelos sustitutos intermedios. La idea central es entrenar el modelo generativo para aproximar una distribución objetivo cuya densidad es proporcional a la función de adquisición de OB (utilidad esperada), realizando efectivamente una inferencia directa sobre la ubicación óptima $x^*$ en lugar de sobre la función objetivo $f$.

El marco ofrece dos estrategias principales para entrenar el modelo generativo $q$ utilizando valores de utilidad ruidosos derivados de las observaciones:

1. Aprendizaje Basado en Preferencias (inspirado en DPO):
   Inspirado en la Optimización Directa de Preferencias (DPO) para Modelos de Lenguaje Grandes, este enfoque formula una pérdida contrastiva por pares. En lugar de entrenar un modelo de recompensa intermedio, el modelo generativo se entrena directamente sobre pares de entradas $(x_{i,1}, x_{i,2})$ y sus valores de utilidad correspondientes $(u_{i,1}, u_{i,2})$.

   • Pérdida de Preferencia Robusta (rPL): Para manejar el ruido inherente a las evaluaciones de caja negra (donde el signo de las diferencias de utilidad puede invertirse), los autores emplean una versión robusta de la pérdida DPO. Esta pérdida elimina la necesidad de un modelo de recompensa explícito y de una función de partición, optimizando directamente el modelo generativo para aproximar la distribución objetivo $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$.

2. Aprendizaje Basado en Divergencia:
   Este enfoque entrena el modelo generativo para igualar la distribución objetivo directamente mediante la minimización de la divergencia.

   • KL Directo: El modelo minimiza la divergencia de Kullback-Leibler (KL) entre la propuesta y el objetivo. Los autores derivan un objetivo de entrenamiento sin sesgo utilizando pesos de muestreo por importancia.
   • KL Directo Balanceado: Para abordar el problema donde el KL Directo estándar falla en penalizar regiones con utilidad cero (por ejemplo, por debajo de un umbral de mejora), se introduce una variante balanceada. Esto añade un término de penalización suave derivado de las divergencias de Bregman, asegurando que el modelo no mantenga una densidad de probabilidad alta en regiones de baja utilidad.

El marco es generalizable a cualquier función de adquisición expresable como una utilidad esperada (por ejemplo, Probabilidad de Mejora, Mejora Esperada, Mejora Esperada Suave) y admite diversas funciones de utilidad, incluidas variantes de media y softplus.

Contribuciones Clave

• Marco de Modelo Único: GenBO elimina la necesidad de sustitutos intermedios de regresión o clasificación, reduciendo los errores de aproximación y la sobrecarga computacional al entrenar un único modelo generativo directamente a partir de observaciones ruidosas.
• Codificación General de Utilidad: El método codifica funciones de utilidad generales directamente en los objetivos de entrenamiento de los modelos generativos, extendiéndose más allá de la retroalimentación basada en preferencias hacia señales de recompensa generales y funciones de pérdida.
• Convergencia Teórica: El artículo proporciona un análisis teórico que muestra que, bajo suposiciones de regularidad leves (por ejemplo, modelos que residen en un Espacio de Hilbert de Núcleo Reproductor), la secuencia de modelos generativos sigue distribuciones que aproximan asintóticamente la distribución objetivo óptima. El análisis establece que el error de aproximación se concentra de manera similar a los métodos de núcleo.
• Escalabilidad: El enfoque está diseñado para escalar a grandes lotes y espacios combinatorios de alta dimensión donde la OB tradicional y los métodos generativos de dos etapas tienen dificultades.

Resultados Experimentales

Los autores evaluaron GenBO en tareas desafiantes de optimización de secuencias, incluida la optimización de texto (minimizando la distancia de edición a "ALOHA") y el diseño de proteínas (optimizando la estabilidad y el área superficial accesible al solvente, así como funciones sintéticas de Ehrlich).

• Rendimiento: Las variantes de GenBO, particularmente aquellas que utilizan la Pérdida de Preferencia Robusta (rPL) y el KL Directo Balanceado (bfKL), lograron un rendimiento competitivo o superior en comparación con líneas base sólidas, incluidas CbAS, VSD (Distribuciones de Búsqueda Variacional) y LaMBO-2.
• Eficiencia: GenBO demostró mejoras significativas en el tiempo de ejecución, siendo aproximadamente 3 veces más rápido que VSD en tareas de optimización de texto debido a la eliminación de la etapa intermedia de ajuste de sustitutos.
• Robustez: En tareas de diseño de proteínas, las variantes de GenBO mostraron una convergencia rápida en la tarea SASA, mientras que manejaban la tarea de estabilidad, más desafiante, de manera comparable a otros métodos. Los experimentos destacaron que GenBO es relativamente menos sensible a los esquemas de recocido de umbrales en comparación con las líneas base guiadas por clasificadores.
• Escalado por Lotes: El método manejó con éxito tamaños de lote grandes ($B=128$) en espacios de secuencias de proteínas de alta dimensión ($M=64$), demostrando mejoras monótonas con el aumento del tamaño del lote.

Significado y Afirmaciones

El artículo afirma que GenBO ofrece una alternativa más simple y escalable a los métodos de generación guiada por múltiples etapas para la optimización de caja negra. Al eliminar el modelo sustituto intermedio, GenBO reduce la tubería al aprendizaje de un único modelo generativo, reduciendo así los recursos computacionales y eliminando una fuente de errores de aproximación.

Los autores posicionan a GenBO como una "receta general" que unifica la OB sin verosimilitud con técnicas modernas de modelado generativo. Subrayan que, aunque el marco se centra actualmente en funciones de adquisición expresables como utilidades esperadas, los fundamentos teóricos permiten extensiones a otras reglas de puntuación y tipos de modelos (por ejemplo, modelos de difusión, ajuste de flujo). El trabajo sugiere que la inferencia directa sobre la ubicación óptima, impulsada por factores de pseudo-verosimilitud basados en utilidad, es una vía viable y eficiente para optimizar espacios de diseño complejos y de alta dimensión.