A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization

Resumen Técnico: Un Marco Unificado para la Búsqueda de Entropía y la Mejora Esperada en la Optimización Bayesiana

Enunciado del Problema
La Optimización Bayesiana (OB) es una técnica estándar para optimizar funciones de caja negra costosas, que depende de funciones de adquisición (FA) para equilibrar la exploración y la explotación. Existen dos paradigmas dominantes:

1. Mejora Esperada (ME): Una FA basada en heurísticas que maximiza la mejora esperada sobre el mejor valor observado actualmente. Es computacionalmente eficiente y ampliamente utilizada, pero a menudo se considera fundamentalmente distinta de los métodos basados en teoría de la información.
2. Funciones de Adquisición Basadas en Teoría de la Información (p. ej., Búsqueda de Entropía de Valor Máximo - MES): Estos métodos buscan reducir la incertidumbre sobre la ubicación o el valor del óptimo global utilizando medidas basadas en la entropía. Aunque están fundamentados teóricamente, a menudo se consideran distintos de la ME debido a filosofías subyacentes diferentes.

La perspectiva predominante en la comunidad de OB trata a la ME y a las funciones de adquisición basadas en teoría de la información como metodologías separadas. Este artículo desafía esa visión, argumentando que existe una conexión teórica más profunda entre ellas que no había sido reconocida previamente.

Metodología: Búsqueda de Entropía Variacional (VES)
Los autores introducen la Búsqueda de Entropía Variacional (VES), un marco teórico unificado que interpreta la ME como una aproximación de inferencia variacional de la Búsqueda de Entropía de Valor Máximo (MES) basada en teoría de la información.

• Unificación Teórica: El marco establece una cota inferior para la función de adquisición MES utilizando la cota de Barber-Agakov (BA). Al definir una familia variacional $Q$ para aproximar la densidad condicional $p(y^* | D_t, y_x)$ (donde $y^*$ es el valor del máximo global), los autores derivan una Cota Inferior de Búsqueda de Entropía (ESLBO).
• Recuperación de la ME: Cuando la familia variacional $Q$ se restringe a distribuciones exponenciales, la maximización de la ESLBO produce una solución idéntica a la Mejora Esperada (ME) estándar. Esto demuestra que la ME es un caso especial de MES bajo una aproximación variacional específica.
• VES-Gamma: Reconociendo que la distribución exponencial es demasiado rígida para capturar la estructura real de $p(y^* | D_t, y_x)$ (que a menudo es no monótona), los autores proponen VES-Gamma. Esta nueva FA utiliza una distribución Gamma como familia variacional. La distribución Gamma generaliza a la distribución exponencial, permitiendo una aproximación más flexible que captura mejor la forma de la densidad.
• Optimización: El algoritmo VES-Gamma emplea un enfoque estilo Expectación-Maximización (EM). Iterativamente:
  1. Estima los parámetros ($k, \beta$) de la distribución Gamma que maximizan la ESLBO para un punto candidato fijo $x$.
  2. Actualiza el punto candidato $x$ para maximizar la ESLBO dados los parámetros actuales.
     Los parámetros $k$ y $\beta$ se determinan automáticamente mediante análisis de derivadas y regularización, equilibrando dinámicamente los componentes de la función objetivo.

Contribuciones Clave

1. Marco Unificado: La introducción del marco VES, que demuestra que la ME es una aproximación variacional de MES, unificando así dos paradigmas de funciones de adquisición previamente distintos.
2. Nueva Función de Adquisición: La propuesta de VES-Gamma, una FA que hereda las fortalezas de rendimiento de la ME mientras incorpora principios de teoría de la información mediante una aproximación variacional Gamma más flexible.
3. Evaluación Exhaustiva: Evaluaciones empíricas extensas en benchmarks sintéticos de baja y alta dimensión, muestras de Procesos Gaussianos (GP) y problemas del mundo real.

Resultados
El artículo evalúa VES-Gamma frente a la ME, MES y otros métodos del estado del arte (como UCB y LogEI) en diversos benchmarks:

• Benchmarks Sintéticos: En funciones como Branin, Levy, Hartmann y Griewank, VES-Gamma se desempeña consistentemente de manera competitiva. Logra el mejor rendimiento en Branin y Hartmann, mientras que iguala o supera ligeramente a la ME en Levy y Griewank.
• Muestras de GP: En experimentos con priores GP de 100 dimensiones, VES-Gamma supera significativamente tanto a la ME como a MES para escalas de longitud más pequeñas ($\ell = 0.05, 0.1, 0.25$), donde la ME y MES tienden a converger a soluciones subóptimas.
• Benchmarks del Mundo Real: En problemas de alta dimensión (60D Rover, 124D Mopta08, 180D Lasso-DNA, 388D SVM), VES-Gamma demuestra un rendimiento robusto. Supera significativamente a todos los demás métodos en el benchmark SVM y se clasifica entre los mejores desempeños en Mopta08 y Lasso-DNA.
• Validación Teórica: Una prueba de Kolmogorov-Smirnov confirma la equivalencia empírica entre VES-Exp (la variante exponencial) y la ME, con tasas de aprobación que superan el 90% en diversos benchmarks.

Significado y Afirmaciones
El artículo afirma que el marco VES proporciona una nueva perspectiva teórica: la función de adquisición más popular (ME) no es fundamentalmente distinta de los métodos basados en teoría de la información, sino que es una aproximación variacional específica de los mismos.

Al unir estas perspectivas, los autores presentan VES-Gamma como una función de adquisición robusta y versátil que equilibra efectivamente las fortalezas de la ME (rendimiento y simplicidad) y de MES (reducción de incertidumbre). Los resultados sugieren que VES-Gamma es un candidato sólido para diversos problemas de optimización, particularmente en entornos de alta dimensión donde los métodos tradicionales pueden tener dificultades. Los autores señalan que, aunque VES-Gamma incurre en un costo computacional más alto por iteración que la ME o MES, esto a menudo es despreciable en comparación con el costo de evaluar funciones de caja negra costosas en aplicaciones del mundo real. Se identifica como trabajo futuro la exploración de distribuciones variacionales alternativas y la extensión del marco a entornos ruidosos.