Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization

Resumen Técnico: Mejora Esperada Consciente de la Estacionariedad para la Optimización Bayesiana

Enunciado del Problema
La Optimización Bayesiana (BO) es un marco estándar para optimizar funciones de caja negra costosas, que típicamente depende de la Mejora Esperada (EI) como función de adquisición (AF) principal. Aunque la EI es empíricamente exitosa, es fundamentalmente agnóstica a las condiciones de optimalidad de primer orden, confiando únicamente en el potencial de mejora del valor objetivo. En consecuencia, en regiones donde la función objetivo es plana o casi estacionaria, la señal de EI puede desaparecer, lo que lleva a una sobreexplotación de cuencas locales y a una falla en la guía efectiva de la exploración. Aunque la información del gradiente a menudo está disponible en configuraciones prácticas (por ejemplo, gradientes de política en control, sensibilidades adjuntas en EDP, hipergradientes en aprendizaje automático) a un costo insignificante, los métodos existentes de BO mejorados con gradientes se centran principalmente en incorporar gradientes en el modelo sustituto para mejorar la precisión predictiva. Este enfoque a menudo incurre en una alta complejidad computacional debido al modelado de las correlaciones cruzadas entre los valores de la función y sus derivadas. Por el contrario, aprovechar la información del gradiente directamente dentro de la función de adquisición permanece poco explorado.

Metodología
Los autores proponen Mejora Esperada mediante Normas de Gradiente (EI-GN), una nueva función de adquisición que extiende el principio de mejora para incorporar la estacionariedad de primer orden.

1. Objetivo Auxiliar: En lugar de modificar las heurísticas de exploración, el método generaliza la definición de "mejora". Define una función objetivo auxiliar $g(x)$ que aumenta el objetivo original $f(x)$ con una penalización suave sobre la norma del gradiente:
   $$g(x) = f(x) - \alpha \|\nabla f(x)\|_2^2$$
   donde $\alpha \geq 0$ es un hiperparámetro. Esta formulación trata la norma del gradiente como una penalización suave por desviaciones de la estacionariedad, alentando la búsqueda a favorecer regiones que sean ya sea de alto rendimiento o cercanas a puntos estacionarios.

2. Formulación de Adquisición: El método define la Mejora Esperada sobre este objetivo auxiliar, denotada como $EI_g$. Sin embargo, calcular $EI_g$ directamente es intratable debido al acoplamiento de los valores de la función y las normas de gradiente. Los autores derivan una cota inferior tratable utilizando la Desigualdad de la Parte Positiva:
   $$EI_g(x) \geq EI_f(x) - \alpha E I_s(x)$$
   donde $EI_f$ es la EI estándar sobre el objetivo, y $EI_s$ es un término al estilo de EI que mide la mejora en la estacionariedad (reducción de la norma del gradiente).

3. Aproximación Tratable (EI-GN): Para hacer el método práctico, los autores derivan una expresión en forma cerrada para una aproximación tratable del término de estacionariedad, $E I_s$. Al asumir modelos de Proceso Gaussiano (GP) independientes para el objetivo y sus derivadas parciales (evitando la complejidad $O((d+1)^3N^3)$ de los modelos conjuntos), utilizan una transformación de blanqueamiento para desacoplar la truncación basada en la norma. Esto permite calcular la esperanza mediante momentos truncados separables, resultando en la función de adquisición final:
   $$EI\text{-}GN(x) = EI_f(x) - \alpha E I_s(x)$$
   Esta formulación proporciona dos vías para la mejora: aumentar el valor del objetivo o reducir la norma del gradiente.

Contribuciones Clave

• Nueva Función de Adquisición: El artículo introduce EI-GN, que aplica el principio de mejora a un objetivo auxiliar consciente de la estacionariedad, extendiendo la adquisición basada en mejora más allá de los criterios puramente de valor objetivo.
• Derivación Teórica: Los autores derivan una cota inferior para la mejora esperada sobre el objetivo auxiliar y proporcionan una expresión tratable y en forma cerrada (EI-GN) que instancia estos principios bajo posteriores gaussianas.
• Eficiencia Computacional: Al utilizar modelos GP independientes para el objetivo y los gradientes, el método evita la carga computacional del modelado conjunto de derivadas mientras aún aprovecha la información del gradiente para remodelar el paisaje de adquisición.

Resultados Experimentales
El artículo evalúa EI-GN en varios regímenes experimentales:

• Benchmarks Sintéticos: En funciones estándar (Shekel, Hartmann, Griewank, Ackley) con dimensiones variables, EI-GN supera consistentemente o iguala a las líneas base (EI, LogEI, UCB, CMA-ES). Muestra una ventaja particular en funciones con estructuras planas u oscilatorias donde las señales EI estándar desaparecen.
• Muestras de GP: Tanto en comparaciones dentro del modelo (idealizadas) como fuera del modelo (hiperparámetros desajustados), EI-GN demuestra ganancias de rendimiento robustas sobre las líneas base de la familia EI estándar. Esto confirma que la señal basada en gradientes guía la optimización efectivamente incluso cuando los modelos sustitutos son imperfectos.
• Ablación de Gradientes: Las comparaciones con métodos que incorporan gradientes en el modelo sustituto (GP conjuntos) versus la función de adquisición muestran que estos enfoques son ortogonales. Combinar ambos (dEI-GN) produce los resultados más fuertes, indicando que las mejoras a nivel de adquisición y a nivel de sustituto abordan aspectos complementarios del problema de optimización.
• Búsqueda de Políticas: En tareas de aprendizaje por refuerzo (Acrobot y CartPole), EI-GN se compara contra métodos de gradiente local (REINFORCE) y EI estándar. EI-GN logra una mayor eficiencia de muestras y una convergencia más confiable a políticas de alta recompensa, particularmente en escenarios donde los métodos locales quedan atrapados en cuencas locales.

Significado y Afirmaciones
El artículo afirma que EI-GN proporciona una noción más rica e informativa de mejora al incrustar el progreso hacia la estacionariedad en el criterio de adquisición. Los autores afirman que este enfoque permite que el paisaje de adquisición permanezca informativo incluso en regímenes donde la EI estándar proporciona poca señal (por ejemplo, regiones planas o puntos casi estacionarios). El método se presenta como una extensión principista del marco EI que aprovecha la información de gradiente disponible sin la sobrecarga computacional del modelado sustituto conjunto complejo. Los resultados empíricos sugieren que EI-GN ofrece ganancias consistentes sobre los métodos de línea base, particularmente en paisajes desafiantes donde los criterios de mejora basados en el valor objetivo tradicional son insuficientes.