Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts

Resumen Técnico: Aceleración de la Optimización Bayesiana Multiobjetivo mediante Catalizadores de Gradiente Predictivo

Planteamiento del Problema
La Optimización Bayesiana Multiobjetivo (MOBO) es un marco utilizado para optimizar funciones objetivo costosas, ruidosas o de caja negra mediante el equilibrio entre la exploración y la explotación a través de modelos sustitutos probabilísticos, típicamente Procesos Gaussianos (GP). Aunque es efectiva, la MOBO suele enfrentar desafíos cuando los presupuestos de evaluación son limitados, particularmente al navegar las compensaciones necesarias para aproximar el conjunto de Pareto. Aunque los conceptos de estacionariedad basados en gradientes están bien establecidos en la optimización multiobjetivo determinista, su integración en la MOBO ha permanecido en gran medida inexplorada. Los métodos de aceleración basados en gradientes existentes suelen estar restringidos a entornos de un solo objetivo o estrechamente vinculados a funciones de adquisición específicas, lo que limita su aplicabilidad general.

Metodología
Los autores proponen un mecanismo de aceleración general que aprovecha los gradientes predictivos de procesos gaussianos como señales auxiliares de "catalizador". En lugar de reemplazar las funciones de adquisición existentes que cumplen con el criterio de Pareto, este marco las aumenta con información de estacionariedad local derivada de los gradientes del sustituto.

La metodología central implica:

1. Modelado del Sustituto: El enfoque asume la independencia condicional entre objetivos, modelando cada uno con un GP individual. Se computan la media predictiva ($\mu_i$) y la varianza ($\sigma^2_i$), y se deriva analíticamente el gradiente esperado de la media predictiva.
2. Marco Catalítico: El método formula un problema de decisión bi-objetivo para seleccionar el siguiente punto de evaluación:
   • Criterio Global ($g_1$): Maximizar una función de adquisición estándar que cumpla con Pareto (ej. EHVI, AugTch).
   • Criterio Local ($g_2$): Minimizar la magnitud del gradiente predictivo ponderado, $\|\gamma \cdot \nabla \hat{f}(x)\|$, donde $\gamma$ representa coeficientes de combinación convexa que satisfacen las condiciones de Fritz–John (FJ) para la estacionariedad de Pareto.
   • Escalarización: Estos dos criterios se combinan utilizando una escalarización de Tchebycheff aumentada para crear una función de adquisición unificada $\alpha_{CAT}(x)$. Esto penaliza a los candidatos que son inferiores tanto en desempeño global como en estacionariedad local.

Se investigan dos instancias específicas del catalizador:

• Catalizador basado en MGDA: Utiliza el Algoritmo de Descenso de Gradiente Múltiple (MGDA) para determinar adaptativamente el vector de pesos $\gamma$ en cada punto $x$. Esto encuentra la combinación convexa de gradientes con la norma euclidiana mínima, satisfaciendo las condiciones FJ localmente.
• Catalizador de Pesos Predefinidos (W): Utiliza un conjunto fijo de vectores de pesos predefinidos (tras una normalización min-máx) para discretizar las direcciones de búsqueda. Este enfoque sacrifica la satisfacción estricta de las condiciones FJ en favor de la robustez y una exploración enfocada, lo cual es beneficioso bajo presupuestos de evaluación ajustados.

Contribuciones Clave

• Marco Catalítico: Un marco novedoso que explota los gradientes predictivos de GP para acelerar la convergencia de la MOBO sin alterar la estructura subyacente de las funciones de adquisición estándar.
• Instanciaciones Duales: La introducción de dos estrategias de catalizador: un enfoque adaptativo basado en MGDA fundamentado en la teoría de la estacionariedad de Pareto, y un enfoque de pesos predefinidos para una exploración enfocada de las compensaciones (trade-offs).
• Integración Principialista: Un método formal para integrar las señales catalíticas con las funciones de adquisición estándar mediante la escalarización de Tchebycheff aumentada.
• Evaluación Empírica: Experimentos extensos en la suite de benchmarks DTLZ (2 objetivos, 10 variables de decisión) comparando los métodos propuestos contra las líneas base (EHVI, AugTch, tMPoI, SAF).

Resultados y Análisis
Los experimentos se realizaron en los problemas de benchmark DTLZ1–DTLZ7 con un presupuesto de $30n$ evaluaciones. Los hallazgos clave incluyen:

• Dependencia de la Precisión del Sustituto: La efectividad de la aceleración depende altamente de la precisión de los modelos sustitutos. Cuando los sustitutos son precisos (indicado por un bajo Log Loss Estandarizado, SLL), el enfoque catalítico produce mejoras significativas.
• Correlación de la Estacionariedad: El marco funciona mejor en problemas que exhiben comportamiento estacionario (donde las perturbaciones locales inducen variaciones similares en el espacio de los objetivos).
  • DTLZ2 y DTLZ5: Estos problemas mostraron una fuerte estacionariedad y una alta precisión del sustituto. Los métodos catalíticos superaron consistentemente a las líneas base (celdas verdes en los mapas de significancia).
  • DTLZ1 y DTLZ3: Estos problemas exhibieron no-estacionariedad e inconsistencia en la calidad del sustituto. El enfoque catalítico mostró poca o ninguna mejora respecto a las líneas base (celdas grises).
  • DTLZ4 y DTLZ6: La calidad mixta o deficiente del sustituto provocó una degradación del desempeño en varios casos (celdas rojas), resaltando el riesgo de utilizar gradientes cuando los sustitutos no son fiables.
• MGDA vs. Pesos Predefinidos: En las comparaciones por pares, la variante de Pesos Predefinidos (W) generalmente superó a la variante adaptativa de MGDA. Los autores sugieren que para la optimización costosa con presupuestos limitados, centrar la búsqueda en un conjunto grueso y finito de direcciones prometedoras es más efectivo que intentar aproximar finamente todo el conjunto de Pareto global mediante direcciones locales adaptativas.

Significancia y Reivindicaciones
El artículo afirma que la catálisis de gradiente predictivo ofrece un mecanismo práctico para mejorar la eficiencia en la optimización multiobjetivo costosa, siempre que los modelos sustitutos subyacentes sean precisos y el problema exhiba una estacionariedad aproximada. Los autores enfatizan que este enfoque no reemplaza las funciones de adquisición existentes, sino que las potencia con información local, permitiendo una convergencia más rápida hacia el conjunto de Pareto global.

La significancia radica en cerrar la brecha entre la teoría de la estacionariedad basada en gradientes y la MOBO, demostrando que incluso con presupuestos limitados, aprovechar la suavidad de los gradientes predictivos de GP puede guiar la búsqueda de manera más efectiva que las funciones de adquisición estándar por sí solas. Los autores señalan modestamente que, aunque la evaluación actual se limita a la suite DTLZ con 2 objetivos y 10 dimensiones, el marco está diseñado para escalar a mayores dimensiones debido a la derivación analítica de los gradientes y la eficiencia computacional del resolvedor MGDA. Se sugiere como trabajo futuro el abordaje de entornos con restricciones, entornos ruidosos y problemas de alta dimensión.