Surrogate modeling for Bayesian optimization beyond a single Gaussian process

Resumen Técnico: Modelado de Sustitutos para la Optimización Bayesiana Más Allá de un Único Proceso Gaussiano

Planteamiento del Problema
La Optimización Bayesiana (OB) es un marco principiado para optimizar funciones de caja negra "costosas de evaluar", como las encontradas en el ajuste de hiperparámetros, el descubrimiento de fármacos y la robótica. La OB estándar se basa en un modelo de sustituto estadístico para seleccionar secuencialmente puntos de consulta, equilibrando la exploración y la explotación. Sin embargo, los enfoques existentes dependen típicamente de un único Proceso Gaussiano (GP) con una función de kernel pre-seleccionada. Este diseño requiere una experiencia significativa en el dominio para elegir el tipo de kernel y los hiperparámetros apropiados. Además, a menudo faltan garantías rigurosas de convergencia para los algoritmos de OB, y la paralelización de evaluaciones para reducir el tiempo de convergencia frecuentemente exige hiperparámetros adicionales o reglas de selección complejas para garantizar la diversidad de las consultas. El artículo aborda la necesidad de un método de OB que minimice los esfuerzos de ajuste, soporte la operación paralela y proporcione garantías teóricas de convergencia.

Metodología: EGP-TS
El método propuesto, EGP-TS (Ensemble Gaussian Process con Thompson Sampling), introduce un marco novedoso que va más allá de un único sustituto GP.

1. Ensemble de GPs (EGP): En lugar de un único kernel, el método aprovecha un ensemble de $M$ GPs, donde cada GP $m$ utiliza una función de kernel $\kappa_m$ seleccionada de un diccionario predefinido $\mathcal{K}$. El prior sobre la función objetivo $f(x)$ se modela como una mezcla ponderada de estos GPs:
   $$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$$
   Los pesos $w_m^t$ se actualizan adaptativamente sobre la marcha basándose en los datos observados $D_t$ utilizando la regla de Bayes, seleccionando efectivamente el ajuste de modelo de sustituto más adecuado para la etapa actual de optimización.

2. Adquisición por Thompson Sampling (TS): Para seleccionar el siguiente punto de consulta, el método emplea Thompson Sampling. En lugar de optimizar una función de adquisición compleja, TS muestrea una realización de función $\tilde{f}_t(x)$ de la distribución de mezcla posterior y selecciona el maximizador de esta función muestreada. Este enfoque no requiere parámetros de diseño adicionales.

3. Escalabilidad mediante Características Aleatorias (RF): Para garantizar la escalabilidad, particularmente para el paso de muestreo requerido por TS, el método emplea aproximación de kernel basada en características aleatorias para cada GP en el ensemble. Esto convierte el aprendizaje no paramétrico de GP en uno paramétrico, permitiendo un muestreo eficiente de funciones y actualizaciones bayesianas recursivas de los parámetros del modelo (pesos y medias/covarianzas posteriores).

4. Paralelización: El marco EGP-TS acomoda naturalmente evaluaciones de funciones paralelas tanto síncronas como asíncronas. En un entorno paralelo con $K$ trabajadores, se generan múltiples puntos de consulta muestreando de la mezcla posterior actual sin requerir hiperparámetros adicionales para imponer diversidad, un requisito común en la OB paralela que utiliza Límite Superior de Confianza (UCB) o Mejora Esperada (EI).

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

• Selección Adaptativa de Modelos: Reemplaza el GP único con un kernel pre-seleccionado por un ensemble de GPs que ajusta adaptativamente los pesos por GP sobre la marcha, eliminando la necesidad de selección manual de kernels.
• Paralelismo Libre de Parámetros: El enfoque resultante EGP-TS soporta evaluaciones paralelas tanto síncronas como asíncronas sin necesidad de parámetros de diseño adicionales.
• Garantías de Convergencia: Los autores establecen la convergencia de EGP-TS al óptimo global derivando límites de arrepentimiento bayesiano sublineales para entornos secuenciales y paralelos. El análisis adapta técnicas de bandas lineales con priores de mezcla al contexto de OB, abordando los desafíos introducidos por el prior EGP.
• Validación Empírica: Pruebas extensas en funciones sintéticas, tareas robóticas (empuje de robots) y tareas de ajuste de hiperparámetros del mundo real (para FNNs, SVMs y Gradient Boosting) demuestran la superioridad del método sobre TS basado en GP único, GP-TS totalmente bayesiano y enfoques de ensemble alternativos.

Resultados
Se realizaron experimentos numéricos en benchmarks sintéticos estándar (Ackley-5d, Zakharov, DropWave, Eggholder) y aplicaciones del mundo real.

• Funciones Sintéticas: EGP-TS logró consistentemente un arrepentimiento simple menor en comparación con GP-TS con kernels pre-seleccionados (RBF, Matérn) y otros métodos de ensemble como BanditBO y EXP3BO. También superó a GP-TS totalmente bayesiano.
• Robótica: En tareas de empuje de robots en 3D y 4D, EGP-TS demostró un rendimiento superior en la minimización de la distancia a la ubicación del objetivo en comparación con todas las líneas base, mientras que también ejecutó significativamente más rápido que GP-TS totalmente bayesiano.
• Ajuste de Hiperparámetros: Para ajustar modelos FNN, SVM y Gradient Boosting en conjuntos de datos como Breast Cancer, Iris y Wine, EGP-TS logró una mayor precisión de validación con menos evaluaciones de función en comparación con los competidores.
• Ablación: Resultados preliminares acoplando el sustituto EGP con Mejora Esperada (EGP-EI) también mostraron un rendimiento mejorado sobre GP-EI estándar, sugiriendo que los beneficios del modelo de ensemble se extienden más allá de Thompson Sampling.

Significado y Afirmaciones
El artículo afirma que EGP-TS ofrece una solución robusta al cuello de botella del "esfuerzo de diseño" en la Optimización Bayesiana. Al automatizar la selección de kernels mediante un enfoque de ensemble y utilizar Thompson Sampling, el método reduce la dependencia del conocimiento experto del dominio. La contribución teórica radica en establecer límites rigurosos de arrepentimiento bayesiano para un algoritmo de OB basado en ensemble, demostrando que el método converge al óptimo global con un arrepentimiento promedio decreciente. Los autores enfatizan que, aunque el concepto de ensemble se ha utilizado en aprendizaje supervisado, su adaptación a la OB para la selección de kernels, acoplada con escalabilidad paralela y análisis de convergencia, es una contribución novedosa. El trabajo posiciona a EGP-TS como un método que equilibra la expresividad del aprendizaje de ensemble con la eficiencia y las garantías teóricas requeridas para tareas de optimización prácticas y de alto costo.