Resumen Técnico: Optimización Bayesiana Restringida con Múltiples Fuentes de Información

Declaración del Problema

La Optimización Bayesiana (BO) es un marco estándar para optimizar funciones de caja negra costosas, pero enfrenta desafíos significativos cuando se trata de restricciones desconocidas y regiones factibles pequeñas. En espacios de alta dimensión, donde los datos son escasos (por ejemplo, en el diseño de resistencia a impactos o crashworthiness), descubrir incluso un único punto factible es difícil. Los métodos existentes suelen depender de una única fuente de información (la "verdad fundamental"), la cual suele ser computacionalmente prohibitiva de evaluar con frecuencia.

Muchas aplicaciones de ingeniería y científicas poseen fuentes de información auxiliares (por ejemplo, simulaciones de baja fidelidad, modelos de física simplificados o aproximaciones analíticas) que son más baratas de evaluar pero potencialmente sesgadas o ruidosas; sin embargo, su integración en la BO restringida ha sido poco explorada. La mayoría de los métodos multi-fuente (o multi-fidelidad) existentes abordan ya sea las restricciones o las múltiples fuentes de forma aislada. Existe una falta de marcos escalables que puedan aprovechar fuentes auxiliares baratas y débilmente correlacionadas para guiar la exploración temprana en entornos restringidos sin comprometer la precisión de la solución final.

Metodología: MS-CMES

Los autores proponen la Búsqueda de Entropía de Valor Máximo con Múltiples Fuentes Restringidas (MS-CMES), un marco unificado que extiende la Búsqueda de Entropía de Valor Máximo (MES) a entornos con múltiples fuentes de información y restricciones de caja negra.

1. Modelado de Procesos Gaussianos Multi-Fuente

El marco modela el objetivo $f$ y las restricciones $c_i$ a través de un conjunto de fuentes $S = \{0, \dots, L\}$, donde $L$ es la fuente objetivo (costosa, precisa) y $0$ es la fuente auxiliar más barata.

• Marco MISO: En lugar de asumir una jerarquía de fidelidad estricta (como en los modelos Kennedy-O'Hagan) o una estructura latente compartida (como en los Multi-Task GPs), los autores adoptan el enfoque de Optimización de Múltiples Fuentes de Información (MISO).
• Estructura Aditiva: Cada función específica de la fuente se modela como $u^{(\ell)}(x) = u^{(L)}(x) + \Delta^{(\ell)}(x)$, donde $u^{(L)}$ es una función latente objetivo y $\Delta^{(\ell)}$ es una discrepancia específica de la fuente modelada como un Proceso Gaussiano (GP) independiente.
• Inferencia Conjunta: Esta estructura aditiva permite la inferencia conjunta sobre la función latente y las discrepancias, capturando las correlaciones entre fuentes mientras mantiene la flexibilidad para fuentes con correlaciones débiles o desconocidas.

2. Función de Adquisición: Búsqueda de Entropía con Corrección de Varianza

El núcleo del método es una función de adquisición $\alpha_n(x, \ell)$ que equilibra la ganancia de información sobre el óptimo restringido $f^*$ frente al costo de evaluación $\lambda(x, \ell)$.

• Objetivo: Maximizar la ganancia de información esperada sobre el óptimo restringido $f^* = \max_{x \in \mathcal{X}_f^{(L)}} f^{(L)}(x)$.
• Cota Inferior Variacional: Dado que la información mutua $I(u^{(\ell)}; f^*)$ es intratable, el método utiliza una cota inferior variacional adaptada de Takeno et al. (2022). Esto implica el muestreo del óptimo restringido $f^*$ mediante el muestreo de Thompson discreto y la estimación de la probabilidad de que una nueva observación caiga dentro del conjunto factible definido por $f^*$.
• Corrección de Varianza: Una novedad crítica es el mecanismo de corrección de varianza. Debido a que el conjunto factible se define en la fuente objetivo $L$, pero las observaciones pueden provenir de la fuente $\ell$, existe el riesgo de una factibilidad espuria. Los autores introducen un factor de corrección basado en el coeficiente de correlación $\rho(x, \ell)$ entre las fuentes auxiliar y objetivo. Esto infla la varianza de las predicciones de fuentes débilmente correlacionadas, evitando que el algoritmo seleccione de forma excesivamente confiada puntos que parecen factibles en las fuentes baratas pero que son infactibles en la fuente objetivo.

3. Escalabilidad mediante Regiones de Confianza

Para manejar espacios de entrada de alta dimensión ($d \ge 40$), la optimización de la adquisición se restringe a una Región de Confianza (TR) actualizada dinámicamente, centrada en el mejor punto factible observado (o el punto con la mínima violación de restricción si no existe ninguno). Esto evita que la búsqueda se desvíe hacia regiones poco prometedoras y mejora la eficiencia computacional.

Contribuciones Clave

1. Marco Unificado: El primer marco basado en principios de teoría de la información para la BO restringida que integra múltiples fuentes de información. Combina muestras auxiliares baratas con un heurístico de región de confianza para escalar a espacios de alta dimensión.
2. Corrección de Varianza: Un enfoque sistemático para manejar las discrepancias entre fuentes mediante la corrección de las varianzas predictivas basadas en la correlación inter-fuente, asegurando la robustez incluso cuando los datos auxiliares están débilmente correlacionados.
3. Comparación Sistemática: Una evaluación rigurosa del escalado de modelos GP multi-fuente (MISO vs. KOH vs. MTGP), demostrando que la estructura aditiva de MISO es más robusta ante variaciones en la fuerza de correlación que los enfoques jerárquicos o de multi-tarea estricta.
4. Validación Empírica: Extensos experimentos en problemas de referencia sintéticos y basados en la física (hasta $d=100$) que muestran un rendimiento consistentemente superior a los métodos de BO restringida de vanguardia.

Resultados Experimentales

Los autores evaluaron MS-CMES en cinco problemas de referencia (Pressure Vessel, Rosenbrock, Rastrigin, Rotated Rastrigin, Different Powers) con dimensiones que van desde 4 hasta 100.

• Descubrimiento de Factibilidad: En regiones factibles dispersas y de alta dimensión (ej. variantes de Rastrigin), la mayoría de los métodos de referencia (incluyendo CMFBO, VBO y búsqueda aleatoria) fallaron en encontrar un solo punto factible. MS-CMES identificó con éxito las regiones factibles inmediatamente después del diseño inicial de experimentos.
• Desempeño de Optimización: MS-CMES alcanzó consistentemente valores de objetivo finales más bajos en comparación con los métodos de referencia como SCBO, FuRBO y CMES-IBO+.
• Robustez a la Correlación: El modelo MISO mantuvo una alta precisión incluso cuando las fuentes auxiliares estaban no correlacionadas o débilmente correlacionadas, mientras que los modelos jerárquicos (KOH) se degradaron significativamente en estos escenarios.
• Estudios de Ablación: Se demostró que el heurístico de la región de confianza es crucial para la eficiencia en altas dimensiones, y el método resultó robusto ante el número de muestras de Monte Carlo ($K$) utilizadas para la estimación de la entropía.

Significado y Reivindicaciones

El artículo afirma que MS-CMES aborda una brecha crítica en la literatura al proporcionar una solución escalable para la optimización restringida en presencia de múltiples fuentes de información.

• Exploración Temprana: El método es particularmente efectivo en las etapas iniciales de la optimización donde las regiones factibles son desconocidas. Al aprovechar datos potencialmente sesgados pero baratos, puede poblar el espacio de diseño y guiar la búsqueda hacia la factibilidad de manera más eficiente que los métodos de una sola fuente.
• Aplicabilidad General: El marco no asume una jerarquía estricta de fidelidad, lo que lo hace adecuado para diversos escenarios del mundo real donde los datos auxiliares (por ejemplo, simulaciones simplificadas, datos de archivo) pueden ser estructuralmente divergentes del objetivo.
• Impacto Práctico: Los autores destacan el potencial de este enfoque en dominios que van desde el diseño de ingeniería (ej. resistencia a impactos, aerodinámica) hasta el descubrimiento de fármacos, donde equilibrar el costo de los experimentos de alta fidelidad con las simulaciones de baja fidelidad es primordial.

Los autores señalan modestamente ciertas limitaciones, específicamente el supuesto de que los objetivos y las restricciones se evalúan conjuntamente en una fuente y la dependencia de funciones de costo especificadas por el usuario. Sin embargo, argumentan que el marco propuesto representa un paso significativo para hacer que la optimización bayesiana restringida sea práctica para problemas de ingeniería complejos, de alta dimensión y con datos escasos.