Resumen Técnico: Inferencia Posterior en Espacio Latente para Optimización Escalable de Caja Negra con Restricciones

Definición del Problema

El artículo aborda la optimización de caja negra con restricciones (CBBO), una tarea fundamental en dominios científicos e ingenieriles como el aprendizaje automático, el descubrimiento de fármacos y el diseño industrial. El objetivo es encontrar una entrada $x^*$ que maximice una función objetivo $f(x)$ sujeta a $M$ restricciones de caja negra $g^{(m)}(x) \leq 0$.

Los autores destacan que la CBBO es significativamente más difícil que la optimización sin restricciones debido a dos factores principales:

1. Regiones Factibles Intratables: Las regiones factibles no están definidas analíticamente y a menudo ocupan una fracción diminuta del espacio de búsqueda.
2. Alta Dimensionalidad: Los métodos existentes, particularmente la Optimización Bayesiana (BO), luchan por escalar a espacios de alta dimensionalidad (por ejemplo, $D=200$). Aunque la BO maneja las restricciones mediante nuevas funciones de adquisición o relajación lagrangiana, sufre de una mala escalabilidad y dificultad para estimar con precisión modelos sustitutos en paisajes complejos y restringidos.

Los modelos generativos han surgido como una alternativa, pero el muestreo de la distribución objetivo de candidatos factibles y de alta puntuación a menudo es intratable en altas dimensiones debido a la multimodalidad y las grandes regiones planas. Los enfoques estándar como la Cadena de Markov de Monte Carlo (MCMC) escalan mal, y el ajuste fino de modelos generativos a menudo conduce al colapso de modos.

Metodología: CiBO

Los autores proponen CiBO (Optimización de Caja Negra Basada en Inferencia con Restricciones), un marco que reformula la selección de candidatos como inferencia posterior realizada en el espacio latente de modelos generativos. El método opera en un bucle iterativo que consta de dos fases:

Fase 1: Entrenamiento de Modelos

Dado un conjunto de datos $\mathcal{D}_r$ de entradas observadas, objetivos y violaciones de restricciones:

1. Entrenamiento del Prior: Un modelo basado en flujos $p_\theta(x)$ se entrena para capturar la distribución del conjunto de datos actual. Esto se realiza mediante Flow Matching con entrenamiento reponderado, donde los puntos de datos se ponderan en función de una puntuación aumentada lagrangiana $l(y, c) = y - \lambda \sum \max(0, c_m)$. Esto enfoca el prior en regiones prometedoras y factibles.
2. Entrenamiento de Sustitutos: Un conjunto de $K$ redes neuronales se entrena para predecir valores objetivos ($\mu_\phi, \sigma_\phi$) para cuantificar la incertidumbre. Se entrenan proxies separados para cada restricción $g^{(m)}$. Estos también se entrenan utilizando la pérdida reponderada.

Fase 2: Muestreo de Candidatos

En lugar de ajustar fino el prior basado en flujos (lo que conlleva el riesgo de colapso de modos), CiBO plantea la selección de candidatos como el muestreo de una distribución posterior:
$$p_{post}(x) \propto p_\theta(x) \exp(\beta \cdot r_\phi(x))$$
donde $r_\phi(x)$ es una función de recompensa que combina la media del sustituto, la bonificación por incertidumbre y la penalización por restricción.

Innovación Clave: Inferencia Amortizada en Espacio Latente
Los autores observan que, mientras que $p_{post}(x)$ en el espacio de datos es altamente multimodal y complejo, la posterior correspondiente en el espacio latente ($z$) es significativamente más suave.

1. Muestreador de Difusión Externalizado: Entrenan un modelo de difusión separado $p_\psi(z)$ para aproximar la posterior latente $p_{post}(z) \propto p(z) \exp(\beta \cdot r_\phi(f_\theta(z)))$.
2. Equilibrio de Trayectoria (TB): El muestreador de difusión se entrena utilizando el objetivo de Equilibrio de Trayectoria, lo que permite el entrenamiento fuera de política. Esto es crucial para cubrir múltiples modos y evitar el colapso de modos en el espacio latente.
3. Proyección y Filtrado: Se extraen muestras de $p_\psi(z)$, se proyectan al espacio de datos mediante el mapeo determinista $x = f_\theta(z)$ y se filtran para seleccionar los $B$ mejores candidatos basados en la función de recompensa $r_\phi(x)$.

Contribuciones Clave

1. Reformulación como Inferencia Posterior: El artículo formaliza la selección de candidatos con restricciones como el muestreo de una distribución posterior, aprovechando la suavidad del espacio latente para eludir las dificultades del muestreo directo en espacios de datos de alta dimensionalidad.
2. Amortización en Espacio Latente: Al desacoplar el proceso de muestreo en una etapa de generación de ruido en el espacio latente y una proyección determinista, el método evita los problemas de colapso de modos asociados con el ajuste fino de modelos basados en flujos directamente sobre distribuciones objetivo complejas y multimodales.
3. Escalabilidad: El uso de sustitutos ligeros basados en MLP y modelos de flujo/difusión permite que el método escale a altas dimensiones (hasta 180 dimensiones en tareas del mundo real) donde los métodos tradicionales de BO fallan.
4. Restricciones Indicadoras: Se demuestra que el marco maneja "restricciones indicadoras" (solo retroalimentación binaria de factibilidad), un escenario desafiante donde no está disponible información de restricción basada en gradientes o continua.

Resultados Experimentales

Los autores evalúan CiBO en tres benchmarks sintéticos (Rastrigin, Ackley, Rosenbrock en $D=200$) y cuatro tareas del mundo real (Planificación de Rover, HalfCheetah, Mopta, Lasso DNA) con dimensiones que van desde 60 hasta 180.

• Rendimiento: CiBO supera consistentemente a las líneas base del estado del arte, incluidas variantes de BO (cEI, LogcEI, SCBO, PCAGP-SCBO, FuRBO), algoritmos evolutivos (CMA-ES) y otros enfoques generativos (DiffOPT).
• Factibilidad: En tareas sintéticas, CiBO alcanza ratios de factibilidad casi perfectos dentro de 5–10 lotes, significativamente más rápido que las líneas base de BO. En tareas del mundo real, a menudo es el único método que encuentra soluciones factibles en benchmarks difíciles como Mopta y DNA-180D.
• Eficiencia de Muestra: El método demuestra una superior eficiencia de muestra, encontrando soluciones factibles de alta calidad con menos evaluaciones en comparación con los competidores.
• Estudios de Ablación: Los experimentos confirman que el entrenamiento reponderado, el filtrado y el entrenamiento fuera de política del muestreador de difusión son componentes críticos. El método es robusto a variaciones en hiperparámetros como el multiplicador de Lagrange $\lambda$ y el tamaño del búfer $L$.
• Tiempo de Ejecución: A pesar de entrenar múltiples modelos por ronda, CiBO mantiene un tiempo de ejecución por ronda comparable o inferior a los métodos basados en BO, ya que evita el ajuste costoso de Procesos Gaussianos (GP) requerido por la BO tradicional.

Significado y Afirmaciones

El artículo afirma que CiBO representa un paso significativo hacia adelante en la optimización escalable de caja negra con restricciones. Su significado principal radica en:

• Superar la "Maldición de la Dimensionalidad" en Restricciones: Al realizar inferencia en el espacio latente, el método navega efectivamente por regiones factibles complejas y multimodales que son intratables para la BO estándar o el ajuste fino directo de modelos generativos.
• Robustez: El marco es robusto en diversas tareas, incluidas aquellas con retroalimentación de restricción binaria y un gran número de restricciones.
• Aplicabilidad Práctica: El método es lo suficientemente eficiente computacionalmente para su implementación práctica en problemas de diseño y control del mundo real donde los presupuestos de evaluación son limitados.

Los autores notan modestamente las limitaciones, específicamente la necesidad de reentrenar modelos en cada ronda y el potencial para mejoras futuras aprovechando los avances en el entrenamiento basado en flujos y los muestreadores de difusión. Enfatizan que su trabajo proporciona una base para marcos de optimización más robustos y conscientes de las restricciones.