Support-Proximity Augmented Diffusion Estimation for Offline Black-Box Optimization

Resumen Técnico: Estimación de Difusión Aumentada por Proximidad de Soporte (SPADE) para Optimización de Caja Negra Offline

Planteamiento del Problema
La optimización de caja negra offline (BBO) busca descubrir diseños novedosos con altas puntuaciones de propiedades utilizando únicamente un conjunto de datos estático de evaluaciones pasadas, sin acceso a un oráculo de verdad fundamental para la verificación. Este escenario es prevalente en campos donde la recopilación de datos en línea es prohibitivamente costosa o peligrosa, como el diseño de proteínas, la optimización de secuencias de ADN y el ajuste de aceleradores de hardware. El desafío central en la BBO offline es el problema de extrapolación fuera de la distribución (OOD): los algoritmos de optimización tienden a explotar errores epistémicos en los modelos sustitutos, gravitando hacia regiones adversarias donde el rendimiento se sobreestima.

Los enfoques existentes generalmente caen en dos paradigmas con limitaciones distintas:

1. Métodos Inversos: Modelan la distribución condicional de diseños $p(x|y)$ para generar candidatos con altas puntuaciones objetivo. Sin embargo, aprender el mapeo inverso a menudo es un problema mal planteado de uno a muchos, lo que conduce a dificultades de entrenamiento y colapso de modos.
2. Métodos Directos: Aprenden un sustituto $y \approx f_\theta(x)$ para guiar la búsqueda. Los modelos de regresión estándar (por ejemplo, redes neuronales deterministas) a menudo fallan en capturar la incertidumbre distribucional compleja necesaria para detectar riesgos OOD. Aunque existen métodos de conjunto o bayesianos, pueden ser intensivos computacionalmente y difíciles de escalar. Además, simplemente reemplazar un regresor con un modelo de difusión es insuficiente, ya que el entrenamiento de difusión estándar se centra en capturar la distribución de entrenamiento sin garantizar los valores esperados calibrados o la precisión de clasificación global necesarias para una optimización efectiva.

Metodología: SPADE
Los autores proponen SPADE (Estimación de Difusión Aumentada por Proximidad de Soporte), un marco unificado que reimagina el modelado de sustitutos directos a través de modelado generativo condicional. SPADE modela la verosimilitud directa $p(y|x)$ utilizando un modelo de difusión, potenciado por dos módulos sinérgicos para abordar las necesidades específicas de la optimización:

1. Estimación de Difusión Calibrada:
   Para asegurar que el modelo de difusión sirva como un sustituto confiable, este módulo impone consistencia global en los momentos estadísticos y las clasificaciones por pares. Introduce una función de pérdida de calibración que incluye:

   • Ajuste de momentos de primer orden: Anclar la media predictiva a la verdad fundamental.
   • Consistencia de rango: Imponer que la topología del sustituto se alinee con el paisaje real del objetivo penalizando ordenamientos incorrectos por pares de diseños.
     Esto cierra la brecha entre los objetivos estándar de predicción de ruido y las estadísticas globales requeridas para la optimización.

2. Regularización por Proximidad de Soporte:
   Para abordar el problema OOD, SPADE internaliza la restricción del manifold de datos $p(x)$ directamente en el modelo de verosimilitud sin entrenar un modelo generativo separado. Utiliza un estimador de densidad no paramétrico de vecinos más cercanos (kNN) para medir el soporte de datos.

   • Mecanismo: Para diseños alejados del manifold de datos (baja densidad), la regularización penaliza explícitamente al sustituto induciendo retracción de la media (prediciendo puntuaciones más bajas) e inflación de la varianza (aumentando la incertidumbre).
   • Equivalencia Teórica: Los autores demuestran que esta regularización geométrica es equivalente en primer orden a maximizar una posterior bayesiana $p(x|y) \propto p(y|x)p(x)$. Específicamente, se muestra que maximizar una función de adquisición consciente del soporte es equivalente a optimizar el objetivo conjunto de utilidad (verosimilitud) y probabilidad a priori.

Estrategia de Optimización
Una vez entrenado el sustituto, el marco emplea una estrategia de optimización basada en adquisición. A diferencia de los métodos deterministas que utilizan el ascenso de gradiente, SPADE utiliza un sustituto probabilístico para permitir una búsqueda global. Emplea el Límite Inferior de Confianza (LCB) como función de adquisición, que equilibra el rendimiento esperado y la incertidumbre epistémica. La optimización se realiza utilizando un Algoritmo Evolutivo (EA) inicializado con semillas de alta puntuación del conjunto de datos.

Contribuciones Clave

• Modelado de Difusión Directa: El artículo explora el potencial de los modelos de difusión para el modelado de sustitutos directos ($p(y|x)$), demostrando su superioridad sobre la regresión determinista en la captura de distribuciones predictivas complejas (heterocedasticidad y multimodalidad) para la BBO offline.
• Estimación de Difusión Calibrada: La introducción de un módulo que incorpora ajuste de momentos y regularización de clasificación por pares, adaptando efectivamente el objetivo de entrenamiento de difusión a los requisitos de optimización.
• Regularización por Proximidad de Soporte: Un mecanismo novedoso para imponer restricciones del manifold de datos mediante estimación de densidad basada en kNN, con una prueba teórica que muestra su equivalencia a maximizar la utilidad conjunta y la probabilidad a priori.
• Rendimiento de Vanguardia: Validación empírica que muestra que SPADE logra resultados superiores en diversos puntos de referencia.

Resultados Experimentales
Los autores evaluaron SPADE en seis tareas del conjunto de pruebas Design-Bench (que abarcan dominios continuos como Superconductor, Morfología de Hormiga y Morfología de D'Kitty, y dominios discretos como TF Bind 8 y TF Bind 10) y un punto de referencia de optimización de Mezcla de Datos de LLM.

• Rendimiento: SPADE logró un rendimiento de vanguardia, asegurando la mejor Clasificación Media (2.8) y Clasificación Mediana (1.5) entre 24 métodos evaluados. Logró puntuaciones máximas normalizadas en el top-2 en 5 de las 6 tareas.
• Robustez: En tareas continuas, SPADE demostró capacidades de extrapolación excepcionales con baja varianza, evitando la inestabilidad observada en métodos como CMA-ES. En tareas discretas, superó a los métodos generativos inversos (que a menudo sufren de colapso de modos) y a los métodos de conjunto estándar, particularmente en la compleja tarea TF Bind 10.
• Estudios de Ablación: Los experimentos confirmaron que tanto el módulo de Estimación de Difusión Calibrada como el de Regularización por Proximidad de Soporte son esenciales y complementarios; la eliminación de cualquiera de ellos resultó en una degradación del rendimiento en comparación con el marco completo.

Significado y Afirmaciones
El artículo afirma que SPADE establece un nuevo punto de referencia de vanguardia en la BBO offline al equilibrar efectivamente la exploración de regiones de alta puntuación con restricciones rigurosas de proximidad de soporte. Al unificar el modelado directo con principios de inferencia bayesiana a través de regularización geométrica, el marco produce diseños que no solo son de alto rendimiento, sino también física o biológicamente plausibles, mitigando así el "hackeo de recompensas" y mejorando la fiabilidad en regiones OOD. Los autores posicionan este trabajo como un paso hacia sistemas de optimización más seguros y robustos para el descubrimiento científico y el diseño de ingeniería.