Resumen Técnico: BEACON

Formulación del Problema

El artículo aborda el desafío de la Búsqueda de Novedad (NS, por sus siglas en inglés) en el contexto de sistemas de caja negra costosos y con ruido, comunes en la química, la ciencia de materiales y el diseño molecular. A diferencia de la optimización tradicional, que busca un único óptimo escalar, el objetivo aquí es descubrir un conjunto diverso de comportamientos (resultados) alcanzables de un sistema dentro de un presupuesto limitado de evaluaciones.

Formalmente, el problema involucra una función de caja negra de valores vectoriales $f: \mathcal{X} \to \mathcal{O}$, donde $\mathcal{X} \subset \mathbb{R}^d$ es el espacio de entrada y $\mathcal{O} \subset \mathbb{R}^n$ es el espacio de resultados (comportamiento). El objetivo es maximizar la alcanzabilidad (reachability), definida como la fracción de regiones de comportamiento distintas descubiertas dentro de una partición finita del espacio de resultados.

Los métodos de NS existentes, a menudo basados en metaheurísticas como los algoritmos evolutivos, suelen ser ineficientes en términos de muestreo. Tienen dificultades en entornos donde cada evaluación de la función (por ejemplo, una simulación o un experimento físico) es costosa. Además, la Optimización Bayesiana (BO) estándar es poco adecuada porque colapsa los resultados en una única función de utilidad, lo que puede pasar por alto comportamientos intermedios o raros que son científicamente valiosos.

Metodología: BEACON

Los autores proponen BEACON (Bayesian Exploration Algorithm for outCOme Novelty), una estrategia de muestreo eficiente inspirada en los principios de la Optimización Bayesiana pero adaptada para la búsqueda de novedad.

Componentes Principales

1. Modelo Sustituto de Procesos Gaussianos Multivariantes (MOGP):
   En lugar de modelar un objetivo escalar, BEACON coloca un modelo sustituto probabilístico directamente sobre el mapa de entrada-a-resultado $f$. El marco utiliza MOGPs para modelar la función completa de valores vectoriales. En la mayoría de los experimentos, los autores emplean modelos de GP de salidas independientes (ajustando un GP escalar por cada coordenada de resultado) para mantener la simplicidad, aunque el marco admite salidas correlacionadas y kernels conscientes de la química (ej. Tanimoto-fragprint) para dominios específicos.

2. Función de Adquisición basada en el Muestreo de Thompson:
   BEACON introduce una nueva función de adquisición que califica candidatos de entrada basándose en la distancia de sus resultados plausibles respecto a un archivo de resultados observados previamente y de ruido mitigado.

   • Mitigación de Ruido (Denoising): Las observaciones crudas se reemplazan con las predicciones de la media posterior ($\mu_D$) para mitigar los efectos del ruido de observación.
   • Cuantificación de la Incertidumbre: El algoritmo extrae una función de muestra $g(x)$ de la posterior del MOGP (usando el muestreo de Thompson).
   • Calificación: La puntuación de novedad $\alpha_{NS}$ para un candidato $x$ es la distancia promedio entre el resultado muestreado $g(x)$ y los $k$ vecinos más cercanos en el archivo de ruido mitigado:
     $$\alpha_{NS}(x | g, D) = \frac{1}{k} \sum_{i=1}^{k} \text{dist}(g(x), \mu_D(x_i^*))$$
   • Optimización: Esta función de adquisición se optimiza utilizando métodos basados en gradientes (ej. L-BFGS-B) con múltiples reinicios. El uso de relajaciones diferenciables para la operación de ordenación en el cálculo de $k$-vecinos más cercanos permite una maximización eficiente basada en gradientes.

3. Extensiones:

   • Escalabilidad de Alta Dimensión: Para espacios de entrada de alta dimensión, BEACON integra la técnica SAAS (Sparse Axis-Aligned Subspace) para inducir escasez en las escalas de longitud del GP, o utiliza sustitutos conscientes de la química (ej. kernels moleculares) para entradas discretas estructuradas.
   • Restricciones Guiadas por el Usuario (UG-BEACON): El marco permite a los usuarios definir particiones del espacio de resultados para excluir regiones ya exploradas o centrar los esfuerzos de búsqueda en regímenes de interés específicos.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Desarrollo de Algoritmo: Introducción de BEACON, un nuevo algoritmo de NS diseñado específicamente para sistemas de caja negra costosos y con ruido que mejora la alcanzabilidad del espacio de comportamiento con evaluaciones limitadas.
2. Estrategia de Adquisición Novedosa: Una función de adquisición basada en el muestreo de Thompson que opera en un espacio de resultados continuo. Considera la incertidumbre predictiva y el ruido de observación sin requerir la optimización directa sobre una partición de comportamiento discretizada y fija.
3. Escalabilidad: Extensiones a entornos de alta dimensión mediante el uso de priors que inducen escasez y modelado de sustitutos específicos del dominio (ej. grafos moleculares).
4. Validación Empírica: Demostración de la eficacia del algoritmo a través de benchmarks sintéticos, descubrimiento de materiales (MOFs), descubrimiento de propiedades moleculares y tareas de aprendizaje por refuerzo.

Resultados

Los autores evaluaron BEACON frente a varios modelos de referencia, incluyendo la búsqueda de novedad evolutiva (NS-EA), la búsqueda de distancia al área explorada (NS-DEA), el muestreo de varianza máxima y la búsqueda aleatoria.

• Benchmarks Sintéticos: En las funciones Ackley, Rosenbrock y Styblinski-Tang, BEACON alcanzó consistentemente la mayor alcanzabilidad, particularmente en espacios de dimensiones más altas (hasta 12 dimensiones). También superó a los modelos de referencia en un problema multivariante sintético con una distribución de cola larga, cubriendo eficazmente las regiones de baja densidad que otros métodos pasaron por alto.
• Descubrimiento de Materiales: En tareas que involucran la captación de Hidrógeno, la captación de Nitrógeno y la captación conjunta de CO2/CH4 en Redes Metal-Orgánicas (MOFs), BEACON logró la cobertura total del espacio de comportamiento discretizado dentro del presupuesto de evaluación, superando a los modelos de referencia aplicables.
• Descubrimiento Molecular: Para solubilidad en agua, ESOL (solubilidad acuosa con entradas de 2,133 dimensiones) y tareas de LogD, BEACON demostró una cobertura superior. El uso de kernels específicos de la tarea (Tanimoto-fragprint) y los priors SAAS fue crítico para el rendimiento en espacios moleculares de alta dimensión.
• Paisajes Deceptivos: En una tarea de navegación de laberinto de aprendizaje por refuerzo con un paisaje de recompensa engañoso, BEACON fue el único método que resolvió consistentemente la tarea en todas las réplicas, mientras que los métodos impulsados por recompensa (como la Mejora Esperada) y otros modelos de base de novedad fallaron al no poder escapar de trampas locales.
• Descubrimiento Guiado por el Usuario: En tareas con restricciones (descubrimiento de dígitos MNIST y diseño de materiales absorbentes de aceite), UG-BEACON incorporó con éxito las preferencias del usuario para descubrir comportamientos objetivo más rápido que las versiones sin restricciones.

Significado y Reivindicaciones

El artículo afirma que BEACON hace que la exploración impulsada por la novedad sea práctica para dominios donde los enfoques evolutivos tradicionales son demasiado ineficientes en términos de muestreo. Al aprovechar el modelado de sustitutos bayesianos, BEACON puede dirigir las evaluaciones hacia regiones inexploradas del espacio de resultados mientras contabiliza rigurosamente la incertidumbre del modelo y el ruido.

Los autores posicionan a BEACON como una herramienta para entornos de descubrimiento de bajos datos, donde el objetivo científico es la cobertura amplia de propiedades alcanzables en lugar de un único óptimo. Sugieren que este enfoque es particularmente valioso para flujos de trabajo de experimentación autónoma en química y ciencia de materiales, donde el descubrimiento de fenómenos previamente no vistos es tan crítico como la optimización de objetivos conocidos.

El artículo reconoce las limitaciones respecto a los espacios de resultados "afilados" (ej. cambios de fase) donde el modelo sustituto podría suavizar excesivamente los saltos abruptos, señalando que el descubrimiento en tales casos aún puede depender de la exploración amplia o del muestreo por azar si no existe una estructura aprendible. Sin embargo, argumentan que el marco es lo suficientemente flexible como para incorporar estrategias híbridas (ej. inicialización de llenado de espacio) para mitigar estos problemas.