Resumen Técnico: BayesEvolve

Planteamiento del Problema

Los sistemas de descubrimiento científico autónomo aprovechan cada vez más los Modelos de Lenguaje de Gran Escala (LLM) para generar y seleccionar hipótesis. Sin embargo, los paradigmas actuales, como los observados en FunSearch y AlphaEvolve, condicionan principalmente las propuestas de los LLM basándose en la memoria experimental. Esta memoria consiste típicamente en archivos de candidatos con altas puntuaciones o resúmenes heurísticos de ensayos recientes.

Los autores argumentan que este enfoque guiado por archivos deja evidencia de forma implícita. Si bien una lista de experimentos pasados indica "qué sucedió", no codifica explícitamente:

1. Lo que el agente cree actualmente sobre las hipótesis no evaluadas.
2. La incertidumbre asociada con esas creencias.
3. Qué experimento sería más informativo a continuación.

Esta limitación conlleva dos costos primarios: el agente no puede razonar sobre la calidad predicha más allá del archivo observado y corre el riesgo de concentrarse excesivamente en los primeros candidatos de élite o de continuar una exploración sin enfoque sin convertir la evidencia en una estrategia de búsqueda dirigida.

Metodología: BayesEvolve

El artículo introduce BayesEvolve, un marco que replantea el descubrimiento autónomo como una evolución del estado de creencia. En lugar de tratar las evaluaciones pasadas como memoria no estructurada, BayesEvolve mantiene un estado de creencia predictivo explícito y consciente de la incertidumbre sobre la calidad de los candidatos.

Componentes Principales

1. Estado de Creencia Explícito:
   En cada paso $t$, el sistema mantiene una creencia posterior $P(y | h, D_t)$ sobre el valor del objetivo $y$ para una hipótesis $h$, dada la historia de evaluación $D_t$. En los experimentos, esto se implementa como una creencia de Proceso Gaussiano (GP):
   $$P(y | h, D_t) = \mathcal{N}(\mu_t(h), \sigma^2_t(h))$$
   donde $\mu_t(h)$ es el objetivo predicho y $\sigma_t(h)$ es la incertidumbre posterior. El marco se señala como agnóstico al modelo sustituto específico o a la representación del candidato.

2. Selección Guiada por la Creencia:
   Para seleccionar el siguiente candidato de un conjunto $C_t$, BayesEvolve utiliza una puntuación consciente de la incertidumbre. Dado que el objetivo es la minimización, la regla de selección combina la media predicha y la incertidumbre:
   $$a_t(h) = -\mu_t(h) + \beta_t \sigma_t(h)$$
   Crucialmente, el coeficiente de incertidumbre $\beta_t$ es recocido (decreciente) a lo largo del tiempo:
   $$\beta_t = \beta_0 \frac{n_0}{t}$$
   donde $n_0$ es el número de evaluaciones de inicialización compartidas. Este diseño fomenta una exploración amplia al principio del proceso y se desplaza hacia la explotación de la media de la creencia a medida que se acumula la evidencia.

3. Flujo de Trabajo:
   El sistema se inicializa con $n_0$ evaluaciones aleatorias. En cada paso subsiguiente, ajusta/actualiza el estado de creencia, construye un conjunto de candidatos (a partir de propuestas de LLM y/o mutaciones del archivo), calcula la puntuación de adquisición para todos los candidatos, selecciona el mejor, lo evalúa y actualiza el historial.

Principales Contribuciones

El artículo describe cuatro contribuciones principales:

• Formulación: Replantea el descubrimiento guiado por LLM como el mantenimiento explícito de un estado de creencia en lugar de depender únicamente de la memoria del archivo.
• Algoritmo: Introduce una regla de selección guiada por la creencia que presenta un bono de incertidumbre recocido que cambia dinámicamente el equilibrio de la exploración a la explotación.
• Evaluación: Evalúa BayesEvolve en tareas de optimización de caja negra de estilo BBOB desplazado, demostrando un rendimiento superior comparado con las líneas base de LLM guiadas por archivo y memoria.
• Análisis: Proporciona evidencia de que el estado de creencia es predictivo para candidatos no evaluados y que el sistema exhibe una concentración productiva en las etapas finales en lugar de una exploración sin enfoque.

Resultados Experimentales

La evaluación se llevó a cabo en cinco funciones de minimización de estilo BBOB desplazado (Sphere, Ellipsoid, Rastrigin, Rosenbrock, Ackley) en dimensión $d=5$. La configuración utilizó un presupuesto fijo de $T=100$ evaluaciones y comparó BayesEvolve contra Random-LLM, Archive-LLM, Memory-LLM y una línea base de GP-BO no basada en LLM.

• Rendimiento: BayesEvolve logró el mejor objetivo normalizado medio durante todo el presupuesto y el mejor rendimiento final a las 100 evaluaciones (0.195 frente a 0.229 para GP-BO y 0.473 para Archive-LLM). Las ganancias fueron más significativas en relación con las líneas base de LLM guiadas por memoria.
• Calidad de la Creencia: La media posterior mostró una fuerte correlación de rango con los valores de los objetivos realizados (Spearman $\rho = 0.774$). Sin embargo, el estado de creencia no estaba perfectamente calibrado, con una cobertura empírica de 0.433 para los intervalos de una sigma.
• Estudios de Ablación:
  • La selección de solo la media ya mejoraba sustancialmente la búsqueda en el archivo, indicando que la media predictiva es el principal motor del rendimiento.
  • Incertidumbre Recocida: Añadir el bono de incertidumbre decreciente produjo la mejor puntuación final, confirmando que la incertidumbre es más útil cuando la exploración se reduce gradualmente.
  • Diversidad: A diferencia de Random-LLM o GP-BO que mantuvieron una alta diversidad durante todo el proceso, BayesEvolve redujo la diversidad en la etapa final mientras lograba el objetivo más bajo. Esto sugiere una "concentración productiva" en lugar de un colapso infructuoso del archivo.

Significancia y Reivindicaciones

El artículo afirma que la evolución explícita del estado de creencia es un principio útil para el descubrimiento científico autónomo. Los resultados respaldan tres afirmaciones específicas:

1. Los estados de creencia explícitos mejoran la eficiencia de muestreo en relación con las líneas base de archivo y de memoria heurística.
2. El estado de creencia aprendido sirve como una herramienta predictiva para los candidatos no evaluados, en lugar de actuar meramente como un artefacto de prompt.
3. Las reglas de decisión importan: si bien la media posterior impulsa la mayoría de las ganancias, un bono de incertidumbre recocido optimiza la transición de la exploración a la explotación.

Limitaciones y Alcance:
Los autores señalan explícitamente que este trabajo es un banco de pruebas controlado utilizando optimización numérica de estilo BBOB desplazado. Todavía no cubre la generación completa de programas o dominios de descubrimiento de laboratorio. Además, el estado de creencia GP, aunque es predictivo, está imperfectamente calibrado, y sus limitaciones de escalabilidad sugieren la necesidad de sustitutos esparcidos o neuronales en futuros trabajos con presupuestos de evaluación más grandes. El análisis de diversidad indica un enfoque en la "concentración productiva", lo que sugiere que trabajos futuros deberían explorar nociones más ricas de diversidad semántica y estructural para espacios de hipótesis complejos.