Resumo Técnico: BayesEvolve

Definição do Problema

Sistemas de descoberta científica autônoma utilizam cada vez mais Modelos de Linguagem de Grande Escala (LLMs) para gerar e selecionar hipóteses. No entanto, os paradigmas atuais, como os observados no FunSearch e no AlphaEvolve, condicionam primariamente as propostas dos LLMs à memória experimental. Esta memória consiste tipicamente em arquivos de candidatos de alto desempenho ou resumos heurísticos de tentativas recentes.

Os autores argumentam que essa abordagem guiada por arquivo deixa evidências de forma implícita. Embora uma lista de experimentos passados indique "o que aconteceu", ela falha em codificar explicitamente:

1. O que o agente acredita atualmente sobre hipóteses não avaliadas.
2. A incerteza associada a essas crenças.
3. Qual experimento seria mais informativo a seguir.

Esta limitação leva a dois custos primários: o agente não consegue raciocinar sobre a qualidade prevista além do arquivo observado e corre o risco de ou se concentrar excessivamente em candidatos de elite iniciais ou continuar uma exploração sem foco sem converter evidência em uma estratégia de busca direcionada.

Metodologia: BayesEvolve

O artigo introduz o BayesEvolve, um framework que reformula a descoberta autônoma como a evolução do estado de crença. Em vez de tratar avaliações passadas como memória não estruturada, o BayesEvolve mantém um estado de crença preditivo explícito e consciente da incerteza sobre a qualidade dos candidatos.

Componentes Principidos

1. Estado de Crença Explícito:
   Em cada etapa $t$, o sistema mantém uma crença posterior $P(y | h, D_t)$ sobre o valor do objetivo $y$ para uma hipótese $h$, dada a história de avaliação $D_t$. Nos experimentos, isso é implementado como uma posterior de Processo Gaussiano (GP):
   $$P(y | h, D_t) = \mathcal{N}(\mu_t(h), \sigma^2_t(h))$$
   onde $\mu_t(h)$ é o objetivo previsto e $\sigma_t(h)$ é a incerteza posterior. O framework é observado como agnóstico ao modelo substituto (surrogate) específico ou à representação do candidato.

2. Seleção Guiada pela Crença:
   Para selecionar o próximo candidato de um conjunto $C_t$, o BayesEvolve utiliza uma pontuação consciente da incerteza. Como o objetivo é a minimização, a regra de seleção combina a média prevista e a incerteza:
   $$a_t(h) = -\mu_t(h) + \beta_t \sigma_t(h)$$
   Crucialmente, o coeficiente de incerteza $\beta_t$ é anidado (decaído) ao longo do tempo:
   $$\beta_t = \beta_0 \frac{n_0}{t}$$
   onde $n_0$ é o número de avaliações de inicialização compartilhadas. Este design incentiva uma exploração ampla no início do processo e muda para a explotação da média da crença conforme a evidência se acumula.

3. Fluxo de Trabalho:
   O sistema inicia com $n_0$ avaliações aleatórias. Em cada etapa subsequente, ele ajusta/atualiza o estado de crença, constrói um conjunto de candidatos (a partir de propostas de LLM e/ou mutações de arquivo), computa a pontuação de aquisição para todos os candidatos, seleciona o melhor, o avalia e atualiza o histórico.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

• Formulação: Reformula a descoberta guiada por LLM como manutenção explícita de estado de crença, em vez de depender apenas de memória de arquivo.
• Algoritmo: Introduz uma regra de seleção guiada pela crença que apresenta um bônus de incerteza anidado que altera dinamicamente o equilíbrio entre exploração e explotação.
• Avaliação: Avalia o BayesEvolve em tarefas de otimização de caixa-preta do tipo BBOB deslocadas, demonstrando desempenho superior em comparação com baselines de LLM guiados por arquivo e memória.
• Análise: Fornece evidências de que o estado de crença é preditivo em candidatos retidos (held-out) e que o sistema exibe uma concentração produtiva de estágio tardio em vez de exploração sem foco.

Resultados Experimentais

A avaliação foi conduzida em cinco funções de minimização do tipo BBOB deslocadas (Sphere, Ellipsoid, Rastrigin, Rosenbrock, Ackley) na dimensão $d=5$. A configuração utilizou um orçamento fixo de $T=100$ avaliações e comparou o BayesEvolve contra Random-LLM, Archive-LLM, Memory-LLM e um baseline de GP-BO não-LLM.

• Desempenho: O BayesEvolve alcançou o melhor objetivo normalizado médio durante todo o orçamento e o melhor desempenho final em 100 avaliações (0,195 vs. 0,229 para GP-BO e 0,473 para Archive-LLM). Os ganhos foram mais significativos em relação aos baselines de LLM guiados por memória.
• Qualidade da Crença: A média posterior apresentou forte correlação de ranking com os valores de objetivo realizados (Spearman $\rho = 0,774$). No entanto, o estado de crença não estava perfeitamente calibrado, com cobertura empírica de 0,433 para intervalos de um sigma.
• Estudos de Ablação:
  • A seleção baseada apenas na média já melhorou substancialmente a busca em arquivo, indicando que a média preditiva é o principal motor de desempenho.
  • Incerteza Anidada: Adicionar o bônus de incerteza decrescente resultou no melhor escore final, confirmando que a incerteza é mais útil quando a exploração é reduzida gradualmente.
  • Diversidade: Ao contrário do Random-LLM ou GP-BO que mantiveram alta diversidade ao longo do tempo, o BayesEvolve reduziu a diversidade no estágio tardio enquanto alcançava o menor objetivo. Isso sugere uma "concentração produtiva" em vez de um colapso de arquivo improdutivo.

Significância e Alegações

O artigo afirma que a evolução explícita do estado de crença é um princípio útil para a descoberta científica autônoma. Os resultados apoiam três alegações específicas:

1. Estados de crença explícitos melhoram a eficiência de amostragem em relação aos baselines de arquivo e memória heurística.
2. O estado de crença aprendido serve como uma ferramenta preditiva para candidatos retidos, em vez de atuar meramente como um artefato de prompt.
3. Regras de decisão importam: embora a média posterior impulsione a maioria dos ganhos, um bônus de incerteza anidado otimiza a transição da exploração para a explotação.

Limitações e Escopo:
Os autores observam explicitamente que o trabalho atual é um teste controlado usando otimização numérica do tipo BBOB deslocada. Ele ainda não cobre geração de programas completos ou domínios de descoberta laboratorial. Além disso, o estado de crença GP, embora preditivo, é imperfeitamente calibrado, e suas limitações de escala sugerem a necessidade de substitutos (surrogates) esparsos ou neurais em trabalhos futuros com orçamentos de avaliação maiores. A análise de diversidade indica um foco em "concentração produtiva", sugerindo que trabalhos futuros devem explorar noções mais ricas de diversidade semântica e estrutural para espaços de hipóteses complexos.