AutoDiscovery: Open-ended Scientific Discovery via Bayesian Surprise

Título: AUTODISCOVERY: Descoberta Científica Aberta via Surpresa Bayesiana

1. O Problema

A descoberta científica autônoma (ASD) tradicionalmente opera em um cenário "orientado a objetivos", onde um humano fornece uma pergunta de pesquisa específica e o sistema (geralmente usando Grandes Modelos de Linguagem - LLMs) gera hipóteses para respondê-la. No entanto, a verdadeira aceleração da ciência exige sistemas capazes de descoberta aberta (open-ended), onde a própria IA decide quais perguntas fazer e quais hipóteses explorar, sem intervenção humana contínua.

Os desafios principais identificados são:

• Espaço de Busca Vasto: O espaço de hipóteses possíveis em domínios científicos reais é massivo. Estratégias baseadas apenas em diversidade heurística falham em navegar eficientemente por esse espaço.
• Métricas Subjetivas: Métodos anteriores que usam "LLM como juiz" para medir "interesse" ou "utilidade" sofrem com definições imprecisas e subjetividade humana, resultando em proxies automatizados pouco confiáveis.
• Falta de Critério de Seleção: Como priorizar quais hipóteses testar a seguir para maximizar a descoberta de novos conhecimentos?

2. Metodologia: AUTODISCOVERY

O paper propõe o AUTODISCOVERY, um método que guia a exploração científica usando o conceito de Surpresa Bayesiana (Bayesian Surprise) como função de recompensa.

Conceito Central: Surpresa Bayesiana
A ideia é quantificar a mudança epistêmica (conhecimento) do agente (LLM) ao observar dados experimentais.

• Priori ($P(\theta_H)$): A crença do LLM sobre a veracidade de uma hipótese $H$ antes de ver os dados.
• Posteriori ($P(\theta_H | V_D)$): A crença do LLM após executar o experimento de verificação $V_D$ e observar os resultados.
• Surpresa: É medida pela distância (Divergência de Kullback-Leibler - KL) entre as distribuições de crença anterior e posterior. Uma grande mudança na crença indica uma descoberta "surpreendente".
• Deslocamento de Crença: O sistema foca especificamente em casos onde a expectativa do LLM muda de um lado de um limiar (ex: de "provável" para "improvável"), capturando tanto a direção quanto a magnitude da mudança.

Arquitetura do Agente de Descoberta
O sistema utiliza uma arquitetura multi-agente baseada em LLMs (GPT-4o) que colabora para:

1. Gerador de Hipóteses: Propõe afirmações sobre o mundo.
2. Programador/Executor: Gera e executa código Python para testar a hipótese.
3. Analista/Revisor: Analisa os resultados e refina o experimento se necessário.
4. Agente de Crença: Avalia a veracidade da hipótese antes (priori) e depois (posteriori) dos dados, fornecendo as distribuições necessárias para calcular a surpresa.

Algoritmo de Busca: MCTS com Alargamento Progressivo
Para explorar o espaço de hipóteses de forma eficiente, o AUTODISCOVERY emprega uma Busca em Árvore Monte Carlo (MCTS):

• Seleção: Usa a fórmula UCT (Upper Confidence Bound for Trees) para equilibrar exploração (testar novas áreas) e exploração (aprofundar áreas promissoras).
• Expansão (Alargamento Progressivo): Em vez de gerar todos os filhos possíveis de um nó (o que é intratável), o algoritmo gera dinamicamente novos filhos conforme o nó é visitado, garantindo que o sistema explore múltiplas regiões promissoras antes de se aprofundar excessivamente em uma única.
• Recompensa: A função de recompensa é a Surpresa Bayesiana. Nós que geram grandes mudanças na crença do LLM são priorizados.
• Deduplicação: Um processo de agrupamento hierárquico (HAC) baseado em LLM é usado para identificar e remover hipóteses semanticamente duplicadas.

3. Contribuições Principais

1. Definição Formal de Surpresa: A primeira definição formal de "surpresa" no contexto de descoberta científica autônoma, baseada em princípios bayesianos.
2. Novo Método (AutoDS): Uma abordagem que combina a noção de surpresa bayesiana com MCTS para realizar busca de hipóteses em um cenário aberto (sem objetivo pré-definido).
3. Validação Empírica: Demonstração de que otimizar para a surpresa do LLM é um proxy eficaz para a surpresa humana, superando métricas tradicionais como "interesse" ou "utilidade".

4. Resultados Experimentais

O sistema foi avaliado em 21 conjuntos de dados do mundo real abrangendo biologia, economia, finanças e ciências comportamentais (incluindo benchmarks como DiscoveryBench e BLADE).

• Desempenho vs. Baselines: O AUTODISCOVERY superou significativamente as estratégias de comparação (amostragem repetida, busca linear, busca gananciosa e beam search).
  • Produziu 5% a 29% mais descobertas consideradas surpreendentes pelo próprio agente LLM dentro de um orçamento fixo de experimentos.
  • Mostrou maior eficiência de busca ao longo do tempo, mantendo a capacidade de encontrar novas surpresas, enquanto outros métodos (como busca gananciosa) estagnavam.
• Correlação Humana: Em um estudo com especialistas humanos (PhD/MS em STEM):
  • 67% das descobertas surpreendidas pelo AUTODISCOVERY também foram consideradas surpreendentes pelos humanos.
  • A métrica de "Surpresa Bayesiana" teve a maior correlação com a surpresa humana, superando métricas diretas de "interesse" ou "utilidade" geradas por LLMs.
• Análise de Domínio: O sistema identificou padrões de deslocamento de crença diferentes entre domínios, mostrando que a direção da surpresa (de suportado para não suportado, ou vice-versa) varia conforme o contexto científico.

5. Significado e Conclusão

O AUTODISCOVERY representa um passo importante rumo a sistemas de IA verdadeiramente autônomos para a ciência. Ao substituir a busca por "novidade" ou "diversidade" aleatória por uma medida quantitativa de mudança de crença (surpresa), o sistema consegue navegar de forma mais inteligente pelo espaço de hipóteses.

• Implicação: A "surpresa" do modelo não é apenas um ruído, mas um indicador robusto de descobertas potencialmente impactantes que também ressoam com a intuição humana.
• Futuro: O trabalho sugere que, com guardrails adequados e revisão humana, sistemas como o AUTODISCOVERY podem acelerar significativamente o ciclo de descoberta científica, especialmente em áreas de descoberta orientada a dados.

O código e os dados do projeto estão disponíveis publicamente no repositório do Allen Institute for AI.