Resumo Técnico: Crenças de LLM Informadas por Evidências para Descoberta Científica Contínua

Declaração do Problema

A descoberta científica de horizonte aberto utilizando Grandes Modelos de Linguagem (LLMs) opera frequentemente como um ciclo de longo horizonte de busca de hipóteses e verificação, guiado por um sinal de recompensa. Um exemplo proeminente é o AutoDiscovery, que utiliza o "surpreendimento bayesiano" (Bayesian surprise) — a mudança na crença de um LLM após observar evidências para uma hipótese — como uma métrica de descoberta e uma recompensa para a busca.

Os autores identificam um modo de falha crítico nesta abordagem: o surpreendimento estático (static surprisal). O AutoDiscovery trata as crenças a priori do LLM como estáticas e incondicionais, avaliando cada nova hipótese isoladamente contra o conhecimento paramétrico do modelo. Isso cria um descompasso com o raciocínio científico humano, onde as crenças não são estacionárias e evoluem com a experiência. Consequentemente, o surpreendimento estático:

1. Superestima o progresso: Ele conta hipóteses derivadas (aquelas implícitas por descobertas anteriores) como novas e surpreendentes.
2. Desperdiça o orçamento de busca: Ele direciona repetidamente o agente para regiões saturadas do espaço de hipóteses, levando a "redescobertas" redundantes.

Estudos com especialistas humanos em neurociência e ciências sociais confirmaram esse desalinhamento, revelando que aproximadamente 29,54% e 25% das hipóteses consideradas surpreendentes pelo AutoDiscovery eram substancialmente implícitas por descobertas anteriores em seus respectivos domínios.

Metodologia

O artigo propõe um framework de Crenças de LLM Informadas por Evidências para permitir o surpreendimento não estacionário. A metodologia consiste em dois componentes principais: atualização de crenças a priori e modificação do procedimento de busca.

1. Surpreendimento Não Estacionário via Atualização de Crença em Contexto

Em vez de usar um prior estático $P(\theta_H)$, o sistema computa um prior não estacionário condicionado ao histórico de hipóteses anteriores e seus resultados de verificação: $P(\theta_H | \{(H^{(i)}, V^{(i)}_D)\}_{i=1}^{t-1})$.

Para implementar isso, os autores avaliaram vários mecanismos de Aprendizado em Contexto (ICL) para recuperar e integrar evidências passadas:

• Contexto Completo ($C_{full}$): Injetar todas as descobertas anteriores.
• Recuperação Top-k ($C_{top-k}$): Recuperar as $k$ hipóteses anteriores semanticamente mais similares usando embeddings.
• Memória Estruturada ($C_{mem0}$): Utilizar um sistema de memória baseado em grafos (Mem0).

Resultados: A Recuperação Top-k (RAG) baseada em embeddings com $k=25$ provou ser a mais eficaz. Ela melhor antecipou as crenças posteriores finais, reduzindo o total de surpresas estáticas em 37,43% em média em comparação com o baseline estático. Este método equilibra melhor o desempenho com o custo computacional (uso de tokens) do que o contexto completo ou estruturas de memória complexas.

2. Busca Informada por Evidências

Descobriu-se que simplesmente substituir o prêmio estático pelo surpreendimento não estacionário era insuficiente para redirecionar a trajetória de busca; o agente ainda explorava hipóteses semelhantes. Para abordar isso, os autores introduziram dois mecanismos complementares à etapa de seleção de hipóteses no algoritmo de busca (MCTS com Progressive Widening):

• Filtragem de Atualização de Crença: Antes de selecionar uma hipótese para verificação, o sistema verifica se a hipótese já é bem explicada pelas evidências anteriores. Ele constrói um contexto informado por evidências e elicita um prior atualizado. Se a mudança absoluta entre o prior estático e o prior informado por evidências exceder um limiar ($\kappa = 0,2$), a hipótese é filtrada. Isso evita que o agente desperdice orçamento em hipóteses que não são mais surpreendentes sob o estado de crença atualizado.
• Maximização da Diversidade: O sistema prioriza explicitamente a exploração selecionando candidatos com a menor similaridade semântica em relação às hipóteses previamente verificadas. Isso é calculado usando a distância de cosseno média para os $k$ vizinhos mais próximos de hipóteses anteriores. Este mecanismo garante que a busca explore novas regiões semânticas em vez de apenas evitar duplicatas imediatas.
• Desduplicação Online: Uma camada adicional usando agrupamento hierárquico aglomerativo (HAC) remove candidatos que são semanticamente redundantes com hipóteses já verificadas ou outros candidatos no nó atual, evitando a exploração de quase-duplicatas.

Principais Resultados

O método proposto foi avaliado em cinco domínios de descoberta (NLS-SES, Arqueologia, Evolução de Peixes de Água Doce, Fertilidade, Hipoteca) usando um orçamento de busca de 500 experimentos por execução.

• Surpreendimento Não Estacionário Acumulado: O "Busca Informada por Evidências" completo (combinando filtragem de atualização de crença, maximização de diversidade e desduplicação online) aumentou o surpreendimento não estacionário acumulado em 30,62% em média comparado ao procedimento de busca estática original.
• Comparação com Baselines:
  • O método superou a busca padrão do AutoDiscovery em cerca de 41 surpresas adicionais (ganho de 30,63%).
  • Superou a busca padrão com apenas desduplicação online em cerca de 21 surpresas adicionais (ganho de 13,37%), demonstrando que a filtragem de crença e a maximização da diversidade agregam valor além da simples desduplicação.
  • Simplesmente substituir o prêmio pelo surpreendimento não estacionário sem alterar o mecanismo de seleção não rendeu melhoria significativa, destacando a necessidade de modificações explícitas na busca.
• Diversidade Semântica: O método proposto gerou hipóteses com menor similaridade de cosseno média par a par (0,448–0,452) comparado à busca padrão (0,523–0,527), indicando uma cobertura semântica mais ampla.
• Estudos de Ablação: Remover qualquer componente (maximização de diversidade, filtragem de atualização de crença ou desduplicação online) degradou o desempenho, confirmando que cada mecanismo aborda uma fonte distinta de redundância.

Significância e Alegações

O artigo alega que a descoberta científica contínua com LLMs requer não apenas uma melhor medição de crença, mas também procedimentos de busca que gerenciem ativamente a redundância e incentivem a diversidade.

As principais contribuições incluem:

1. Identificação de um Modo de Falha: Demonstrar que o surpreendimento estático na descoberta contínua leva à recompensa espúria de hipóteses derivadas, validado por especialistas humanos.
2. Surpreendimento Não Estacionário: Introduzir um método para atualizar os priors de LLM com evidências de hipóteses anteriores, mostrando que o RAG baseado em embeddings melhor aproxima os resultados das crenças posteriores.
3. Busca Informada por Evidências: Propor uma estratégia de busca que combina filtragem de atualização de crença e maximização de diversidade, que consegue realocar o orçamento de busca para longe de regiões saturadas em direção a hipóteses genuinamente novas.

Os autores concluem que, para sistemas de descoberta de longo horizonte com LLMs serem eficazes, eles devem revisar continuamente o que conta como "surpreendente" com base no estado epistêmico cumulativo do agente, em vez de depender de um modelo estático do mundo.

Limitações

Os autores reconhecem diversas limitações:

• Qualidade da Elicitação: As estimativas de crença dependem de escolhas de prompting, variância de amostragem e a capacidade do LLM de expressar incerteza.
• Supressão de Revisitas Válidas: O objetivo não estacionário pode suprimir hipóteses que valem a pena ser revisitadas sob evidências mais fortes ou conflitantes.
• Escalabilidade: Os experimentos atuais focam em configurações controladas com orçamentos finitos; escalar para fluxos de trabalho de horizonte aberto requer mecanismos de verificação melhores e soluções de memória de longo prazo além da janela de contexto atual.