🔬 materials science

Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

Este artigo apresenta o Protocolo de Evolução de Hipóteses (HEP), um framework que equipa agentes de modelos de linguagem de grande escala com operações explícitas e auditáveis para geração de hipóteses, testes e revisão de crenças, permitindo, assim, uma descoberta científica impulsionada por IA transparente e verificável.

Autores originais: Izumi Takahara, Teruyasu Mizoguchi

Publicado 2026-07-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Izumi Takahara, Teruyasu Mizoguchi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você contratou um robô detetive superinteligente para resolver um mistério sobre por que certos materiais formam formas de cristal específicas. No passado, esses robôs detetives (chamados de agentes LLM) saíam por aí, tentavam coisas e rabiscavam seus pensamentos em um caderno bagunçado e desorganizado. Se você perguntasse a eles, "Por que você pensou isso?" ou "Como você mudou de ideia?", eles apenas apontariam para uma página de texto confusa. Era impossível dizer se eles estavam realmente aprendendo com seus erros ou se estavam apenas adivinhando loucamente.

Os autores deste artigo dizem: "Isso não é bom o suficiente para a ciência real". Então, eles construíram um novo conjunto de regras chamado Protocolo de Evolução de Hipóteses (HEP). Pense no HEP não como um caderno, mas como um tribunal rigoroso e transparente onde o robô detetive deve apresentar seu caso.

O Jeito Antigo vs. O Novo Tribunal

Na abordagem antiga (do tipo "planejamento"), o robô simplesmente pulava de "Eu tenho uma ideia" para "Vamos testar isso" para "Aqui está o resultado", sem nunca declarar claramente: "Eu agora acredito que esta ideia é 80% verdadeira por causa deste teste específico". Era como um detetive que resolve um caso, mas se recusa a mostrar o registro de evidências.

Com o HEP, cada ideia que o robô tem é tratada como um personagem persistente em uma história.

O Nascimento: Quando o robô tem uma nova ideia (uma hipótese), ele recebe um cartão de identidade exclusivo e uma "pontuação de crença" (uma probabilidade de 0 a 1) mostrando o quão certo o robô está.
O Julgamento: O robô realiza testes. Se os resultados dos testes forem bons, eles são anexados à ideia como evidências em um arquivo.
O Veredito: A pontuação de crença da ideia sobe ou desce baseada apenas nessa evidência.
- Se a pontuação atingir 0,8 ou mais, a ideia é declarada "Suportada" (Culpada de ser verdadeira!).
- Se cair para 0,2 ou menos, ela é "Refutada" (Inocente, ou simplesmente errada).
- Se ficar travada no meio, ela entra em estado "Dormente" (Dormindo até que uma nova evidência a acorde).

A parte mais legal? O robô não pode trapacear. Ele não pode apenas dizer: "Eu mudei de ideia porque me senti assim". Ele tem que mostrar a peça específica de evidência que moveu a pontuação. E se o robô tentar pular uma etapa, o sistema diz: "Não, tente novamente".

O Que o Robô Realmente Fez

Os pesquisadores testaram este novo sistema em três enigmas difíceis de ciência dos materiais. Eles pediram ao robô para descobrir qual estrutura de cristal um modelo computacional específico preferia para diferentes famílias de compostos e por quê.

Aqui está o que aconteceu nessas simulações:

O Robô Aprendeu: O robô equipado com HEP não apenas adivinhou; ele realmente passou por todo o ciclo de "Ideia → Teste → Evidência → Atualização de Crença". Em uma execução específica, ele gerou 16 ideias diferentes, testou-as e acabou fundindo-as em uma única "regra mestra" com uma pontuação de crença de 0,97.
O Robô Antigo Falhou: Quando rodaram as mesmas tarefas com um robô padrão (sem o HEP), ele passou 83% do tempo apenas realizando testes e 0% do tempo atualizando explicitamente suas crenças. Ele nunca "aprendeu" de verdade de uma forma que pudesse ser rastreada.
O Outro Lado da Moeda: O robô foi honesto o suficiente para mudar de ideia. Em um caso, ele começou com 50% de crença em uma ideia de livro didático, mas a evidência provou que ela estava errada, fazendo a pontuação cair para 0,14. Ele então pivotou para uma nova ideia melhor. Essa "mudança de crença" aconteceu em todos os três casos.

O Requisito de "Poder Cerebral"

Há um porém: este novo sistema de tribunal funciona melhor se o robô tiver um cérebro grande. Os pesquisadores testaram o HEP com três versões diferentes do "cérebro" do robô (LLMs):

O Super Cérebro (GPT-5.5): Gerou uma média de 14,7 ideias por execução e atingiu uma profundidade de 4,7 níveis, refinando e fundindo ideias como um profissional.
O Cérebro Médio (GPT-5.4-mini): Gerou apenas 6,7 ideias em média e ficou preso em uma profundidade de 1,7.
O Cérebro Pequeno (GPT-4.1): Gerou apenas 4,0 ideias e uma profundidade de 0,7. Frequentamente desistia, deixando ideias "abertas" e não resolvidas.

Isso sugere que, embora as regras (HEP) sejam ótimas, o robô ainda precisa ser inteligente o suficiente para segui-las. Um robô menos capaz simplesmente não consegue lidar com o trabalho complexo de refinar e fundir ideias ao longo do tempo.

A Conclusão

Este artigo não afirma ter resolvido toda a ciência ou criado um robô que possa substituir cientistas humanos. Em vez disso, mostra que, ao forçar agentes de IA a manter um registro estrito e auditável de suas ideias e evidências, podemos finalmente ver como eles pensam.

Nestas simulações, o sistema HEP transformou um robô de "caixa preta" em um robô transparente que podia rastrear seu próprio raciocínio, mudar de ideia com base em dados e construir um caso sólido para sua resposta final. É um passo em direção a cientistas de IA que podemos realmente confiar, inspecionar e aprender, em vez de apenas aceitar o que eles dizem.

Resumo Técnico: Rumo a Cientistas de IA Auditáveis via o Protocolo de Evolução de Hipóteses

Declaração do Problema

Embora agentes de Grandes Modelos de Linguagem (LLMs) mostrem promessa na descoberta científica autônoma, as implementações atuais carecem de estruturas de raciocínio científico rigorosas. Os agentes existentes tipicamente automatizam fluxos de trabalho predefinidos ou otimizam em direção a objetivos externos, mas falham em gerenciar explicitamente o ciclo central da investigação científica: propor hipóteses, testá-las, reunir evidências e atualizar crenças. Nos sistemas atuais, esses processos estão enterrados em logs não estruturados ou estados internos implícitos. Consequentemente, nem o agente nem os pesquisadores humanos podem rastrear facilmente quais hipóteses foram consideradas, como a evidência influenciou as atualizações de crença ou como as conclusões foram alcançadas. Análises recentes indicam que, em muitos rastros de agentes, a evidência é ignorada e as crenças raramente são revisadas após uma refutação. Sem um registro explícito e auditável do ciclo hipótese–teste–evidência–crença, a solidez científica das conclusões de um agente não pode ser verificada, nem o agente pode construir sistematicamente sobre suas próprias hipóteses ou aposentá-las ao longo de longos horizontes de pesquisa.

Metodologia: O Protocolo de Evolução de Hipóteses (HEP)

Para abordar essas limitações, os autores propõem o Protocolo de Evolução de Hipóteses (HEP), um suporte para agentes que externaliza o raciocínio científico em operações explícitas e auditáveis. O HEP consiste em dois componentes primários:

Registro HEP: Um repositório de origem de eventos (event-sourced) de apenas adição (append-only), onde cada hipótese é um objeto persistente identificado por um ID único. Cada objeto contém:
- Uma afirmação em linguagem natural.
- Uma probabilidade de crença $P(H)$ representando a confiança do agente.
- Um estado de ciclo de vida (proposta, sob_teste, suportada, refutada ou dormente).
- Um registro de proveniência (linhagem e mecanismo de geração).
- Um log de eventos de apenas adição rastreando todas as atualizações de crença, anexos de evidência e transições de estado.
Ferramentas HEP: Um conjunto de interfaces que mede a interação do agente com o Registro, categorizadas em:
- Propor & Evoluir: Inclui propose_hypothesis (propor hipótese), refine_hypothesis (refinar hipótese) e merge_hypotheses (mesclar hipóteses). As hipóteses são geradas via quatro mecanismos: de-novo, inspirada-por (apenas proveniência), refinar e mesclar.
- Testar & Julgar: Inclui attach_evidence (anexar evidência) e transition_hypothesis (transicionar hipótese). As atualizações de crença são disciplinadas por portões de validação; apenas evidências consideradas confiáveis atualizam a crença. Os vereditos (suportada/refutada) são impostos por transições de limiar ( $P(H) \ge 0,8$ para suportada, $P(H) \le 0,2$ para refutada).
- Ler: Inclui list_hypotheses (listar hipóteses) e get_hypothesis (obter hipótese) para consulta ao registro.

O protocolo força o agente a operar dentro de um ciclo estruturado de Hipótese–Teste–Evidência–Crença. As crenças são elicitadas pelo agente com justificativas escritas em vez de computadas algoritmicamente, mas o protocolo impõe que as mudanças de crença devem estar ancoradas a evidências específicas e validadas.

Configuração Experimental

Os autores avaliaram o HEP em três tarefas de pesquisa em ciência dos materiais envolvendo questões abertas sobre preferências de estrutura cristalina para famílias específicas de compostos usando um potencial interatômico aprendido por máquina (MLIP) fixo:

Tarefa AO2: Seleção de polimorfos em dióxidos AO2.
Tarefa A2BB'O6: Ordenação de cátions no sítio B em perovskitas duplas.
Tarefa MX: Seleção de protótipo em monocalcogenetos e monopnictetos de metais de transição.

Os experimentos utilizaram um LLM base (GPT-5.5) equipado com ferramentas computacionais (relaxamento de estrutura, dinâmica molecular, consultas a bancos de dados) e o suporte HEP. As comparações foram feitas contra um agente padrão de "estilo de planejamento" (planejar–executar–replanejar) sem o suporte HEP. Adicionalmente, a escalabilidade do HEP foi testada usando três LLMs de capacidades variadas (GPT-5.5, GPT-5.4-mini, GPT-4.1).

Principais Resultados

1. Operação do Ciclo Científico

Em uma única execução de pesquisa na Tarefa AO2, o agente equipado com HEP gerou 16 hipóteses, exercendo todos os quatro mecanismos de geração. Cada hipótese foi eventualmente transicionada para um estado terminal (suportada, refutada ou dormente). O agente executou com sucesso o ciclo completo:

Rastreabilidade: A árvore de hipóteses permitiu o rastreamento de relações pai-filho e mecanismos de geração.
Evolução de Crença: Os trajetórios de crença mostraram que as mudanças estavam estritamente ligadas a evidências validadas. As hipóteses cruzaram os limiares de suporte ou refutação apenas após acumular evidência suficiente, com "inversões de crença" (ex: uma hipótese proposta com baixa confiança tornando-se suportada) ocorrendo com base nos dados.
Comparação com Agentes de Planejamento: Um agente de estilo de planejamento com o mesmo LLM base gastou 83% de seus passos em testes e 0% em atualizações explícitas de crença. Ele falhou em externalizar crenças ou atualizá-las sistematicamente contra evidências. Em contraste, o agente HEP exibiu um fluxo de transição claro (Hipótese $\to$ Teste $\to$ Evidência $\to$ Crença $\to$ Julgamento $\to$ Atualização), demonstrando que o HEP impõe o ciclo científico que o planejamento sozinho não impõe.

2. Generalização entre Questões de Pesquisa

Aplicado às Tarefas A2BB'O6 e MX, o HEP demonstrou robustez:

O agente gerou de 10 a 20 hipóteses por tarefa com profundidades de geração de 3 a 5.
Todas as hipóteses atingiram uma disposição terminal; nenhuma ficou sem resolução.
Regras governantes finais foram derivadas com alta confiança (ex: $P(H) = 0,97$ para AO2). Essas regras foram verificadas prevendo estruturas para composições não vistas.
O protocolo revelou como refutações específicas (ex: de um mecanismo Jahn–Teller de livro texto) redirecionaram a busca para as exceções eletrônicas corretas, um histórico diretamente legível dos logs do registro.

3. Escalonamento com a Capacidade do LLM Base

A eficácia do HEP mostrou ser dependente das capacidades de raciocínio do LLM subjacente:

GPT-5.5: Gerou o maior número de hipóteses (média de 14,7), utilizou todos os mecanismos de geração (incluindo mesclagens complexas) e resolveu todas as hipóteses.
GPT-5.4-mini: Gerou menos hipóteses (média de 6,7) e deixou 36% sem resolução.
GPT-4.1: Gerou o menor número de hipóteses (média de 4,0), dependeu fortemente de propostas de-novo (62%) e falhou em evoluir hipóteses através de refinamento ou mesclagem. Em uma execução, abandonou todas as hipóteses sem anexar evidências.
Conclusão: Embora todos os LLMs testados pudessem operar as ferramentas individuais do HEP, apenas os modelos mais capazes puderam explorar plenamente a evolução iterativa e a gestão de linhagem do protocolo.

Significância e Alegações

O artigo alega que o HEP representa um passo em direção a cientistas de IA auditáveis. Sua principal significância reside em:

Externalização do Raciocínio: Transforma o ciclo hipótese–teste–evidência–crença de processos implícitos e não estruturados em registros explícitos, persistentes e verificáveis.
Disciplina e Verificação: Ao impor limiares de crença e validação de evidência, o HEP garante que as conclusões de um agente estejam fundamentadas em uma trilha de auditoria rastreável, permitindo que pesquisadores humanos inspecionem, verifiquem e construam sobre o raciocínio científico do agente.
Complementaridade: Os autores enfatizam que o HEP não substitui a capacidade de raciocínio do LLM base. Em vez disso, o suporte e a capacidade são complementares: o suporte determina se o raciocínio é externalizado e verificável, enquanto a capacidade do LLM determina o quão plenamente esse raciocínio é explorado.

O trabalho conclui que, à medida que os LLMs base avançam, suportes como o HEP serão essenciais para converter o poder computacional bruto em descoberta científica confiável e inspecionável. O trabalho futuro sugerido inclui a introdução de agentes auditores independentes para validação de evidências e equipar agentes com ferramentas de primeiros princípios (ex: DFT) para uma validação de evidência mais rigorosa.