🤖 AI

Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models

Este artigo demonstra que a combinação de auto-prompting e consenso entre modelos com grandes modelos de linguagem permite a extração de dados reprodutível e escalável da literatura científica, mantendo a supervisão especializada por meio de uma divisão prática de trabalho.

Autores originais: Valentin Romanov, Monique Bax, Steven Niederer

Publicado 2026-08-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Valentin Romanov, Monique Bax, Steven Niederer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A ciência baseia-se numa vasta biblioteca de descobertas passadas, mas encontrar os factos específicos escondidos dentro desses antigos artigos é um trabalho lento e tedioso. Imagine um investigador que precisa de saber exatamente como uma proteína do músculo cardíaco se comporta sob certas condições. Ele tem de ler dezenas de artigos, alguns escritos há décadas, procurando detalhes minúsculos como temperatura, concentrações químicas e métodos de medição. Estes detalhes estão frequentemente enterrados em textos densos ou espalhados por tabelas, e perder mesmo um deles pode levar a erros em novas investigações. Durante anos, os cientistas esperaram que programas de computador pudessem fazer este trabalho pesado, mas até recentemente, estas ferramentas eram demasiado pouco fiáveis para serem confiadas num trabalho tão delicado. Elas perdiam frequentemente o contexto crucial ou inventavam factos que nunca existiram.

Um novo estudo realizado por investigadores do Imperial College London e da Universidade de Cambridge testa se a última geração de inteligência artificial consegue finalmente resolver este problema. A equipa não se limitou a pedir a um computador para ler um artigo; eles trataram o computador como um assistente de investigação júnior que precisava de treino e supervisão cuidadosos. Estabeleceram uma série de experiências para ver quão bem estes programas consegam extrair dados específicos de artigos científicos, desde tarefas simples onde um humano dava um conjunto claro de instruções, até tarefas complexas onde o computador tinha de encontrar os próprios artigos. O objetivo era mapear exatamente onde estas máquinas têm sucesso e onde ainda precisam de uma mão humana para as guiar.

Os investigadores começaram com um desafio direto: conseguiria um computador extrair números precisos sobre como o cálcio se liga às proteínas cardíacas de dezoito artigos científicos diferentes? Deram a sete dos programas de computador mais avançados um conjunto detalhado de instruções escritas por especialistas e pediram-lhes para encontrar sete peças de informação específicas para cada experiência, tais como o tipo de animal utilizado, a temperatura e os valores químicos. Os resultados foram surpreendentemente fortes. Os melhores programas acertaram nos números mais de noventa e cinco por cento das vezes. De facto, quando os computadores foram solicitados a encontrar apenas os números brutos, foram corretos quase cem por cento das vezes. No entanto, as máquinas tiveram dificuldades quando lhes foi pedido para compreender a história por trás dos números. Elas falharam frequentemente ao identificar exatamente qual a versão da proteína que estava a ser testada ou as condições específicas sob as quais a medição foi feita. Isto mostrou que, embora os computadores fossem excelentes a encontrar dígitos, ainda estavam a aprender a compreender o contexto científico que torna esses dígitos significativos.

Para ver se os computadores podiam fazer melhor sem um humano a escrever as instruções, os investigadores deixaram os programas escreverem os seus próprios guias. Pediram a cada computador para pesquisar as melhores formas de fazer perguntas e, em seguida, criar uma folha de instruções mestra para a tarefa. Os computadores conseguiram criar guias úteis, mas os dados que extraíram utilizando estas instruções autoescritas foram ligeiramente menos precisos do que quando seguiram o plano original do especialista humano. A diferença foi pequena para os principais programas, mas cresceu para outros. Isto sugeriu que, embora os computadores consigam aprender a fazer boas perguntas, um especialista humano ainda sabe melhor como enquadrar as nuances específicas de um problema científico.

A equipa levou os computadores mais longe, pedindo-lhes para atuarem como investigadores autónomos. Neste cenário, os programas tinham de encontrar os artigos científicos relevantes por si mesmos, lê-los e extrair os dados sem qualquer ajuda de um humano para os orientar no caminho certo. Foi aqui que os sistemas bateram numa parede. Mesmo os programas mais avançados perderam mais de metade dos artigos corretos que deveriam ter encontrado. Alguns deles inventaram citações de artigos que não existiam, um problema conhecido como alucinação, enquanto outros simplesmente falharam em localizar as fontes certas. O estudo descobriu que, quando um computador tem de procurar a sua própria informação, torna-se muito menos fiável. É como pedir a um estudante para escrever um relatório mas não lhe dar um cartão de biblioteca; ele pode adivinhar os livros certos, mas é igualmente provável que invente os títulos.

A parte final do estudo analisou como tornar este processo funcional no mundo real. Os investigadores testaram um método onde utilizavam múltiplos computadores para verificar o trabalho uns dos outros. Descobriram que, se um computador cometesse um erro, outro frequentemente o detetava. Ao executar a mesma tarefa cinco vezes e considerar a resposta mais comum, a equipa conseguiu melhorar significamente a precisão. Também descobriram que ter diferentes computadores a trabalhar no mesmo problema era ainda melhor do que ter um único computador a repetir a tarefa cinco vezes. Esta abordagem criou uma rede de segurança onde os computadores podiam sinalizar casos difíceis para revisão humana. O estudo concluiu que a melhor forma de utilizar estas ferramentas não é substituir os cientistas humanos, mas sim criar uma parceria. Neste novo fluxo de trabalho, o computador lida com o trabalho repetitivo de encontrar e extrair dados, enquanto o especialista humano intervém para verificar as partes complicadas e resolver quaisquer divergências entre as máquinas. Esta divisão de tarefas permite que os cientistas processem vastas quantidades de literatura rapidamente sem perder o julgamento cuidadoso que apenas um humano pode fornecer.

Resumo Técnico: Auto-prompting e Consenso entre Modelos para Extração de Dados Reprodutível

Declaração do Problema

Extrair dados matizados e contextualizados de literatura científica não estruturada é um processo que exige muito trabalho e é propenso ao erro humano, erros de cálculo e má interpretação de nuances de pesquisa. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para automação, princípios universais para sua implementação eficaz permanecem subdesenvolvidos. Existe uma lacuna crítica na compreensão de como utilizar LLMs de fronteira acessados via interfaces baseadas em navegador (em oposição a chamadas de API isoladas), que frequentemente incorporam instruções ocultas, mecanismos de recuperação e ferramentas de moderação que alteram o comportamento do modelo. Além disso, os benchmarks existentes muitas vezes falham em abordar a reprodutibilidade da extração entre execuções, a confiabilidade da descoberta autônoma de literatura e os desafios específicos de aplicar diretrizes de relato detalhadas onde os próprios especialistas humanos podem discordar.

Metodologia

Os autores avaliaram quatro fluxos de trabalho escalonados projetados para testar a autonomia e a confiabilidade de sete LLMs de fronteira (GPT-5.5, Opus 4.7/4.8, Gemini 3.1 Pro, Qwen3.7, Kimi K2.6, GLM-5.1/5.2 e DeepSeek v4) em um ambiente baseado em navegador. O estudo utilizou dois estudos de caso primários:

Extração de Afinidade de Troponina C Cardíaca (Benchmark de Verdade Fundamental):
- Corpus: 18 artigos de pesquisa primária (datados da década de 1980) resumidos em Niederer et al. (2006), contendo 39 condições experimentais.
- Tarefa: Extrair sete pontos de dados específicos: espécie, temperatura, preparação da troponina, método de medição, concentração de magnésio e constantes de afinidade ( $K_d$ e $K$ ).
- Fluxos de Trabalho Testados:
  1. Prompt Curado por Especialista: Os modelos receberam um prompt fixo, desenhado por humanos, e os artigos. A extração foi repetida cinco vezes por modelo para avaliar a consistência.
  2. Prompts Autorais (Self-Authored): Os modelos foram instruídos a pesquisar práticas de engenharia de prompt e terminologia de domínio para gerar três prompts candidatos, que foram então agregados em um único "prompt mestre". Este prompt mestre foi testado contra o mesmo corpus.
  3. Pesquisa Profunda Autônoma: Os modelos foram encarregados de localizar independentemente a literatura primária (até 20 artigos anteriores a 2005) e extrair dados sem fontes fornecidas por humanos.
  4. Criação de Dataset Transdisciplinar: Usando diretrizes de Sandoval et al. (2024) sobre o relato de organoides, os modelos geraram prompts mestres para extrair critérios de relato de 10 artigos de organoides cerebrais. Esses outputs foram comparados com avaliações de dois revisores humanos de nível de doutorado (PhD).
Métricas de Avaliação:
- Acurácia: Comparação com um dataset de verdade fundamental corrigido.
- Consistência: Análise de variância entre cinco execuções independentes (medindo "sempre correto", "erro sistemático" e "erro aleatório").
- Detecção de Alucinação: Verificação da existência e precisão das referências citadas.
- Acordo Humano: Medição do alinhamento entre os outputs dos modelos e o consenso de especialistas humanos.

Principais Resultados

1. Prompts Curados por Especialistas e Desempenho dos Modelos

Alta Acurácia com Orientação: Quando fornecidos com prompts de especialistas e artigos fixos, os LLMs de fronteira alcançaram alta acurácia. Os três principais modelos (GPT-5.5, Opus 4.7, Gemini 3.1 Pro) atingiram uma média de 92,6% de acurácia ao longo de cinco execuções. O GPT-5.5 atingiu 95,7%.
Numérico vs. Contextual: Os modelos foram altamente precisos na extração de valores numéricos ( $K$ e $K_d atingiram ~99% de acurácia), mas tiveram dificuldades com campos contextuais que exigem raciocínio mais profundo, como identificar a preparação biológica específica (80,7% de acurácia).
Variabilidade entre Execuções: Execuções únicas foram insuficientes para representar a capacidade do modelo. Apenas 76,4% dos parâmetros estavam corretos em todas as cinco execuções em todos os modelos. Os melhores modelos atingiram 87,7% de consistência em todas as cinco execuções, comparado a 67,9% dos outros.
Detecção de Erros: O consenso de múltiplas execuções de LLM identificou com sucesso erros no dataset original de verdade fundamental, incluindo fatores de conversão incorretos e associações de temperatura.

2. Prompts Autorais (Self-Authored Prompts)

Geração de Prompts: Os modelos puderam gerar prompts mestres que melhoravam seus prompts candidatos individuais. No entanto, esses prompts autorais não igualaram o desempenho do prompt curado pelo especialista humano.
Queda de Desempenho: O uso de prompts mestres autoriais resultou em uma queda na acurácia geral (ex: o GPT-5.5 caiu de 95,6% para 90,3%). O declínio foi mais significativo na interpretação de métodos de medição experimental.
Correlação Fraca: A qualidade de um prompt autoral (pontuado contra uma rubrica) não previu fortemente a acurácia da extração.

3. Pesquisa Profunda Autônoma

Falha na Descoberta de Literatura: Agentes autônomos tiveram dificuldade em localizar a literatura primária correta. Mesmo o agente de melhor desempenho (Opus 4.8) recuperou apenas 53,7% das 19 referências da verdade fundamental.
Alucinações: Dois agentes (Qwen3.7-Plus e GLM-5.2) geraram citações alucinadas (45% e 29% das citações únicas, respectivamente). Outros agentes não produziram alucinações, mas ainda assim perderam partes significativas da literatura alvo.
Qualidade da Extração: Quando os dados foram extraídos desses relatórios autônomos, a acurácia geral contra a verdade fundamental foi baixa (34–39%), embora os valores de afinidade numérica recuperados estivessem frequentemente dentro de um fator de dois da verdade.

4. Consenso entre Modelos e Humano-no-Loop (Human-in-the-Loop)

Desacordo Humano: Os revisores humanos discordaram em 20,9% das avaliações, destacando que a "verdade fundamental" nem sempre é binária.
Consenso de Modelo como Filtro:
- Quando os modelos rodaram cinco vezes, um acordo unânime de 5-0 coincidiu com o consenso humano 93,2% das vezes.
- O acordo caiu para 65,0% quando as execuções dividiram-se em 4-1 e para 55,2% quando em 3-2.
- Votação entre Modelos (Cross-Model Voting): Agregar resultados de diferentes modelos (votação majoritária) gerou maior concordância com revisores humanos (93,3% com cinco modelos) do que repetir o mesmo modelo cinco vezes (89,2%).
Reprodutibilidade: O GPT-5.5 foi o modelo mais reprodutível (92,6% de consistência), enquanto o Gemini 3.1 Pro foi o menos (81,7%), embora o voto majoritário do Gemini ainda se alinhasse bem com os humanos.

Significância e Alegações

O artigo afirma definir uma divisão de trabalho auditável para a curadoria de dados científicos que equilibra a automação com a supervisão especializada. Os autores afirmam que:

A Reprodutibilidade Requer Consenso: Uma única execução de LLM é pouco confiável. A extração reprodutível requer a execução de prompts múltiplas vezes e a utilização do consenso entre modelos para sinalizar casos de incerteza.
O Humano-no-Loop é Essencial para Nuances: Embora os LLMs possam lidar com tarefas de extração fixa com prompts de especialistas, eles têm dificuldade com a descoberta autônoma de literatura e com a interpretação de contextos científicos complexos sem orientação humana.
Framework Prático: O estudo fornece um fluxo de trabalho prático onde especialistas definem o padrão de evidência e as fontes, os modelos realizam extrações repetidas para verificação cruzada, e pesquisadores humanos resolvem casos disputados ou de baixo consenso.
A Interface Importa: O estudo destaca que as interações baseadas em navegador diferem significamente das chamadas de API, e o desempenho varia com atualizações de interface e alocação de computação, necessitando de benchmarking cuidadoso no ambiente específico de uso.

Os autores concluem que esta abordagem oferece uma rota prática para escalar a curadoria de dados científicos sem renunciar à supervisão especializada, permitindo a construção de datasets de alta qualidade mantendo a transparência e a auditabilidade.