Resumo Técnico: Construção de Harnesses de Agentes para Curadoria Científica a partir de Fontes Multimodais

Definição do Problema

Os fluxos de trabalho de descoberta científica dependem cada vez mais da conversão de literatura não estruturada em registros normalizados e estruturados para análise posterior, particularmente em domínios intensivos em evidências, como a descoberta de fármacos. No entanto, as abordagens automatizadas atuais têm dificuldade com a curadoria científica a partir de fontes multimodais. O desafio central é que as evidências fundamentais estão espalhadas por textos longos, tabelas densas e figuras. Diferente das tarefas padrão de questionamento sobre documentos, a construção de um único registro curado frequentemente exige:

• Raciocínio cross-modal: Vincular intervenções descritas em métodos textuais a resultados reportados em tabelas ou gráficos.
• Normalização: Padronizar endpoints, unidades, valores e contagens de amostras em um esquema alvo.
• Rastreamento de proveniência: Auditar cada valor extraído de volta à evidência específica da fonte.

Benchmarks existentes frequentemente focam em extração leve (ex: detecção de tabelas ou verificação de alegações) ou tarefas de modalidade única, falhando em capturar a complexidade da curadoria de artigos completos para esquemas ricos de nível de produção. Além disso, agentes de fronteira sozinhos exibem fragilidade nesses cenários, recuperando frequentemente metadados de alto nível, mas falhando em atributos quantitativos de alto valor derivados de evidências visuais complexas.

Metodologia: O Beaver Harness

Os autores introduzem o Beaver, um harness de agente projetado para extrair informações estruturadas de artigos científicos preservando a proveniência. Em vez de depender apenas de melhorias no modelo base, o Beaver trata o próprio harness como o objeto de otimização iterativa. O sistema integra três componentes interativos:

1. Ferramental de Evidência Multimodal

O Beaver equipa o agente base com um conjunto de ferramentas auxiliares ($U$) para melhorar o acesso à evidência científica:

• Transformação de Artigo para Markdown: Converte artigos em outlines e arquivos markdown por seção para facilitar a navegação em documentos longos.
• Visualizador de Tabelas Analisadas: Permite que o agente leia dados estruturados de tabelas.
• Sobreposição de Linhas de Grade Calibrada: Uma ferramenta para ler valores quantitativos de gráficos através da sobreposição de linhas de grade, permitindo que o agente recupere dados numéricos precisos de figuras.

2. Estruturação de Tarefas (Task Scaffolding)

Em vez de uma extração de passagem única, o Beaver decompõe a tarefa de curadoria em estágios sequenciais e controláveis ($k \in \{1, \dots, K\}$). Cada estágio prevê uma tabela cumulativa $\hat{Y}^{(k)}$ estendendo os atributos dos estágios anteriores. O fluxo de trabalho para cada estágio inclui:

• Pré-processamento de documentos, tabelas e figuras relevantes.
• Navegação até a evidência candidata.
• Realização de raciocínio multimodal e anotação.
• Extração de valores com traços de proveniência.
• Normalização de entidades e unidades.
• Revisão e refinamento da saída.

Esta decomposição reduz a ambiguidade, estreita o espaço de busca para cada etapa e permite o diagnóstico de falhas localizado por estágio.

3. Pesquisa Autônoma Baseada em Artefatos

O Beaver emprega um loop de otimização de dois níveis (Algoritmo 1) para melhorar iterativamente o harness ($H_t$) usando artefatos persistentes do sistema de arquivos:

• Loop Externo: Avalia o harness atual em um conjunto de desenvolvimento, decompõe o desempenho por estágio e identifica o estágio de menor desempenho ($k^*$).
• Loop Interno: Inicializa um workspace específico do estágio contendo logs, trajetórias e traços de proveniência. Ele propõe patches direcionados (mudanças em scaffolds, ferramentas ou prompts), aplica-os e reexecuta o estágio específico.
• Seleção: Com base nos novos artefatos e métricas de desempenho, a revisão é aceita como o novo melhor harness ou descartada. Este processo garante que as melhorias sejam fundamentadas em evidências e que patches malsucedidos não se acumulem.

Principais Contribuições

1. Um Novo Benchmark: Os autores construíram um benchmark para curadoria científica multimodal de artigos completos usando um corpus profissionalmente curado de 425 artigos do PubMed sobre a doença de Alzheimer. O benchmark apresenta um esquema rico (mais de 400 atributos), dados de referência curados por especialistas e exige extração de longo horizonte através de texto, tabelas e figuras.
2. O Beaver Harness: Uma arquitetura inovadora que combina ferramental multimodal, estruturação de tarefas e pesquisa autônoma baseada em artefatos.
3. Evidência Empírica sobre Design de Harness: O estudo demonstra que, para curadoria científica complexa, a organização do harness do agente é um determinante central de desempenho, muitas vezes superando a escolha do modelo de fronteira base.

Resultados

Experimentos foram conduzidos em um conjunto de 23 artigos completos usando o Gold-Referenced Attribute Score (GRAS), uma medida de concordância ao nível de atributo com registros curados de referência (gold).

• Desempenho: O Beaver alcançou um GRAS de 81,0%, superando os baselines de agentes de fronteira mais fortes (Codex, Claude Code, Copilot CLI, Meta-Harness) em mais de 23 pontos absolutos (ex: o Codex pontuou 58,6%).
• Estudos de Ablação: A remoção de componentes chave degradou significativamente o desempenho:
  • Sem Estruturação de Tarefas (No Task Scaffolding): 60,5% (maior queda, indicando a necessidade de fluxos de trabalho em estágios).
  • Sem Ferramental de Evidência Multimodal: 66,1% (destacando a dificuldade do raciocínio visual bruto).
  • Sem Traços de Proveniência: 70,7% (mostrando que os traços auxiliam o loop de pesquisa autônoma na depuração e refinamento).
• Trade-off Computação-Desempenho: O Beaver situa-se na fronteira de Pareto empírica, alcançando a maior precisão com um orçamento de tokens comparável a outras variantes de pesquisa autônoma. Variantes sem estruturação de tarefas consumiram computação significativa, mas não atingiram desempenho comparável, sugerindo que o esforço de agentes não estruturados é ineficiente.
• Análise ao Nível de Atributo: Os maiores ganhos foram observados em atributos de alto valor que exigem raciocínio cross-modal (ex: endpoint.unit, value, percentchange), confirmando que o harness aborda efetivamente os gargalos específicos da extração multimodal.

Significância e Alegações

O artigo afirma que o design do harness é um determinante central do desempenho do agente para curadoria científica a partir de fontes multimodais. Os autores argumentam que:

• A curadoria científica é uma tarefa de agente de "longo horizonte" que requer navegação de documentos, alinhamento de evidências e auditabilidade, as quais agentes de fronteira padrão não conseguem executar confiavelmente em uma única passagem.
• O harness circundante — especificamente a provisão de ferramentas multimodais, a decomposição de tarefas em estágios e o uso de loops de feedback baseados em artefatos — pode transformar um forte agente base em um sistema de curadoria altamente eficaz.
• A auditabilidade é crítica: a inclusão de traços de proveniência e a capacidade de diagnosticar falhas localizadas por estágio não são apenas recursos opcionais, mas essenciais para a curadoria de agentes responsável, pois erros em registros normalizados podem propagar-se para decisões científicas subsequentes.

O trabalho sugere que as melhorias futuras na IA científica dependerão menos de simplesmente escalar modelos base e mais do desenvolvimento de harnesses especializados e iterativos que possam gerenciar evidências multimodais complexas e se autocorrigir através de diagnóstico fundamentado.