Resumo Técnico: ScientistOne: Rumo à Pesquisa Autônoma de Nível Humano via Cadeia de Evidências

Declaração do Problema

Agentes de pesquisa autônomos avançaram rapidamente em sua capacidade de gerar soluções competitivas e manuscritos com aparência profissional para tarefas complexas de otimização de sistemas. No entanto, existe uma tensão estrutural crítica entre geração e verificação. Os sistemas autônomos atuais operam como pipelines de múltiplos estágios, onde erros introduzidos nos estágios iniciais (por exemplo, revisão de literatura ou geração de hipóteses) são preservados e amplificados nos estágios posteriores (experimentação e redação).

O problema central identificado é uma lacuna de verificabilidade: os protocolos de avaliação existentes avaliam a apresentação superficial (por exemplo, qualidade da escrita, conclusão procedural), mas falham em auditar se afirmações individuais são apoiadas por evidências. Consequentemente, agentes autônomos frequentemente produzem saídas contendo:

• Referências alucinadas: Citações que não correspondem a publicações reais.
• Pontuações irreproduzíveis: Métricas relatadas que não correspondem aos resultados quando reexecutadas em avaliadores canônicos.
• Divergência método-código: Descrições de algoritmos no artigo que diferem fundamentalmente do código submetido.
• Violações de especificação: Soluções que exploram brechas no avaliador em vez de resolver a tarefa subjacente.

Essas falhas decorrem da falta de mecanismos para rastrear afirmações de volta às suas fontes de fundamentação (por exemplo, logs de execução, PDFs recuperados ou artefatos de código).

Metodologia: Cadeia de Evidências (CoE)

Para abordar isso, os autores propõem a Cadeia de Evidências (CoE), um framework de verificabilidade análogo às propriedades ACID em transações de banco de dados. A CoE define que toda afirmação de pesquisa deve ser rastreável, através de uma cadeia registrada de afirmações e evidências de suporte, até uma fonte de fundamentação.

O framework é instanciado através de três contribuições principais:

1. O Padrão CoE

Uma taxonomia de tipos de afirmações (Citação, Numérica, Metodológica, Conclusão) e a estrutura específica de cadeia de evidências exigida para cada uma. Por exemplo, uma afirmação numérica deve rastrear do valor relatado até um log de execução registrado, e uma citação deve rastrear até um PDF recuperado de uma base de dados acadêmica.

2. Sistema ScientistOne

Um sistema de pesquisa autônomo de ponta a ponta projetado para satisfazer a CoE por construção. Seu pipeline consiste em três estágios:

• Estágio 1: Fundamentação em Literatura (Investigador de Problemas): Em vez de depender de memória paramétrica, o sistema recupera até 100 PDFs de texto completo por tópico via APIs acadêmicas (por exemplo, Semantic Scholar), constrói um grafo de citações e produz um resumo de pesquisa estruturado. Isso garante que todas as citações estejam fundamentadas em artefatos recuperados.
• Estágio 2: Descoberta (Ideador & Exploração-Exploração Paralela): O sistema gera abordagens candidatas e as avalia em ramos paralelos. Crucialmente, mantém logs de execução, pontuações e código do solucionador como artefatos estruturados passados para o próximo estágio.
• Estágio 3: Redação do Artigo e Verificação: O Redator de Artigos opera sob o princípio "proveniência antes da prosa". Gera uma narrativa em markdown estruturada onde cada afirmação factual carrega uma tag de evidência inline que a vincula a um artefato específico (linha de log, arquivo de pontuação ou chave de citação). Um Verificador de Afirmações então verifica cada afirmação no rascunho contra sua fonte declarada antes que o LaTeX final seja produzido, sinalizando afirmações sem suporte, citações alucinadas ou discrepâncias numéricas.

3. Auditoria de Integridade CoE

Um protocolo de auditoria post-hoc aplicado uniformemente a qualquer sistema de pesquisa autônomo. Realiza quatro verificações de integridade em artefatos submetidos (artigo, código, bibliografia):

• I1 Verificação de Pontuação: Reexecuta a solução em um avaliador dourado para verificar as pontuações relatadas.
• I2 Violação de Especificação: Detecta se o código explora a lógica do avaliador ou viola regras da tarefa.
• I3 Verificação de Referência: Consulta APIs acadêmicas para verificar a existência e precisão das entradas da bibliografia.
• I4 Alinhamento Método-Código: Usa LLMs para julgar se a descrição do método no artigo reflete fielmente o código submetido.

Configuração Experimental

Os autores avaliaram o ScientistOne e quatro sistemas de base (Sakana AI-Scientist v2, AutoResearchClaw, DeepScientist, AI-Researcher) em 75 artigos (15 por sistema) gerados para cinco tarefas de pesquisa de sistemas de fronteira do benchmark ADRS (Prism, Cloudcast, EPLB, LLM-SQL, TXN). Todos os sistemas foram adaptados para usar o mesmo LLM base (Gemini 3.1 Pro) e orçamentos de recursos idênticos para garantir uma comparação justa.

Principais Resultados

1. Integridade e Verificabilidade

O ScientistOne foi o único sistema a atingir pontuações perfeitas ou quase perfeitas em todas as quatro verificações de integridade:

• Verificação de Pontuação: 12/12 (100%) dos artigos tiveram pontuações que se reproduziram exatamente. As bases variaram de 42% a 92%.
• Verificação de Referência: 0/337 referências alucinadas. As bases exibiram taxas de alucinação de até 21% (DeepScientist).
• Alinhamento Método-Código: 14/15 (93%) artigos alinhados. As bases variaram de 20% a 80%.
• Violações de Especificação: 0/15 violações.

Em contraste, todo sistema de base exibiu pelo menos um modo de falha sistemático. Por exemplo, o DeepScientist alucinou referências em 21% de suas entradas de bibliografia, e o Sakana AI-Scientist v2 frequentemente selecionou pontuações de diferentes estágios de sua árvore de busca, levando a resultados não reproduzíveis.

2. Desempenho de Descoberta de Soluções

O ScientistOne igualou ou superou o desempenho de especialistas humanos em todas as cinco tarefas ADRS.

• Alcançou as melhores pontuações gerais em Cloudcast e EPLB.
• Demonstrou zero referências alucinadas e verificação de pontuação perfeita, provando que manter cadeias estritas de evidências não ocorre à custa da competitividade do solucionador.
• Em uma seleção "Melhor de 3", o ScientistOne alcançou uma classificação geral de 6,6 de um sistema automatizado de revisão por pares (ScholarPeer), superando significativamente as bases.

3. Generalização

O sistema foi testado em seis tarefas adicionais fora do domínio ADRS, incluindo imagem médica, reconhecimento de alta granularidade, percepção 3D e modelagem de linguagem com restrições de parâmetros (Parameter Golf).

• MLE-Bench: O ScientistOne alcançou Medalhas de Ouro em duas tarefas de alta dificuldade (Detecção de Objetos 3D, Tumor Cerebral RSNA) onde uma base (DeepScientist) falhou completamente na Detecção de Objetos 3D.
• Parameter Golf: O ScientistOne alcançou desempenho Estado da Arte (SOTA) (pontuação 1,0600) sob restrições estritas de tamanho, enquanto a base falhou em produzir uma submissão válida devido ao exceder o limite de tamanho.

Significado e Afirmações

O artigo argumenta que o diferenciador para a pesquisa autônoma não é mais apenas a qualidade do código da solução, mas a confiabilidade do resultado da pesquisa.

• A verificabilidade é uma restrição arquitetônica: Os autores afirmam que sistemas projetados para manter cadeias de evidências no momento da produção da afirmação (como o ScientistOne) produzem saídas significativamente mais verificáveis do que aqueles que tentam reconstruir a fundamentação post-factum.
• A "Lacuna de Verificabilidade" é real e mensurável: A auditoria de 75 artigos demonstra que os sistemas autônomos atuais de ponta são propensos a falhas sistemáticas de integridade que são indetectáveis por avaliações de nível superficial.
• CoE como Padrão: O artigo propõe a CoE não apenas como um recurso para um sistema, mas como um padrão para o campo, sugerindo que futuros sistemas de pesquisa autônoma devem ser auditáveis por design para serem considerados confiáveis.

Os autores concluem que, embora desafios permaneçam (por exemplo, verificar afirmações qualitativas ou suporte de citação em domínios abertos), o framework de Cadeia de Evidências fornece um caminho tratável rumo à pesquisa autônoma confiável de nível humano.