Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems Using Automated Multi-Model Review

Resumo Técnico: Avaliação de Desempenho de Sistemas de Geração de Pesquisa Autônoma

Declaração do Problema
A rápida proliferação de sistemas "AI Scientist" — pipelines autônomos capazes de gerar artigos de pesquisa a partir de propostas de problemas com o mínimo de supervisão humana — superou o desenvolvimento de metodologias de avaliação rigorosas. Embora sistemas como The AI Scientist, CycleResearcher e Data-to-Paper prometam democratizar e acelerar a descoberta científica, não há um framework padronizado para comparar a qualidade de seus resultados. A revisão por pares humana tradicional é proibitivamente cara em escala, e os métodos de avaliação automatizados existentes têm dificuldade em avaliar a natureza multidimensional da pesquisa científica (originalidade, rigor, clareza e significância) através de diversos frameworks. Este estudo aborda a lacuna crítica na avaliação sistemática desses sistemas autônomos para determinar quais arquiteturas produzem pesquisas mais próximas dos padrões de qualidade estabelecidos.

Metodologia
Os autores conduziram um estudo de benchmarking comparativo rigoroso e de ponta a ponta envolvendo quatro principais frameworks de cientista de IA autônomo:

1. Sakana AI (v1 & v2): Pipelines de ponta a ponta que utilizam execução sequencial linear (v1) e busca em árvore agêntica com feedback de linguagem e visão (v2).
2. CycleResearcher: Um framework iterativo que integra um Agente Pesquisador e um Agente Revisor, treinado via aprendizado por reforço em conjuntos de dados de revisão por pares.
3. Data-to-Paper: Um fluxo de trabalho centrado em dados que aceita conjuntos de dados empíricos como entrada para gerar hipóteses e manuscritos.
4. FARS (Fully Automated Research System): Um sistema multiagente que serve como a referência de benchmark, utilizando agentes especializados para ideação, planejamento, experimentação (com acesso a 160 GPUs NVIDIA) e escrita.

Protocolo Experimental:

• Padronização de Entrada: Todos os sistemas foram avaliados em um conjunto consistente de 15 propostas de pesquisa do dataset FARS. Para acomodar os requisitos distintos de entrada do Data-to-Paper (que requer conjuntos de dados em vez de especificações de problemas), wrappers customizados foram desenvolvidos para extrair e pré-processar os conjuntos de dados empíricos associados de repositórios do GitHub.
• Geração de Saída: Cada framework gerou artigos para as 15 propostas. O Sakana v1 e v2 geraram múltiplas ideias por proposta, que foram posteriormente mescladas em artigos consolidados únicos usando um sistema de reconciliação baseado em LLM. Isso resultou em 60 artigos dos quatro frameworks, além de 15 artigos de benchmark do FARS (75 no total).
• Avaliação Automatizada: Os autores empregaram um framework de avaliação multi-modelo utilizando três LLMs de fronteira como revisores independentes: GPT-5.4, Gemini 3.1 Pro e Claude Opus 4.6.
• Dimensões de Avaliação: Os artigos foram pontuados em uma escala de 1 a 5 em quatro dimensões principais: Originalidade (novidade das contribuições), Rigor Científico (solidez metodológica), Clareza (qualidade da exposição) e Significância (potencial de impacto). Uma pontuação de síntese também foi computada.

Principais Resultados

1. Lacuna de Desempenho: Os artigos de benchmark do FARS superaram significativamente todos os frameworks concorrentes. O FARS alcançou pontuações médias de síntese de 2,14–2,47 (em uma escala de 1–5) entre os três modelos revisores. Em contraste, os sistemas concorrentes pontuaram entre 1,00 e 1,87. Notavelmente, as pontuações do FARS foram mais de 2× superiores aos sistemas subsequentes nos modelos Gemini e Claude.
2. Consistência dos Revisores: Houve forte concordância entre os revisores Gemini e Claude (correlação de Spearman $\rho = 0,907, p < 0,001$), e ambos correlacionaram-se extremamente fortemente com a pontuação de síntese ($\rho = 0,961$). No entanto, o GPT-5.4 exibiu menor concordância ($\rho \approx 0,32$) com os outros revisores, sugerindo que utiliza critérios de avaliação diferentes.
3. Análise Dimensional: O FARS demonstrou desempenho superior em todas as dimensões, particularmente em Clareza (2,87 vs. 1,60 para o melhor concorrente, CycleResearcher). Um estudo de caso sobre "Avaliação de Web-Agent" (Proposta FA0006) destacou que o FARS operacionalizou metodologias concretas, enquanto os concorrentes produziram artigos com "metodologia subdesenvolvida" ou "falhas conceituais graves".
4. Trade-off Eficiência vs. Qualidade: Embora o FARS tenha sido o de maior qualidade, ele não foi incluído na comparação de custos, pois foi pré-gerado. Entre os frameworks concorrentes, o CycleResearcher foi o mais rápido (10 minutos/artigo), mas teve pontuações de qualidade mais baixas. O Data-to-Paper foi o mais econômico ($9/artigo), enquanto o Sakana v2 foi o mais lento e caro ($26/artigo). O estudo descobriu que sistemas mais rápidos e baratos sistematicamente apresentaram desempenho inferior na qualidade do artigo.

Principais Contribuições

• Primeiro Benchmark Rigoroso: Este artigo apresenta o primeiro benchmark quantitativo comparativo dos principais sistemas de cientista de IA, avaliando quatro frameworks líderes em propostas de pesquisa idênticas contra um padrão de referência de alta qualidade.
• Framework de Avaliação Escalável: Os autores introduzem um framework de avaliação por LLM multi-modelo prático que avalia artigos de pesquisa em quatro dimensões principais, fornecendo tanto pontuações quantitativas quanto feedback qualitativo dentro de 15–30 minutos por artigo.
• Evidência Quantitativa de Lacunas: O estudo fornece evidência empírica de que os atuais frameworks concorrentes (Sakana, CycleResearcher, Data-to-Paper) estão significativamente atrás do benchmark FARS, com lacunas de desempenho que excedem 2× em métricas chave.
• Validação de Revisão Automatizada: A forte correlação entre revisores de LLM independentes (Gemini e Claude) valida a confiabilidade da avaliação automatizada para avaliar a qualidade da pesquisa autônoma, oferecendo uma alternativa escalável à revisão por pares humana.

Significância
O artigo estabelece um benchmark fundamental para o campo da descoberta científica autônoma. Ao demonstrar que os atuais frameworks de cientista de IA produzem resultados que são substancialmente inferiores em qualidade a um sistema de referência multiagente maduro (FARS), o estudo destaca as limitações atuais da pesquisa totalmente autônoma. Os resultados sugerem que, embora esses sistemas mostrem promessa, eles ainda não estão prontos para gerar pesquisas de qualidade de publicação sem supervisão humana substancial. Além disso, a validação da avaliação por múltiplos modelos de LLM fornece uma ferramenta necessária para o aprimoramento iterativo desses sistemas, permitindo que desenvolvedores identifiquem sistematicamente fraquezas e refinem arquiteturas. O trabalho enfatiza o trade-off crítico entre eficiência computacional e qualidade de pesquisa, informando decisões futuras de implantação em ambientes com restrição de recursos.