Resumo Técnico: MLReplicate: Avaliação de Sistemas de Pesquisa Autônomos para Reprodutibilidade em Aprendizado de Máquina

Declaração do Problema

Embora sistemas de pesquisa autônomos capazes de gerar manuscritos científicos completos tenham avançado rapidamente, frameworks de avaliação robustos e realistas não acompanharam esse ritmo. Os benchmarks existentes geralmente abordam etapas isoladas do ciclo de vida da pesquisa — como geração de ideias, execução experimental ou reprodução de código — em vez de todo o pipeline de ponta a ponta. Além disso, as avaliações atuais frequentemente dependem de juízes baseados em Modelos de Linguagem de Grande Escala (LLMs), cujo alinhamento com o julgamento de especialistas humanos é pouco compreendido, tornando difícil distinguir contribuições científicas genuínas de outputs plausíveis, porém superficiais. Adicionalmente, virtualmente todos os benchmarks existentes avaliam a qualidade do output isoladamente de fatores práticos de implantação, como custo computacional, tempo de execução e o grau de intervenção humana necessária, que são críticos para determinar a viabilidade no mundo real.

Metodologia

Para abordar essas lacunas, os autores introduzem o MLReplicate, um benchmark de ponta a ponta projetado para avaliar sistemas de pesquisa autônomos na reprodutibilidade em aprendizado de máquina.

Construção do Conjunto de Dados

O benchmark é construído a partir de 8 artigos destacados do ICML 2025 abrangendo diversos subcampos (aprendizado profundo, modelagem probabilística, modelos generativos, justiça e meta-ciência). Cada artigo é reformulado em uma "especificação de verdade fundamental" padronizada, abstraindo o manuscrito original em um conjunto de hipóteses, desenhos experimentais, métricas de avaliação e descobertas-chave. Essa especificação serve como entrada canônica para todos os sistemas a jusante, garantindo restrições idênticas enquanto omite intencionalmente escolhas de design implícitas para espelhar condições de pesquisa do mundo real onde a informação é frequentemente incompleta.

Sistemas Avaliados

Seis sistemas de pesquisa autônomos de última geração foram avaliados, produzindo um total de 45 manuscritos gerados:

1. AI SCIENTIST-V1 (Fluxo de trabalho sequencial)
2. AI SCIENTIST-V2 (Busca em árvore agêntica)
3. AGENT LABORATORY (Multiagente com feedback humano opcional)
4. CYCLERESEARCHER (LLMs ajustados finamente focados em escrita e revisão)
5. AI RESEARCHER (Framework agêntico unificado)
6. TINY SCIENTIST (Fluxo de trabalho sequencial)

Protocolo de Avaliação

A avaliação emprega uma abordagem de duplo protocolo:

1. Revisão Automatizada Estilo Conferência: As 37 submissões válidas (após filtrar 3 experimentos falhos e 8 artigos rejeitados na mesa por comprimento insuficiente) foram avaliadas por três modelos de revisão automatizada (DeepReviewer, ZGCA e SafeReviewer) através do pipeline da 1ª Conferência Internacional sobre Cientistas de IA (ICAIS 2025).
2. Avaliação Humana Estruturada por Especialistas: Os 10 artigos aceitos pelo pipeline automatizado passaram por revisão independente por três especialistas humanos com experiência em pesquisa de ML de nível de pós-graduação. Os revisores avaliaram seis dimensões (qualidade técnica, clareza, significância, originalidade, formatação, relevância de citações) em uma escala de 4 pontos, forneceram julgamentos binários sobre alucinações e ofereceram uma recomendação geral em uma escala de 6 pontos.

Métricas Operacionais

O estudo rastreia sistematicamente o custo computacional (USD), tempo de execução (tempo real), uso de tokens (entrada/saída) e o grau de intervenção humana necessário para pós-processamento (formatação, alinhamento de citações, compilação LaTeX).

Principais Resultados

Aceitação e Qualidade

• Taxas de Aceitação Baixas: Apenas 10 de 37 submissões válidas foram aceitas pelo pipeline de revisão automatizada. O AGENT LABORATORY foi responsável por 5 dessas aceitações, enquanto o AI SCIENTIST-V2 recebeu zero aceitações.
• Crítica Humana: Os revisores humanos foram significativamente mais críticos do que o pipeline automatizado. Em todos os sistemas, as classificações gerais médias caíram na faixa de "rejeição limítrofe a rejeição". Nenhum sistema produziu outputs considerados prontamente publicáveis por especialistas humanos.
• Alucinações: Alucinação pervasiva foi identificada, com 59% de todas as avaliações contendo afirmações fabricadas ou não suportadas. Especificamente, 100% das submissões do AI RESEARCHER e 67% das submissões do TINY SCIENTIST continham alucinações.
• Falhas Metodológicas: Revisores humanos identificaram consistentemente inconsistências metodológicas, como avaliações conduzidas exclusivamente em conjuntos de dados sintéticos, espaços reservados de modelo não resolvidos (por exemplo, [Nome do Conjunto de Dados]) e referências a módulos de código inexistentes.

Correlação entre Julgamento Automatizado e Humano

• Correlação Geral Fraca: A correlação entre as classificações gerais automatizadas e humanas foi fraca e estatisticamente não significativa (Pearson r = +0,29).
• Nuance Dimensional: Correlações moderadas a fortes surgiram para dimensões específicas: Validade (r = +0,77) e Significância/Contribuição (r = +0,84). No entanto, Clareza/Presentação permaneceu não significativa. Isso sugere que revisores automatizados podem capturar dimensões subjacentes específicas, mas falham em traduzi-las em avaliações holísticas alinhadas.

Custo vs. Qualidade

• Sem Poder Preditivo do Computador: Nem o orçamento de tokens nem o custo computacional preveem a qualidade do output.
• Paradoxo da Eficiência: O sistema mais barato e rápido (CYCLERESEARCHER) e o sistema mais intensivo em recursos (AI RESEARCHER, exigindo ~38x mais tokens de entrada e custos significativamente mais altos) não mostraram uma relação linear com a qualidade. Na avaliação humana, o sistema mais intensivo em recursos não superou alternativas mais eficientes.
• O Design Importa: Os resultados indicam que o design do fluxo de trabalho de pesquisa autônoma importa mais do que a escala bruta de computação.

Significado e Alegações

O artigo afirma que o MLReplicate estabelece um framework de avaliação prático e extensível para o progresso sistemático rumo à descoberta científica confiável impulsionada por IA. Suas principais contribuições são:

1. Um Benchmark Unificado: É o único framework para avaliar conjuntamente múltiplos sistemas de pesquisa autônomos em múltiplos critérios (ideação, experimentação, implementação, escrita e revisão) dentro de um único ambiente padronizado.
2. Protocolo de Avaliação Duplo: Ao combinar revisão automatizada estilo conferência com avaliação humana estruturada por especialistas, permite a análise sistemática de concordância e divergência entre o julgamento de IA e humano.
3. Verificação da Realidade Operacional: Destaca que os sistemas de pesquisa autônomos atuais exibem uma lacuna substancial entre sua capacidade de gerar manuscritos e o rigor científico genuíno. A presença pervasiva de alucinações e inconsistências metodológicas sugere que esses sistemas ainda não estão prontos para contribuição científica autônoma sem supervisão humana significativa.
4. Insights de Eficiência: O estudo desafia a suposição de que aumento de computação ou orçamentos de tokens levam a melhores outputs científicos, demonstrando que o design eficaz do pipeline é um fator mais crítico do que a escala bruta de recursos.

Os autores posicionam o MLReplicate como um passo fundamental rumo a uma avaliação principista e fundamentada na reprodutibilidade, enfatizando a necessidade urgente de progresso contínuo em raciocínio de longo horizonte, rigor experimental e controle de alucinações para fechar a lacuna entre geração autônoma e contribuição científica genuína.