Resumo Técnico: AutoResearch

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) geram cada vez mais código, recuperam literatura e redigem artefatos científicos, mas frequentemente falham em fechar o ciclo de validação. Especificamente, os agentes muitas vezes não conseguem verificar se os experimentos gerados executam corretamente ou se as fontes citadas realmente sustentam as afirmações geradas. Sistemas anteriores, como SWE-agent e AutoGPT, utilizam a execução para depuração ou produção de saída, mas não enquadram explicitamente a evidência de tempo de execução como um sinal de eliminação compartilhado entre código, citações e afirmações de manuscritos. Essa lacuna leva a artefatos de pesquisa que podem estar operacionalmente quebrados ou bibliograficamente alucinados.

Metodologia: O Framework AutoResearch

O AutoResearch é um framework multiagente baseado em execução, projetado para automatizar fluxos de trabalho de pesquisa com foco em confiabilidade, em vez de descoberta científica totalmente autônoma. Ele trata a execução não apenas como uma ferramenta para produção de saída, mas como uma restrição de validade de hipótese.

Arquitetura Central

O sistema opera por meio de um pipeline de 23 estágios orientado por configuração, gerenciado por um Orquestrador com transições de estado explícitas (PENDING → RUNNING → FAILED → DONE). A arquitetura consiste em dez camadas:

1. Orquestrador: Uma máquina de estados determinística que gerencia o pipeline de 23 estágios através de 8 fases.
2. Controle Orientado por Configuração: Todos os comportamentos são governados por configurações YAML, garantindo reprodutibilidade e modularidade.
3. Subsistemas Multiagente: Agentes especializados operam sob o orquestrador:
   • CodeAgent: Gera scripts e realiza autocorreção (self-healing) analisando rastros de erro.
   • BenchmarkAgent: Recupera baselines via RAG e computa deltas de desempenho.
   • FigureAgent: Gera visualizações a partir de logs.
   • ReviewAgents: Três agentes independentes criticam rascunhos, com o feedback final determinado por voto majoritário.
4. Ferramental e Ambiente: Os agentes executam experimentos em Python em sandboxes isolados Docker ou E2B, instalando dependências e gerando artefatos LaTeX, PNG e CSV.
5. Conhecimento e Recuperação: Utiliza RAG estruturado para recuperar de arXiv, Semantic Scholar e OpenAlex, construindo cartões de conhecimento e removendo duplicatas.
6. Camada de Verificação (Núcleo Anti-Alucinação): Um processo de verificação de citação de quatro etapas (validação de ID do arXiv, busca por DOI/CrossRef, correspondência no Semantic Scholar e pontuação de relevância baseada em LLM) que deve passar em todas as verificações antes que uma citação seja aceita.
7. Loop de Experimento (Núcleo de Auto-Melhoria): Um loop de autocorreção onde o CodeAgent repara o código com base em rastros de erro e memória de sessão, reexecutando imediatamente no sandbox.
8. Mecanismo de Decisão: Um controlador heurístico (PIVOT/REFINE/PROCEED) que decide se deve prosseguir, refinar a tentativa atual ou mudar de rumo (pivot) com base em desvios métricos e contradições.
9. Escrita e Publicação: Gera manuscritos LaTeX completos (5.000–6.500 palavras) seção por seção, extraindo declarações de problemas e resultados da memória armazenada.
10. Autoevolução (MetaClaw): Um mecanismo que armazena habilidades derivadas de falhas (gatilho, lição, injeção) e as injeta em execuções futuras para reduzir a exploração redundante de hipóteses.

Princípios de Design

• A Execução Expõe Inconsistências: A execução em sandbox serve como o teste primário para validade operacional, transformando falhas em sinais de reparo acionáveis.
• Filtros de Verificação Barram Alegações Não Suportadas: Uma camada dedicada filtra citações não suportadas e textos com excesso de afirmações antes que entrem no artefato final.
• Controle de Decisão Reduz Tentativas Inúteis: O controlador heurístico coordena execução, reparo e escrita para minimizar retentativas improdutivas.

Principais Contribuições

1. Contribuição de Sistemas: A apresentação do AutoResearch, um framework que acopla execução em sandbox, reparo iterativo, verificação de citação, controle de decisão e geração de artefato estruturado.
2. Padrão de Confiabilidade Baseado em Execução: Um padrão de design que utiliza falhas de tempo de execução, falhas de verificação de citação e feedback de agentes de revisão como sinais de filtragem. Isso visa melhorar a confiabilidade do fluxo de trabalho, não garantir a correção científica.
3. Contribuição Empírica: Avaliação em geração de código, código científico, validação de citação e tarefas de fluxo de trabalho de ponta a ponta, demonstrando melhorias sob protocolos controlados enquanto reconhece limitações em confiabilidade de ambiente e novidade aberta.

Resultados Experimentais

As avaliações foram conduzidas no HumanEval, MBPP, um subconjunto do SciCode, tarefas de validação de citação e um pequeno teste de estresse de ponta a ponta (CrossDomain-15).

• Validade de Citação: O verificador interno de quatro etapas reduziu o proxy de erro de suporte de citação automatizada de 34% para 2%. A anotação externa de 500 citações confirmou uma taxa de citação inválida de 3,5% para o AutoResearch, comparado a 31% para um baseline de Agente de Ferramentas sem verificação.
• Sucesso de Execução: O AutoResearch alcançou uma taxa de sucesso de execução de 79% em ambientes de sandbox, superando baselines como Vanilla LLM (41%) e ReAct (55%).
• Conclusão de Tarefas: No fluxo de trabalho de ponta a ponta CrossDomain-15, o AutoResearch alcançou uma taxa de conclusão de 73,3% (11/15 tarefas), significativamente superior ao Agente de Ferramentas (52%) e ao SWE-agent (56%).
• Auditoria de Suporte de Alegação: Em uma auditoria de 500 pares de alegação-citação locais, o AutoResearch aumentou os pares diretamente suportados para 78% (vs. 38% para RAG-only) e reduziu casos de fontes erradas ou não suportadas para 10% (vs. 37%).
• Estudos de Ablação: Remover a camada de verificação reduziu a conclusão para 48%; remover a execução em sandbox reduziu para 40%; remover o MetaClaw reduziu a conclusão para 62%. Isso confirma a natureza complementar da execução e da verificação.

Significância e Escopo

O artigo posiciona o AutoResearch como um assistente de pesquisa orientado à confiabilidade, declarando explicitamente que não é um cientista totalmente autônomo ou um benchmark de qualidade de manuscrito independente.

• Escopo das Alegações: O sistema verifica a executabilidade operacional e reduz alucinações bibliográficas, mas não estabelece novidade científica ou a correção de todas as afirmações do manuscrito.
• Limitações: Os autores observam que a má configuração do ambiente continua sendo a maior categoria de falha (75% das falhas registradas). O sistema tem dificuldade com busca criativa de abertura (ex: inventar novos algoritmos) e é mais adequado para validar e refinar fluxos de trabalho candidatos.
• Conclusão: Os resultados apoiam o valor de acoplar sinais de execução e verificação para melhorar a confiabilidade dos artefatos de pesquisa gerados. No entanto, desafios relativos à confiabilidade do ambiente, revisão científica completa ao nível de alegação e novidade científica de abertura permanecem abertos.