Resumo Técnico: Aris (Pesquisa Autônoma via Colaboração Adversarial Multi-Agente)

Declaração do Problema

O artigo identifica um modo de falha crítico em fluxos de trabalho de pesquisa autônoma de longo horizonte: sucesso plausível sem suporte. Enquanto sistemas de agente único podem não exibir colapsos visíveis, eles arriscam produzir alegações que são mal relatadas, carecem de suporte evidencial ou herdam silenciosamente a estruturação do executor. Os autores argumentam que confiar em um único agente (ou em uma única família de modelos tanto para execução quanto para auto-revisão) cria erros correlacionados devido a vieses indutivos compartilhados. Além disso, sistemas existentes de pesquisa autônoma frequentemente carecem de estado persistente entre sessões, estágios de execução modulares e verificações explícitas no nível do sistema para integridade experimental.

A hipótese central que impulsiona o trabalho é: "Qualquer tarefa de longo prazo realizada por um único agente é não confiável." Consequentemente, o sistema deve decompor fluxos de trabalho em subtarefas e utilizar modelos de famílias cruzadas para revisar as saídas independentemente em cada etapa.

Metodologia: O Harness Aris

Aris é um harness de pesquisa de código aberto projetado para coordenar fluxos de trabalho de pesquisa em aprendizado de máquina através de colaboração adversarial entre modelos cruzados. Trata a garantia como uma camada de fluxo de trabalho de primeira classe, em vez de uma etapa de revisão post-hoc. O sistema é construído sobre três camadas arquitetônicas:

1. Camada de Execução

Esta camada fornece os blocos de construção modulares para pesquisa:

• Habilidades Modulares: Mais de 65 capacidades reutilizáveis definidas em arquivos SKILL.md em texto simples (metadados YAML + especificações em linguagem natural). Estas cobrem tarefas desde revisão de literatura (/research-lit) até execução de experimentos (/run-experiment).
• Memória Persistente (Wiki de Pesquisa): Um grafo de conhecimento com estado que armazena artigos, ideias, experimentos e alegações entre sessões. Isso impede que o sistema reexamine ideias falhas ou perca contexto, permitindo "aprendizado em espiral" em vez de repetição sem estado.
• Contratos de Artefato: Habilidades trocam estados intermediários através de arquivos de texto versionáveis (por exemplo, IDEA_REPORT.md, EXPERIMENT_LOG.md), garantindo auditabilidade e recuperação baseada em pontos de verificação.

2. Camada de Orquestração

Esta camada gerencia cinco fluxos de trabalho ponta a ponta, encadeando habilidades via contratos de artefato:

1. Descoberta de Ideias: Gera e classifica ideias, com verificações de novidade.
2. Ponte de Experimento: Implementa código, lida com depuração automática e implanta experimentos.
3. Loop de Auto-Revisão: Refina iterativamente rascunhos através de crítica e revisão.
4. Escrita de Artigo: Escreve manuscritos, gera figuras e compila PDFs.
5. Réplica: Gera respostas aos comentários dos revisores.

A orquestração suporta Níveis de Esforço (lite, balanceado, max, beast) para escalar a profundidade de busca e contagens de iteração, e Roteamento de Revisores para direcionar tarefas para backends de modelos específicos.

3. Camada de Garantia

A inovação central é um pipeline rigoroso de verificação multi-estágio projetado para prevenir "sucesso plausível sem suporte":

• Colaboração Adversarial entre Modelos Cruzados: O sistema padrão emparelha um Executor (por exemplo, Claude/Codex) com um Revisor de uma família de modelo diferente (por exemplo, GPT/Gemini). O revisor fornece pontuação estruturada e crítica acionável, quebrando os pontos cegos de auto-revisão de loops de modelo único.
• Cascata de Auditoria de Evidência para Alegação: Um processo de três estágios para integridade experimental:
  1. Auditoria de Experimento: Verifica falhas de integridade (por exemplo, referências derivadas de modelos, pontuações auto-normalizadas, resultados fantasma, inflação de código morto).
  2. Mapeamento de Resultado para Alegação: Mapeia resultados experimentais para alegações explícitas, atribuindo veredictos de suportado, parcialmente suportado ou invalidado.
  3. Auditoria de Alegação de Artigo: Um revisor fresco, sem contexto, verifica cruzadamente alegações quantitativas do manuscrito contra o livro de registro de alegações e arquivos de evidência brutos para detectar incompatibilidades ou seleção tendenciosa.
• Garantia de Manuscrito: Inclui um pipeline de edição científica de cinco passagens, verificação de prova para artigos teóricos, revisão visual de PDF (verificando layout e alinhamento de figuras) e uma auditoria de citação (verificando existência, metadados e adequação do contexto).

Contribuições Principais

1. Uma Arquitetura de Harness de Pesquisa: Aris introduz um sistema com estado e modular que separa a produção de artefatos da verificação de evidências, abordando os gargalos de estado persistente, execução modular e garantia independente.
2. Protocolo Multi-Agente Adversarial: O sistema operacionaliza a revisão entre famílias cruzadas como uma configuração padrão, utilizando um loop de "crítica para ação" onde uma família de modelo distinta critica a saída do executor, reduzindo erros correlacionados.
3. Pilha de Garantia de Três Estágios: O artigo detalha um pipeline específico para verificar integridade experimental e validade de alegações, avançando de verificações de integridade no nível de código até fidelidade de relatórios no nível do manuscrito.
4. Wiki de Pesquisa Persistente: Um mecanismo para reter resultados negativos e alegações validadas entre sessões, transformando tentativas de pesquisa de uma só vez em aprendizado cumulativo e em espiral.
5. Implementação de Código Aberto: O sistema inclui mais de 65 habilidades, pontes MCP para múltiplos provedores de modelos (Codex, Claude, GPT, Gemini, etc.) e uma CLI independente (ARIS-Code).

Resultados e Evidências de Implantação

O artigo apresenta evidências observacionais de implantação em vez de benchmarks causais controlados. As principais observações incluem:

• Crescimento do Ecossistema: A biblioteca de habilidades expandiu de 21 para mais de 65 habilidades em domínios como robótica, hardware e provas matemáticas.
• Dinâmicas Operacionais: Uma execução documentada durante a noite demonstrou o sistema completando quatro rodadas de revisão-revisão, aumentando uma pontuação interna de revisor de 5,0 para 7,5/10, lançando mais de 20 experimentos em GPU e podando com sucesso alegações sem suporte.
• Portabilidade: O sistema foi testado em três plataformas de executor (Claude Code, Codex CLI, Cursor) com guias de adaptação para outros três, demonstrando portabilidade entre plataformas sem alterações no nível de arquivo nas habilidades.

Os autores afirmam explicitamente que esses resultados são observacionais e não podem ser atribuídos causalmente ao Aris sozinho. Eles reconhecem que a "estruturação de bandido e teoria dos jogos" usada para motivar o padrão de dois papéis é uma analogia de design, não uma prova formal de superioridade sobre revisão da mesma família.

Significado e Alegações

O artigo posiciona o Aris como uma resposta às limitações dos atuais agentes de pesquisa autônoma, que frequentemente dependem de auto-refinamento de modelo único e carecem de verificações rigorosas de integridade.

• Mudança de Foco: Argumenta que o desempenho dos sistemas de pesquisa de LLM depende fortemente do "harness" (lógica do sistema) e não apenas dos pesos do modelo.
• Mitigação de Riscos: Ao tratar tarefas de longo horizonte de agente único como não confiáveis por padrão, o Aris prioriza a rigorosidade sobre a conveniência, visando prevenir a herança silenciosa de erros de estruturação.
• Humano no Loop: O sistema é projetado para automatizar loops de execução e revisão, deixando a direção da pesquisa, validação de evidências e decisões de submissão final para humanos. Inclui pontos de verificação configuráveis para exigir aprovação humana.
• Direções Futuras: Os autores sugerem que os primitivos de responsabilização desenvolvidos (independência do revisor, livros de registro de alegações) poderiam ser adaptados para outros domínios, como inserir camadas de supervisão entre as saídas do modelo e dados de treinamento a jusante para mitigar o acoplamento do modelo julgador e o colapso do modelo.

O artigo conclui com um tom modesto, reconhecendo limitações como a falta de avaliações controladas, o potencial de amplificação de viés do revisor e a incapacidade de garantir correção ou novidade. Ele enfatiza que o Aris é uma ferramenta para operacionalizar fluxos de trabalho de pesquisa rigorosos, não uma substituição para o julgamento científico humano.