Resumo Técnico: EUREKAGENT

Declaração do Problema

Embora agentes baseados em Grandes Modelos de Linguagem (LLM) tenham demonstrado potencial para automatizar a descoberta científica ao propor, validar e iterar soluções para métricas otimizáveis, as abordagens atuais enfrentam um gargalo crítico. Os sistemas existentes frequentemente dependem da prescrição de fluxos de trabalho rígidos e específicos para a pesquisa (por exemplo, populações evolutivas, árvores de soluções ou debates estruturados). No entanto, à medida que os agentes de codificação de propósito geral (como Claude Code e Codex) melhoram, evidências sugerem que grande parte da capacidade necessária já reside no agente base. O desafio principal mudou do design de fluxos de trabalho complexos para agentes para garantir confiabilidade, reprodutibilidade e inspetabilidade. Agentes sem restrições correm o risco de "reward hacking" (exploração de recompensa), contaminando avaliações, manipulando artefatos ou violando restrições procedimentais, levando a resultados impressionantes, porém não confiáveis.

O artigo argumenta que o futuro da descoberta científica autônoma não reside no microgerenciamento do comportamento do agente, mas na Engenharia de Ambiente: projetar os recursos, restrições e interfaces que moldam o comportamento do agente para ampliar as affordances produtivas (exploração, colaboração) enquanto suprimem as prejudiciais (manipulação, falhas de supervisão).

Metodologia: EUREKAGENT

O EUREKAGENT é um sistema de engenharia de ambiente projetado para a descoberta científica autônoma orientada por métricas. Em vez de codificar um fluxo de trabalho de pesquisa específico, ele coordena agentes de CLI prontos para uso dentro de um ambiente cuidadosamente projetado. O sistema opera em um ciclo simples de três estágios: Preparar → Propor → Implementar, repetido ao longo de $R$ rodadas com $P$ sessões de implementação paralelas.

Arquitetura do Sistema

1. Estágio de Preparação (Prepare): Uma única sessão de agente configura o ambiente de execução, valida o avaliador oculto e instala as dependências. Ela produz um resumo de preparação compartilhado com as rodadas subsequentes.
2. Estágio de Proposta (Propose): No início de cada rodada, uma sessão de agente revisa artefatos anteriores e resultados de busca na web para gerar até $P$ hipóteses diversas e executáveis.
3. Estágio de Implementação (Implement): Cada hipótese é atribuída a uma sessão de agente separada e paralela. Estas sessões refinam, depuram e submetem soluções a um avaliador oculto de forma iterativa. O ambiente classifica automaticamente as submissões válidas para informar a próxima rodada.

Quatro Dimensões da Engenharia de Ambiente

A inovação central do EUREKAGENT é sua engenharia quadridimensional do ambiente do agente:

1. Engenharia de Permissões:

   • Affordances Produtivas: Os agentes recebem um ambiente Python configurável, acesso ao shell, ferramentas de busca/navegação na web e acesso a artefatos históricos de rodadas anteriores.
   • Restrições: A execução ocorre em contêineres Docker isolados. Um "avaliador oculto" com dados de teste é inacessível aos agentes; eles podem apenas submeter código e receber pontuações via uma interface segura. Arquivos de resultados controlados pelo controlador são apenas de leitura. Sessões paralelas na mesma rodada são isoladas umas das outras para evitar a convergência prematura em uma única direção local. O acesso à GPU é estritamente controlado via uma API auxiliar para evitar contenção.

2. Engenharia de Artefatos:

   • O sistema de arquivos e o histórico do Git servem como memória compartilhada de longo prazo.
   • Todos os entregáveis de estágio (resumos, manifestos, código, logs, pontuações) são persistidos.
   • Commits do Git rastreiam a evolução da solução, com instruções para os agentes documentarem as mudanças em relação às versões anteriores. Isso garante rastreabilidade, recuperação de interrupções e a capacidade de sessões futuras inspecionarem e construírem sobre o trabalho anterior.

3. Engenharia de Orçamento (Budget):

   • Os recursos são limitados por tempo de execução (wall-clock time) e custo de API.
   • Tempo: Limites separados são definidos para as fases de proposta e implementação. Os agentes recebem avisos ativos (via APIs auxiliares) e avisos passivos (mensagens injetadas) conforme os prazos se aproximam.
   • Custo: O uso de tokens é rastreado globalmente. Quando os limites são atingidos, a execução é abortada, preservando o snapshot do workspace.
   • Continuidade: O sistema persiste os estados das sessões, permitindo que execuções interrompidas sejam retomadas sob os orçamentos restantes, em vez de reiniciar do zero.

4. Engenharia de Humano no Ciclo (Human-in-the-Loop):

   • Duas interfaces permitem a supervisão sem microgerenciamento:
     • Uma Interface de Terminal (TUI) para inspecionar saídas de sessões ao vivo e comunicar-se com agentes ativos.
     • Um Monitor Web que fornece uma visão de alto nível da evolução das pontuações, melhores abordagens e uso de orçamento.
   • Humanos podem intervir, redirecionar o comportamento ou conceder tempo extra, garantindo a supervisão enquanto mantêm a autonomia do agente.

Principais Contribuições

• Mudança de Paradigma: O artigo redefine o gargalo da descoberta autônoma de "design de workflow" para "engenharia de ambiente", argumentando que ambientes bem estruturados são suficientes para desbloquear as capacidades de agentes de propósito geral.
• Sistema EUREKAGENT: Uma arquitetura de sistema inovadora que coordena agentes de CLI padrão através de um ambiente seguro, rastreável e consciente de orçamento, sem prescrever estratégias de pesquisa específicas.
• Mecanismos de Integridade: Um conjunto abrangente de controles de isolamento e permissão que previnem reward hacking, vazamento de avaliador e manipulação de artefatos, abordando questões críticas de confiabilidade.
• Código Aberto: O lançamento de código, resultados e um framework para pesquisa autônoma reprodutível.

Resultados Experimentais

O EUREKAGENT foi avaliado em tarefas orientadas por métricas em matemática, engenharia de kernel e aprendizado de máquina. O sistema utilizou o Claude Code como agente de CLI e o GLM-5.1 como modelo base.

• Matemática:
  • 26-Circle Packing: Alcançou um novo score SOTA de 2.635999 (soma dos raios), superando o melhor resultado anterior de IA (2.635986) e o melhor resultado humano (~2.634). Isso foi alcançado com um custo total de API inferior a $11.
  • Erdős' Minimum Overlap: Alcançou um novo SOTA de 0.380870 (menor é melhor), melhorando o melhor resultado anterior de IA de 0.380876.
  • First Autocorrelation Inequality: Alcançou um novo SOTA de 1.502861 (menor é melhor), melhorando o melhor resultado anterior de IA de 1.502863.
• Engenharia de Kernel:
  • TriMul: Alcançou um novo tempo de execução SOTA de 2005.03 µs, significativamente mais rápido que o melhor anterior de IA (2247.78 µs) e humano (2096.04 µs).
• Aprendizado de Máquina:
  • MLE-Bench: Classificou-se em 1º lugar no subconjunto avaliado com uma pontuação de 85.71%, superando o melhor anterior de IA (71.43%).

Significância e Alegações

O artigo afirma que o EUREKAGENT demonstra que a engenharia de ambiente é "tudo o que você precisa" para alcançar uma descoberta científica autônoma de alto nível usando agentes prontos para uso. Ao remover a necessidade de prescrições de workflow complexas e específicas para tarefas, e focar em criar um ambiente confiável, delimitado e colaborativo, o sistema atinge novos resultados de estado da arte (SOTA) em diversos domínios com custos mínimos de API.

Os autores posicionam este trabalho como um chamado à ação para a comunidade de pesquisa: o desenvolvimento futuro de agentes de pesquisa autônomos confiáveis deve priorizar a engenharia de ambiente como uma direção de pesquisa central. Esta abordagem equilibra a necessidade de exploração aberta com os requisitos rigorosos de integridade científica, reprodutibilidade e supervisão humana. Os resultados sugerem que, com as restrições ambientais adequadas, agentes de propósito geral podem descobrir independentemente soluções científicas que superam tanto sistemas de IA anteriores quanto especialistas humanos.