Resumo Técnico: MARS (Agente Modular com Busca Reflexiva) para Pesquisa Automatizada de IA

1. Declaração do Problema

A automação da pesquisa em IA enfrenta um gargalo crítico na execução de tarefas complexas de Engenharia de Aprendizado de Máquina (MLE). Diferentemente da engenharia de software geral, onde a correção é frequentemente binária e a verificação é computacionalmente barata, a MLE é uma empreitada probabilística e intensiva em recursos. Ela exige navegar em um cenário definido por:

• Avaliação Computacionalmente Custosa: O treinamento de modelos e o processamento de dados consomem vastos recursos, tornando o "tentativa e erro" oneroso.
• Atribuição Opaca de Desempenho: Quando um experimento produz melhores resultados, isolar os fatores causais específicos (atribuição de crédito) é difícil.
• Complexidade Arquitetural: Repositórios de pesquisa exigem interação fluida entre carregamento de dados, arquitetura do modelo e loops de treinamento.

Os agentes atuais de Modelos de Linguagem Grandes (LLM) lutam neste domínio. Eles tipicamente geram scripts monolíticos que ignoram os custos de execução, carecem da modularidade necessária para uma engenharia rigorosa e falham em aprender efetivamente de tentativas passadas devido à incapacidade de resolver o problema de atribuição de crédito.

2. Metodologia: O Framework MARS

O MARS (Agente Modular com Busca Reflexiva) reformula o processo de pesquisa como uma busca por um repositório de software ótimo. É construído sobre três pilares centrais projetados para abordar as restrições específicas da descoberta científica autônoma:

A. Planejamento Consciente do Orçamento (MCTS Consciente de Recursos)

Para abordar o alto custo da avaliação, o MARS emprega uma Busca em Árvore de Monte Carlo (MCTS) com restrição de custos. Diferentemente dos algoritmos de busca padrão que otimizam apenas para o desempenho da tarefa, o MARS integra uma Função de Recompensa Guiada por Eficiência diretamente na árvore de busca.

• Mecanismo: A função de recompensa $R(v)$ equilibra os ganhos de desempenho ($G(v)$) com a latência de execução ($t(v)$), penalizando soluções que excedem orçamentos de tempo ou são computacionalmente ineficientes.
• Espaço de Ações: A árvore de busca utiliza três operadores:
  1. Rascunho: Gerar uma nova solução do zero.
  2. Melhoria: Modificar nós válidos para maximizar objetivos.
  3. Depuração: Resolver erros de tempo de execução em nós falhos.
• Resultado: Isso permite que o agente priorize soluções eficientes (por exemplo, uma execução de treinamento de 1 hora em vez de uma de 4 horas com desempenho comparável), otimizando a taxa de descoberta dentro de um orçamento fixo.

B. Construção Modular

O MARS substitui a scriptagem frágil e monolítica por uma arquitetura de software estruturada em nível de repositório.

• Pipeline: Emprega um fluxo de trabalho "Projetar-Decompor-Implementar" envolvendo agentes especializados:
  1. Geração de Ideias: Articula um plano abrangente em linguagem natural.
  2. Decomposição de Módulos: Analisa o plano em módulos funcionais lógicos e independentes.
  3. Implementação de Componentes: Implementa e valida módulos sequencialmente.
• Refinamento Baseado em Diff: Modificações de código são estruturadas em um formato diff padronizado, permitindo atualizações atômicas em múltiplos arquivos. Esta abordagem contorna limites de tokens, reduz ruído de contexto, permite cache/reuso de código e melhora significativamente a testabilidade ao localizar a depuração em arquivos específicos.

C. Memória Reflexiva Comparativa

Para resolver o problema de atribuição de crédito, o MARS introduz um mecanismo de Memória Reflexiva Comparativa que destila insights causais de alto sinal do processo de exploração.

• Destilação de Lições: Em vez de apenas resumir logs, o sistema realiza uma análise comparativa entre a solução atual e a melhor solução conhecida. Isola mudanças algorítmicas específicas que impulsionam as mudanças de desempenho.
• Tipos de Lições:
  • Lições de Melhoria de Solução: Derivadas de soluções válidas, identificando mudanças causais e regras generalizadas.
  • Lições de Depuração: Derivadas de execuções falhas, explicando a lógica de falha e fornecendo diretrizes para prevenir erros semelhantes.
• Utilização: O agente retém as lições mais recentes na memória e as cita explicitamente ao aplicá-las a novas soluções, facilitando a transferência de insights entre ramos.

3. Contribuições Principais

1. Introdução do Framework: A proposta do MARS, um framework otimizado explicitamente para pesquisa autônoma de IA, combinando MCTS consciente de orçamento, um pipeline de implementação modular e Memória Reflexiva Comparativa.
2. Desempenho de Ponta: Avaliação extensa no benchmark MLE-Bench demonstra que o MARS alcança desempenho de ponta entre frameworks de código aberto em configurações comparáveis, mantendo competitividade com líderes globais em rankings.
3. Momentos Qualitativos "Eureka!": O sistema exibe avanços qualitativos onde 63% das lições utilizadas originam-se de transferência entre ramos, demonstrando a capacidade do agente de generalizar efetivamente insights entre diferentes caminhos de busca.
4. Lançamento Aberto: Os autores liberam prompts, código gerado e trajetórias para facilitar pesquisas futuras.

4. Resultados Experimentais

A avaliação foi conduzida no MLE-Bench, compreendendo 75 competições desafiadoras do Kaggle em NLP, visão computacional e dados tabulares.

• Métricas de Desempenho: O MARS alcançou a maior taxa de Medalha de Ouro (31,1%) entre todos os agentes relatados na avaliação controlada.
• Competitividade:
  • Usando o Gemini-3-Pro-Preview, o MARS alcançou uma taxa de Qualquer Medalha de 56,0% e uma taxa Acima da Mediana de 65,8%.
  • A variante escalada, MARS+ (utilizando 2x GPUs H100), alcançou uma taxa de Qualquer Medalha de 62,7% e uma taxa de Medalha de Ouro de 33,8%, superando concorrentes fortes como o ML-Master 2.0.
• Estudos de Ablação:
  • Decomposição Modular: A remoção deste componente degradou significativamente o sucesso, validando seu papel na redução de ruído de contexto e melhoria da testabilidade.
  • Mecanismos de Memória: A remoção completa da memória causou uma queda drástica no desempenho. A destilação comparativa mostrou-se essencial para isolar fatores causais em comparação com análise empírica simples.
  • MCTS Consciente de Orçamento: A estratégia de busca proposta superou consistentemente o MCTS Vanilla e a Busca Gananciosa, confirmando que penalizar o tempo de execução melhora a descoberta de soluções ótimas.
• Eficiência de Custos: Uma versão de 4 horas do MARS alcançou uma maior taxa de Qualquer Medalha (28,4%) enquanto gastava significativamente menos ($9,6) do que as linhas de base de 24 horas, demonstrando que os ganhos de desempenho derivam da eficiência arquitetural e não meramente do aumento da alocação de recursos.

5. Significado e Alegações

O artigo afirma que o MARS aborda as limitações dos agentes autônomos atuais na pesquisa de IA de longo horizonte ao tratar a pesquisa como um desafio de engenharia rigoroso em nível de repositório. Ao integrar planejamento consciente de recursos, construção modular e memória reflexiva comparativa, o MARS resolve efetivamente o problema de atribuição de crédito, equilibrando exploração com eficiência computacional.

Os autores afirmam que essa abordagem estruturada, que imita a visão estratégica de engenheiros humanos, permite desempenho de ponta em tarefas complexas de Engenharia de Aprendizado de Máquina. A capacidade do sistema de experimentar momentos "Eureka!" através da transferência de lições entre ramos sugere uma transição para agentes que não apenas executam código, mas também aprendem e generalizam insights científicos autonomamente.

O artigo reconhece limitações, observando que a avaliação está atualmente restrita ao MLE-Bench e que o custo computacional da busca iterativa e da destilação permanece uma barreira. Trabalhos futuros são propostos para expandir o framework para domínios científicos mais amplos e otimizar a viabilidade econômica através de cache de contexto avançado e parada antecipada.