Resumo Técnico: EvoMAS – Geração Evolutiva de Sistemas Multi-Agente

1. Declaração do Problema

Sistemas Multi-Agente (MAS) baseados em Modelos de Linguagem de Grande Escala (LLM) demonstram potencial significativo para raciocínio complexo, planejamento e tarefas aumentadas por ferramentas. No entanto, projetar arquiteturas de MAS eficazes permanece trabalhoso, frágil e difícil de generalizar. Os métodos existentes de geração automática enfrentam um trade-off fundamental entre expressividade e confiabilidade:

• Abordagens de Geração de Código: Métodos como ADAS e MAS-GPT tratam o design de MAS como busca de código aberto ou síntese direta de código. Embora expressivos, esses métodos frequentemente sofrem com falhas de executabilidade, exceções em tempo de execução e comportamentos frágeis devido a erros de sintaxe e à complexidade de gerar programas multi-agente válidos em uma única passagem.
• Abordagens de Modelo Rígido: Métodos como AutoAgents e EvoAgent restringem estruturas de agentes para melhorar a confiabilidade, mas limitam a adaptabilidade e a expressividade. Além disso, abordagens como EvoAgent geralmente evoluem agentes individuais em vez de tratar o sistema multi-agente como um objeto de otimização unificado, e carecem de mecanismos para transferência de experiência entre consultas.

O desafio central é explorar eficientemente o grande espaço combinatório de configurações de MAS, aproveitando o feedback de execução para guiar atualizações estruturadas, equilibrando a exploração de novos designs com a reutilização de padrões bem-sucedidos.

2. Metodologia: EvoMAS

Os autores propõem o EvoMAS (Geração Evolutiva de Sistemas Multi-Agente), um framework que formula a geração de MAS como geração de configuração estruturada em vez de síntese de código. O EvoMAS opera dentro de um espaço de configuração delimitado e interpretável, evoluindo configurações colaborativas de MAS por meio de seleção, mutação e cruzamento.

2.1. Representação da Configuração

Uma configuração de MAS $C$ é definida como uma tupla $(G, \{A_i\}, V_{in}, V_{out})$:

• Grafo ($G$): Um grafo de comunicação acíclico definindo a topologia (quem se comunica com quem).
• Agentes ($A_i$): Cada agente é definido por um modelo de base ($b_i$), um modelo de prompt de sistema ($p_i$) e um conjunto de ferramentas ($\Gamma_i$).
• Execução: Um interpretador de tempo de execução leve desacopla a estrutura do sistema da lógica de execução, instanciando agentes e gerenciando a comunicação com base na configuração declarativa.

2.2. Processo Evolutivo

O EvoMAS emprega uma busca evolutiva orientada por LLM sobre um pool de candidatos, utilizando feedback de execução como sinais de aprendizado. O processo para uma tarefa dada $q$ envolve:

1. Seleção: Configurações iniciais são recuperadas de um pool semeado com MASs projetados por humanos (por exemplo, Revisão por Pares, Voto da Maioria, MetaGPT) com base na relevância da tarefa e metadados.
2. Operadores Evolutivos: O sistema refina iterativamente os candidatos usando dois operadores condicionados a traços de execução e uma memória de experiência:
   • Mutação: Modifica exatamente um tipo de componente (prompts, atribuições de modelo, listas de ferramentas ou topologia) de um único pai para abordar gargalos de desempenho específicos identificados no traço de execução.
   • Cruzamento: Recombina dois pais herdando a topologia de comunicação de um pai e recombinando atributos em nível de agente (prompts, modelos, ferramentas) de ambos.
3. Avaliação: As configurações são avaliadas usando uma função de recompensa baseada em LLM como juiz que equilibra o desempenho da tarefa (correção, completude) contra o custo computacional (tokens e latência).
4. Atualizações de Pool e Memória: Configurações de alta recompensa são adicionadas ao pool para reutilização futura. Os traços de evolução são resumidos em representações compactas (por exemplo, "refinamento de prompt para formatação de saída melhorou a precisão") e armazenados em uma memória de experiência para guiar buscas futuras por meio de recuperação baseada em similaridade.

2.3. Princípios de Design Chave

• Estruturado vs. Código: Ao gerar configurações estruturadas (YAML) em vez de código executável, o EvoMAS evita erros de sintaxe e garante alta robustez em tempo de execução.
• Evolução Conjunta: Diferentemente de trabalhos anteriores que otimizam prompts ou topologia separadamente, o EvoMAS evolui conjuntamente todos os componentes (topologia, prompts, modelos, ferramentas) como um sistema unificado.
• Escalonamento de Computação em Tempo de Teste: O EvoMAS adapta a distribuição de computação através do sistema multi-agente por meio de busca de configuração, em vez de alocar mais computação para um único agente.

3. Contribuições Principais

1. Um Paradigma Baseado em Configuração: Reformular a construção de MAS como geração de texto estruturado, permitindo uma exploração robusta e expressiva do espaço de design de MAS sem a fragilidade da geração de código.
2. O Framework EvoMAS: Um framework evolutivo orientado por LLM que mantém um pool de configurações candidatas semeado a partir de sistemas projetados por humanos e as refina iterativamente por meio de mutação guiada por execução, cruzamento e reutilização baseada em memória.
3. Benchmarks Abrangentes: Demonstrando desempenho superior em tarefas de raciocínio, codificação e chamadas de ferramentas, com taxas de sucesso de execução mais altas em comparação tanto com MASs projetados por humanos quanto com métodos anteriores de geração automática.

4. Resultados Experimentais

O EvoMAS foi avaliado em cinco benchmarks: BBEH (raciocínio), WorkBench (uso de ferramentas) e SWE-Bench-Lite/Verified (engenharia de software).

• Ganhos de Desempenho: O EvoMAS superou consistentemente as linhas de base.
  • No BBEH, alcançou 58,7% de precisão (com seleção automática de LLM), superando o melhor resultado do EvoAgent em +10,5 pontos e a melhor configuração por LLM em +5,9 pontos.
  • No WorkBench, atingiu 48,9%, excedendo o melhor resultado por LLM em +4,4 pontos.
  • No SWE-Bench-Verified, o EvoMAS alcançou uma taxa de resolução de 63,8%, superando a melhor configuração de LLM único em +3,4 pontos e o melhor MAS predefinido (MetaGPT) por uma margem significativa. Com o Claude-4.5-Sonnet, atingiu 79,1%, igualando o topo do leaderboard público.
• Robustez e Executabilidade: O EvoMAS alcançou taxas de execução superiores a 96% em todos os benchmarks (por exemplo, 98,9% no BBEH), superando significativamente métodos de geração de código como MAS-GPT (71,5% no BBEH, 1,2% no SWE-Bench-Lite).
• Comportamento de Escalonamento: Diferentemente de métodos de agente único ou topologia fixa que estagnam ou degradam com orçamentos de tokens aumentados, o EvoMAS continua a melhorar o desempenho à medida que a computação aumenta, descobrindo padrões de coordenação mais eficientes.
• Generalização: O framework generaliza para raciocínio matemático (AIME 2024–2025), alcançando 56,7% de precisão, superando as linhas de base predefinidas.

5. Significado e Alegações

O artigo afirma que o EvoMAS representa uma mudança da engenharia de MAS manual e específica para tarefas para síntese de sistema automatizada e adaptativa. Seu significado reside em:

• Otimização Estrutural: Os ganhos de desempenho são estruturais, surgindo da descoberta de padrões de coordenação eficazes (por exemplo, papéis emergentes como "descompositor" ou "verificador" e topologias inovadoras) em vez de meramente escalar computação ou depender de modelos maiores.
• Confiabilidade: Ao desacoplar a estrutura da lógica de execução por meio de configuração, o EvoMAS resolve os problemas de confiabilidade inerentes às abordagens de geração de código, tornando a geração automática de MAS viável para aplicações do mundo real.
• Adaptação em Tempo de Teste: Fornece um paradigma de aprendizado baseado em estado onde melhorias se acumulam por meio de atualizações de configuração e experiência de execução, oferecendo uma alternativa distinta ao ajuste fino baseado em gradiente.
• Generalizabilidade: O framework é agnóstico a agentes e suporta atribuições de modelos heterogêneas, permitindo aproveitar as forças de diferentes LLMs para papéis específicos dentro de um único sistema.

Os autores concluem que o EvoMAS reduz efetivamente a barreira para o desenvolvimento de agentes especializados, embora observem que trabalhos futuros devem abordar a coordenação adversária e reduzir ainda mais os custos de evolução.