Resumo Técnico: Um Estudo Empírico do Modo de Coordenação como um Cidadão de Primeira Classe na Codificação Multi-Agente do Zero

Declaração do Problema

As avaliações atuais de sistemas de codificação multi-agente sofrem de três limitações primárias:

1. Ambientes Sintéticos: Os benchmarks existentes frequentemente dependem de tarefas artificiais que ignoram restrições práticas, como tempo e custos monetários.
2. Conflação de Raciocínio e Comunicação: Eles frequentemente falham em distinguir entre as capacidades de raciocínio de um agente e a eficiência de seus protocolos de comunicação.
3. Métricas Superficiais: As avaliações frequentemente recompensam apenas o resultado final ou o sucesso na "primeira tentativa", negligenciando o processo iterativo de divisão de trabalho, implantação e melhoria baseada em feedback concreto.

Além disso, embora os agentes de codificação de fronteira tenham avançado da síntese de funções para o trabalho em nível de repositório, a maioria dos benchmarks ainda avalia comportamentos de reparo de agente único. Eles não medem como uma equipe de agentes colabora para construir um sistema full-stack do zero, gerencia transferências (handoffs) e converge para uma solução sob um orçamento de tempo e tokens. Os benchmarks multi-agente existentes (ex: AgentsNet, CloudDevBench) são frequentemente muito abstratos, desconectados de integração contínua/entrega contínua (CI/CD) ou dependem de APIs pré-definidas que reduzem a natureza "do zero" da tarefa.

Metodologia: O Framework MSEval

Os autores introduzem o MSEval, um benchmark projetado para avaliar quantitativamente a "vibe coding" multi-agente em tarefas de software do mundo real. O framework é fundamentado em um ambiente de engenharia de software universitário, onde equipes de 3 a 4 desenvolvedores constroem projetos full-stack de forma iterativa.

Componentes Principais

1. Dataset (10 Projetos do Mundo Real):

   • Curado a partir de trabalhos de conclusão de curso universitários (2018–presente).
   • Cobre 10 domínios: mensagens em tempo real, gestão de ativos empresariais, crowdsourcing, rastreamento de requisitos, processamento de imagens, e-commerce, análise de criadores, RBAC, busca de notícias e ensino online ao vivo.
   • Cada projeto é decomposto em 6 a 8 módulos e 30 a 45 itens de linha ponderados, normalizados para uma rubrica determinística de 100 pontos.

2. Mecanismo de Execução: LegoGent:

   • Um runtime que instancia modos de colaboração com sincronização limitada.
   • Mecanismo: Agentes trabalham concorrentemente em um espaço de trabalho compartilhado. Um loop de sincronização periódico (a cada 4 minutos) coleta snapshots de progresso e os transmite. Uma caixa de entrada ativa suporta perguntas direcionadas entre pares durante os intervalos de sincronização.
   • Implantação: Repositórios gerados são preparados via um pipeline nativo de CI/CD (GitLab + SonarQube) usando XDeploy. A falha de implantação é tratada como um resultado mensurável, não apenas como incompletude de código.
   • Modos: Implementa 10 topologias de colaboração distintas, incluindo:
     • Esquadrões de Funcionalidades (Feature Squads): Paralelização por módulo voltado ao usuário.
     • Especialistas de Camada (Layer Specialists): Paralelização por camadas de frontend/backend, sincronizando em contratos de API.
     • Pipeline: Handoffs intencionalmente seriais (Arquiteto $\to$ Backend $\to$ Frontend $\to$ QA).
     • Supervisão de PM (Gerente de Projeto): Gerente de projeto centralizado.
     • QA-First: Requisitos convertidos em alvos de aceitação antes da implementação.
     • Enxame (Swarming), Rotação, Revisão de Código Aberto, Teste Adversário, Equipes Competitivas.

3. Avaliador Automatizado: TAgent:

   • Atua como um Assistente de Ensino (TA) automatizado.
   • Processo: Analisa documentos de requisitos em verificações ponderadas. Ele descobre a superfície de implementação (UI, API, Código) antes de realizar a sondagem.
   • Fluxos de Avaliação:
     • UI: Usa Playwright para conduzir sites vivos, verificando árvores de acessibilidade/DOM.
     • API: Sonda OpenAPI/Swagger ou reconstrói rotas a partir de arquivos fonte.
     • Código: Verifica restrições internas (ex: hashing de senha) via inspeção por LLM.
   • Feedback: Gera evidências ao nível de item (estado da UI, resposta da API, localização do código) em vez de um score escalar, permitando agendas de reparo ranqueadas para rodadas subsequentes.
   • Paralelismo: Utiliza um DAG de tarefas e programação inteira para minimizar o makespan e duplicidade de configuração para verificações de estado de UI.

4. Design Experimental:

   • Grade: 10 projetos $\times$ 10 modos de colaboração = 100 configurações.
   • Iterações: Até 3 rodadas de refinamento (Construir $\to$ Implantar $\to$ Avaliar $\to$ Feedback).
   • Métricas: Pontuação de Conclusão Funcional (0–100), latência de tempo de execução (wall-clock latency), custo em USD e uso de tokens (cache de prefixo e novos).

Contribuições Principais

1. Benchmark MSEval: Uma grade de 100 casos avaliando codificação multi-agente através de projetos realistas e diversos modos de colaboração, com todas as especificações, códigos e scripts de análise liberados.
2. Runtime LegoGent: Um runtime multi-agente baseado em ativação que apresenta sincronização limitada, mensagens explícitas entre pares e validação de implantação via CI/CD.
3. Grader TAgent: Um avaliador automatizado orientado por documentos que descobre superfícies de implementação e fornece feedback acionável e ponderado para refinamento iterativo.
4. Estudo Empírico: Uma análise abrangente demonstrando que a topologia organizacional é um determinante primário do equilíbrio entre velocidade–custo–qualidade, muitas vezes rivalizando com a capacidade do modelo em influência.

Resultados

O estudo avaliou múltiplos modelos (Claude Opus 4.8, GPT-5.5, DeepSeek v4 Flash/Pro, GLM-5.2, Qwen3.6-Flash) através dos 10 modos.

• Topologia vs. Capacidade do Modelo: A topologia organizacional impacta significativamente o desempenho. Para tarefas e modelos idênticos, variar a topologia alterou as pontuações em mais de 30 pontos e dobrou o tempo de execução em alguns casos.
  • Pipelines Estruturados: Convergiram mais rápido com alta qualidade.
  • Supervisão Pesada (PM): Frequentemente degradou o desempenho devido a gargalos.
  • Open-Source/Adversarial: Mostraram ganhos substanciais nas rodadas posteriores, mas começaram com pontuações iniciais mais baixas.
• Desempenho dos Modelos:
  • Claude Opus 4.8: Alcançou as pontuações mais altas (ex: 97 no sistema de IM), mas com alto custo ($654) e tempo (110 min).
  • GPT-5.5: Alcançou pontuações comparáveis (96) com custo ($138) e tempo (74 min) significativamente menores.
  • GLM-5.2: Atingiu a maior pontuação média em toda a grade, mas foi o mais lento e caro.
  • DeepSeek v4 Pro: Uma base sólida com desempenho estável entre os modos.
• Dinâmicas de Refinamento:
  • 82,0% das transições entre rodadas mostraram melhoria de pontuação; 94,7% das execuções terminaram a Rodada 3 acima da Rodada 1.
  • Regressão: Um modo de falha distinto onde corrigir um requisito quebrava outro (ex: rodadas de supervisão de PM em sistemas de IM viram as pontuações caírem de 80,9 para 66,0 na Rodada 3).
• Taxonomia de Falhas:
  • Déficit Funcional: Dominou as falhas (56% das verificações), especificamente funcionalidades ausentes (23,8%) e lógica incompleta/casos de borda (32,2%).
  • Cascata de Pré-requisitos: Falhas de autenticação ou permissão (23% das falhas) tornaram verificações subsequentes impossíveis de testar, destacando a fragilidade dos contratos multi-agente.
  • Problemas de Integração: Falhas de segurança e transporte (8,5%) foram frequentes devido a desafios de integração CI/CD, não necessariamente erros de codificação.

Significância e Alegações

O artigo afirma que o modo de coordenação é um "cidadão de primeira classe" na codificação multi-agente, o que significa que a topologia organizacional é tão crítica quanto a escolha do modelo subjacente.

• Trade-offs Mensuráveis: O MSEval estabelece um padrão rigoroso para medir o equilíbrio velocidade–custo–qualidade, revelando que o "paralelismo" nem sempre reduz o tempo ou o custo; pode criar contextos duplicados e conflitos de mesclagem se não for gerenciado por uma topologia clara.
• Além dos Leaderboards: O benchmark desloca o foco de um único "melhor artefato" para todo o ciclo de entrega de software, tornando mensurável o impacto das políticas de colaboração (ex: quem detém os artefatos, como ocorrem as transferências).
• Implicações Práticas: Os resultados sugerem que futuros sistemas agênticos devem tratar o modo de colaboração, a seleção de modelo e as políticas de parada como decisões de runtime, e não como padrões fixos. O "melhor" modelo não é universalmente superior; a escolha ideal depende da topologia específica e das restrições de orçamento.

Os autores concluem que, embora os LLMs modernos possam construir softwares substanciais, seu sucesso é fortemente moldado pela orquestração, e os métodos de avaliação atuais devem evoluir para capturar essas dinâmicas sistêmicas.