SEMAG: Self-Evolutionary Multi-Agent Code Generation

1. Problema e Contexto

Os Grandes Modelos de Linguagem (LLMs) avançaram significativamente na geração de código, mas os métodos atuais enfrentam limitações críticas em cenários do mundo real:

• Fluxos de Trabalho Rígidos: A maioria dos sistemas utiliza profundidade de raciocínio fixa (ex: Self-Debugging ou LDB). Isso resulta em computação redundante em tarefas simples e falha em tarefas complexas devido à profundidade insuficiente de raciocínio.
• Dependência de um Único Modelo: Os pipelines geralmente estão acoplados a um único modelo base (backbone) estático. Eles não conseguem se adaptar automaticamente à evolução das capacidades dos LLMs ou a mudanças nas características da tarefa, exigindo intervenção manual para troca de modelos.
• Estagnação em Mínimos Locais: Quando o código inicial diverge significativamente do objetivo, os sistemas atuais tendem a ficar presos em mínimos locais, sem mecanismos eficazes de discussão e decisão para explorar trajetórias de raciocínio diversas.

2. Metodologia: O Framework SEMAG

O SEMAG (Self-Evolutionary Multi-Agent Code Generation) é um framework projetado para mimetizar as práticas de codificação humanas, decompondo tarefas em estágios (planejamento, codificação, depuração e discussão) e adaptando-se dinamicamente à complexidade da tarefa.

Arquitetura Hierárquica e Adaptativa

O sistema emprega uma arquitetura de quatro níveis que aumenta o esforço computacional progressivamente com base na complexidade da tarefa:

1. Nível 1 (Geração Direta): Tentativa inicial de síntese de código com prompting mínimo.
2. Nível 2 (Planejamento e Verificação): Se falhar, um agente de planejamento gera uma estrutura de solução, que é iterativamente verificada por um agente verificador através de simulação de I/O.
3. Nível 3 (Depuração Guiada por Rastreamento): Em caso de falha no planejamento, o sistema entra em um ciclo de depuração iterativa. Agentes especializados (Embedding Trace, Code Explaining, Suggesting, Debugging) analisam logs de execução e sugerem correções.
4. Nível 4 (Refinamento Colaborativo Multi-Agente): Se a depuração iterativa estagnar, o sistema ativa agentes de debate (Debating Agents) que propõem alternativas. Um agente discriminador (Discriminating Agent) seleciona a melhor configuração baseada em consenso ponderado.

Mecanismo de Transição Adaptativa

Diferente de métodos com limiares fixos, o SEMAG utiliza uma transição adaptativa baseada em similaridade de rastreamento de execução. O sistema decide quando avançar para um nível de complexidade superior analisando a divergência entre os estados das variáveis de iterações anteriores e atuais, ajustando o limiar dinamicamente conforme a complexidade da tarefa.

Mecanismo de Auto-Evolução (Self-Evolution)

Uma contribuição central é a capacidade do sistema de selecionar e atualizar automaticamente o modelo base (backbone):

• Agentes de seleção (Model Selecting Agents) buscam em tempo real informações recentes (notícias, discussões da comunidade, benchmarks) sobre novos LLMs.
• Eles filtram, resumem e avaliam candidatos com base no desempenho em subconjuntos de tarefas.
• Um mecanismo de votação ponderada decide o modelo ótimo para a tarefa específica, permitindo que o sistema aproveite os LLMs mais recentes sem intervenção humana.

3. Contribuições Principais

• Prompting Hierárquico Adaptativo: Uma estratégia dinâmica que ajusta a profundidade do raciocínio conforme a dificuldade da tarefa, otimizando o uso de tokens e melhorando a taxa de sucesso.
• Módulo de Discussão-Decisão: Permite que agentes critiquem e fundam soluções, ajudando o sistema a escapar de ótimos locais e a explorar trajetórias de raciocínio diversas.
• Seleção de Modelo Auto-Evolucionária: Um framework que identifica e implanta automaticamente os backbones mais adequados, garantindo adaptabilidade contínua às capacidades emergentes dos LLMs.
• Desempenho de Estado da Arte (SOTA): O framework alcançou novos recordes em sete benchmarks de geração de código.

4. Resultados Experimentais

O SEMAG foi avaliado em sete benchmarks (HumanEval, MBPP, HumanEval-ET, MBPP-ET, APPS, LiveCode, CodeContests):

• Desempenho Geral:
  • No HumanEval, alcançou 98.8% de precisão (Pass@1) usando GPT-4o.
  • No MBPP, alcançou 87.6%.
  • No LiveCode, alcançou 65.0%.
• Comparação com o Estado da Arte (LPW):
  • Usando o mesmo backbone (GPT-4o), o SEMAG superou o método anterior mais forte (LPW) em 3.3% no benchmark difícil CodeContests (38.0% vs 34.7%).
  • Em benchmarks fundamentais, as melhorias variaram de 1.8% a 6.0%.
• Impacto da Auto-Evolução:
  • Quando o mecanismo de seleção de modelo foi ativado, o SEMAG identificou automaticamente o Claude-3.7-Sonnet como o modelo ideal para CodeContests, elevando a precisão para 52.6%, um salto significativo em relação ao GPT-4o (38.0%).
• Eficiência de Tokens:
  • A estratégia hierárquica reduziu o consumo de tokens em 15,5% a 19,3% em tarefas simples (HumanEval, MBPP) em comparação com métodos de profundidade fixa, mantendo ou melhorando a precisão.

5. Significado e Conclusão

O SEMAG representa um avanço significativo na automação de desenvolvimento de software ao introduzir adaptabilidade dinâmica tanto no nível do fluxo de trabalho (quantas etapas de raciocínio são necessárias) quanto no nível da infraestrutura (qual modelo de IA é o melhor).

Sua principal inovação reside na capacidade de auto-evolução, permitindo que o sistema se mantenha atualizado com o rápido avanço dos LLMs sem reengenharia manual. Além disso, a abordagem de "divisão de trabalho" com agentes especializados e mecanismos de debate demonstra que a colaboração multi-agente é superior à geração de código isolada, especialmente em problemas complexos e abertos. O trabalho estabelece um novo padrão de eficiência e eficácia, sugerindo que o futuro da codificação por IA dependerá de sistemas que podem evoluir e se adaptar autonomamente.