Inside the Scaffold: A Source-Code Taxonomy of Coding Agent Architectures

Título: Dentro do Scaffold: Uma Taxonomia de Código-Fonte de Arquiteturas de Agentes de Codificação

Autor: Benjamin Rombaut (Centre for Software Excellence, Huawei Canada)
Contexto: Análise de 13 agentes de codificação open-source em hashes de commit específicos.

---

1. O Problema

Os agentes de codificação baseados em Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis em localizar bugs, gerar patches e executar testes com supervisão humana mínima. No entanto, a literatura atual possui lacunas significativas:

• Falta de Compreensão do "Scaffold": A maioria das pesquisas foca nas capacidades abstratas do agente (uso de ferramentas, planejamento, reflexão) ou analisa o comportamento em tempo de execução (trajetórias), ignorando o código de scaffold (o código que envolve o LLM, incluindo loops de controle, definições de ferramentas, gerenciamento de estado e estratégias de contexto).
• Classificação Insuficiente: As taxonomias existentes agrupam sistemas distintos sob rótulos genéricos (ex: "agente reflexivo"), falhando em distinguir arquiteturas fundamentalmente diferentes que impactam custo, confiabilidade e modos de falha.
• Conflito de Variáveis: Estudos empíricos anteriores frequentemente confundem o desempenho do agente com a capacidade do modelo subjacente, pois não isolam as escolhas arquiteturais do scaffold.

O objetivo deste trabalho é preencher essa lacuna fornecendo uma taxonomia baseada em código-fonte que descreva como os agentes são construídos, permitindo uma comparação precisa entre sistemas de produção.

---

2. Metodologia

O estudo adota uma abordagem de análise qualitativa de caso focada no nível de implementação:

• Corpus: 13 agentes de codificação open-source (ex: Aider, SWE-agent, OpenHands, Cline, Moatless Tools, etc.), selecionados por adoção comunitária (GitHub stars) e relevância em benchmarks (SWE-bench).
• Reprodutibilidade: Todas as análises foram realizadas em hashes de commit fixos (pinned commits) para garantir que os resultados sejam reproduzíveis e não afetados pelo desenvolvimento contínuo dos projetos.
• Dimensões de Análise: O framework foi desenvolvido iterativamente (codificação aberta) e organizado em 3 camadas e 12 dimensões:
  1. Arquitetura de Controle: Como o agente decide o próximo passo (topologia do loop, driver do loop, implementação do fluxo de controle).
  2. Interface de Ferramentas e Ambiente: Como o agente interage com o código e o sistema de execução (conjunto de ferramentas, formato de edição, descoberta de ferramentas, recuperação de contexto, isolamento de execução).
  3. Gerenciamento de Recursos: Como o agente lida com limites de contexto, custo e estado (gerenciamento de estado, compactação de contexto, roteamento multi-modelo, memória persistente).
• Evidência: Cada afirmação taxonômica é ancorada em caminhos de arquivo e números de linha específicos dos repositórios clonados.

---

3. Principais Contribuições

1. Primeira Taxonomia Comparativa em Nível de Implementação: Uma estrutura detalhada baseada em código-fonte que vai além das descrições conceituais, permitindo a comparação direta de estratégias de design entre 13 sistemas distintos.
2. Descoberta Empírica de Espectros Contínuos: A demonstração de que as arquiteturas de scaffold não se encaixam em categorias discretas, mas ocupam posições em espectros contínuos.
3. Base de Evidências Reutilizável: Um conjunto de dados detalhado, vinculado a commits específicos, servindo como referência para pesquisadores e praticantes que desejam projetar novos scaffolds ou estudar o comportamento de agentes.

---

4. Resultados e Descobertas Chave

A. Arquitetura de Controle (Camada 1)

• Estratégias de Loop: Os agentes variam desde pipelines fixos sem feedback (ex: Agentless) até buscas em árvore completas com retropropagação de recompensa (ex: Moatless Tools usando MCTS - Monte Carlo Tree Search).
• Primitivas Compostas: Os agentes não usam um único tipo de loop, mas combinam primitivas (ReAct, gerar-testar-reparar, planejar-executar, retry múltiplo, busca em árvore) de forma composicional. 11 dos 13 agentes combinam múltiplas primitivas.
• Driver do Loop: Uma distinção fundamental é quem decide o próximo passo: o usuário (ex: Aider), o próprio scaffold (ex: AutoCodeRover) ou o LLM (ex: OpenHands). Isso impacta diretamente a estratégia de recuperação de contexto.

B. Interface de Ferramentas e Ambiente (Camada 2)

• Convergência de Capacidades: Embora o número de ferramentas varie drasticamente (de 0 em Aider a 37 classes em Moatless Tools), as categorias de capacidade convergem para quatro operações essenciais: ler, pesquisar, editar e executar código.
• Formato de Edição: Há uma tendência de convergência para a substituição de strings exatas (str replace) em vez de diffs unificados ou baseados em números de linha, devido à maior confiabilidade para LLMs.
• Isolamento de Execução: Varia desde a execução local sem sandbox (dependendo da supervisão humana) até containers Docker completos ou execução especulativa em memória (shadow mode) para agentes de busca em árvore.

C. Gerenciamento de Recursos (Camada 3)

• Compactação de Contexto: Estratégias variam de "nenhuma gestão" (crash ao exceder janela) até compactação baseada em LLM com verificação. Divide-se entre abordagens de "prevenção" (limitar crescimento estruturalmente) e "cura" (resumir quando necessário).
• Gerenciamento de Estado: Varia desde sobrescrita destrutiva de mensagens até arquiteturas baseadas em Event Sourcing (ex: OpenHands), que mantêm um histórico imutável.
• Roteamento Multi-Modelo: Muitos agentes usam múltiplos modelos para otimizar custos (modelos baratos para tarefas mecânicas, caros para raciocínio) ou segurança (um modelo avaliando as ações de outro).

D. Temas Transversais

• Amostragem vs. Iteração: Diferença entre gerar múltiplos patches independentes e selecionar o melhor (amostragem) versus refinar um único patch com base em feedback (iteração).
• Delegação de Sub-agentes: Mecanismos emergentes onde o agente principal cria instâncias secundárias para tarefas específicas, com diferentes graus de controle (pelo LLM ou pelo scaffold).
• Maturidade do Ecossistema: O uso de "forks" de código em vez de extensões modulares sugere que o ecossistema ainda não estabilizou em pontos de extensão limpos, embora existam sinais de modularização (ex: arquitetura de duplo fluxo do Moatless Tools).

---

5. Significado e Implicações

• Para Pesquisadores: A taxonomia fornece o vocabulário necessário para descrever diferenças arquiteturais, permitindo experimentos controlados. Por exemplo, comparar agentes com o mesmo conjunto de ferramentas, mas loops de controle diferentes, para isolar o impacto do design do scaffold no desempenho.
• Para Praticantes: Oferece um mapa do espaço de design, mostrando que decisões como "usar busca em árvore" ou "como compactar contexto" não são binárias, mas espectros com trade-offs específicos de custo e robustez.
• Avaliação de Agentes: O trabalho argumenta que benchmarks atuais (como SWE-bench) confundem a capacidade do modelo com a arquitetura do scaffold. A taxonomia permite criar métricas de avaliação conscientes da arquitetura, ligando componentes internos a resultados observáveis.
• Padronização: Enquanto há convergência em capacidades básicas (leitura/escrita), a falta de padronização em interfaces de ferramentas e protocolos de contexto impede a interoperabilidade e a reutilização eficiente de componentes.

Conclusão

O artigo demonstra que a arquitetura de agentes de codificação é um espaço de design combinatório e contínuo, não categórico. A compreensão detalhada do código de scaffold é essencial para avançar o campo, pois são essas escolhas de implementação (e não apenas a escolha do modelo de linguagem) que determinam a confiabilidade, o custo e a eficácia dos agentes em cenários do mundo real.