Is Agent Code Less Maintainable Than Human Code?

Resumo Técnico: O Código de Agentes é Menos Mantível que o Código Humano?

Declaração do Problema
Embora os agentes de codificação tenham demonstrado um forte desempenho em tarefas de engenharia de software de questão única, permanece incerto o quão mantível é o seu código quando futuros agentes constroem sobre ele. Um patch pode passar nos testes e ser funcionalmente correto, mas introduzir complexidade estrutural, abstrações frágeis ou escolhas de implementação confusas que levam a falhas durante a extensão ou modificação subsequente. As avaliações atuais frequentemente dependem de métricas estáticas (ex: complexidade ciclomática, volume de Halstead) ou resolução de tarefa de etapa única, que podem não capturar os efeitos cumulativos do código autoria de agentes em comparação ao código de autoria humana.

Metodologia: O Framework CodeThread
Para abordar isso, os autores introduzem o CodeThread, um framework projetado para construir experimentos controlados comparando a mantibilidade do código de agentes versus o código humano em um cenário de nível de repositório.

1. Transformação de Tarefa: O CodeThread converte benchmarks padrão de questão única (ex: SWE-Bench, FeatBench) em cadeias de pull-requests de duas etapas:
   • Tarefa de Implementação (PR0 → PR1): Uma tarefa inicial onde a funcionalidade é restaurada a partir de um código esqueleto.
   • Questão de Seguimento (PR1 → PR2): Uma tarefa dependente subsequente (a questão original do benchmark) aplicada à implementação do PR1.
2. Condições de Autoria: O framework cria três cenários comparáveis para isolar o efeito da autoria:
   • HH: Humano realiza o PR1, Humano realiza o PR2 (Baseline).
   • HA: Humano realiza o PR1, Agente realiza o PR2.
   • AA: Agente realiza o PR1, Agente realiza o PR2.
   • Ao comparar AA contra HA (mantendo o autor do agente subsequente fixo), o estudo isola o ônus de mantibilidade imposto pelo código inicial do agente.
3. Configuração Experimental: O framework foi aplicado a quatro modelos de fronteira (Claude 4.5 Sonnet, GPT-5, GLM 4.7, MiniMax 2.5) através de quatro benchmarks (SWE-Bench Verified, SWE-Bench Multilingual, SWE-Bench Pro, FeatBench), cobrindo correções de bugs, implementações de funcionalidades e refatoração.
4. Análise: Os autores analisaram instâncias "discordantes" (onde HA e AA produziram resultados diferentes) usando regressão logística. As características incluíram métricas de mantibilidade estática (Complexidade Ciclomática, Complexidade Cognitiva, Volume de Halstead, Linhas Lógicas de Código), localização de patch (sobreposição de Jaccard de arquivos/funções editados), rótulos de deriva de comportamento (especificamente Mudança de Contrato de Entrada/Erro ou IEC) e controles de dificuldade de instância.

Resultados Principais

• Queda de Desempenho Subsequente: Agentes são menos eficazes em resolver tarefas subsequentes ao construir sobre código de agentes em comparação com código humano. Em todos os modelos e benchmarks, a condição AA geralmente apresentou desempenho inferior à condição HA, com quedas na taxa de resolução de tarefas de até 13,1% (observado com GLM 4.7 no SWE-Bench Pro).
• Variância por Tipo de Tarefa: A lacuna de desempenho variou conforme o tipo de tarefa. Tarefas de refatoração mostraram a maior queda média (8,21%), seguidas por implementação de funcionalidades (6,25%) e correções de bugs (4,05%).
• Limitações de Métricas Estáticas: A análise de regressão revelou que métricas tradicionais de mantibilidade estática (ex: complexidade, verbosidade) geralmente não explicaram a diferença de desempenho entre HA e AA.
• Direcionadores Comportamentais: Os preditores mais claros de falha na condição AA foram diferenças comportamentais sutis no código inicial do agente:
  • Deriva de Contrato de Entrada/Erro (IEC): Mudanças na validação de entrada ou tratamento de erros (ex: alteração de tipos de exceção ou valores padrão) aumentaram significativamente as chances de a condição HA ter sucesso enquanto a condição AA falhava (Razão de Chances: 1,83).
  • Tamanho do Código Subsequente: Instâncias onde o PR2 do agente envolveu edições maiores (mais linhas de código) em relação ao baseline humano foram mais propensas a falhar (Razão de Chances para aumento de LLOC: 1,88).
  • Persistência: Em 85,9% dos casos discordantes, a deriva de IEC do PR1 persistiu no PR2, e em 20,6% dos casos, essa deriva causou diretamente a falha subsequente.

Principais Contribuições

1. Framework CodeThread: Um método escalável para estudar a mantibilidade do código de agentes através de cadeias de pull-requests de duas etapas, aplicável a qualquer benchmark de SWE.
2. Evidência Empírica de Custos de Mantibilidade: Demonstração de que o código autoria de agentes é, no geral, menos mantível para o trabalho subsequente de agentes do que o código de autoria humana, levando a quedas mensuráveis na resolução de tarefas subsequentes.
3. Análise de Causa Raiz: Identificação de que métricas estáticas tradicionais falham em capturar a lacuna de mantibilidade; em vez disso, a lacuna surge de derivações comportamentais sutis (especificamente em validação de entrada e tratamento de erros) e diferenças na magnitude de edição subsequente.

Significância e Alegações
O artigo argumenta que os agentes de codificação introduzem custos de mantibilidade que se acumulam à medida que seu código é reutilizado ou estendido, efeitos que os benchmarks e métricas estáticas atuais não capturam. Os autores alegam que os sistemas de avaliação devem mudar o foco de apenas a resolução imediata da tarefa para a avaliação da mantibilidade de longo prazo. Eles sugerem que, à medida que as contribuições de agentes se tornam uma parcela maior das bases de código, as salvaguardas e práticas de revisão devem evoluir para considerar esses riscos subsequentes. O estudo não argumenta contra o uso de agentes de codificação, mas clama por uma avaliação mais informada de seu impacto de longo prazo no ciclo de vida do desenvolvimento de software.