Resumo Técnico: Dívida de Handoff: O Custo da Redescoberta Quando Agentes de Codificação Assumem o Controle

Declaração do Problema

Os atuais benchmarks de agentes de codificação, como o SWE-bench, avaliam se um único agente ininterrupto consegue resolver um problema de um repositório. Embora eficaz para medir a capacidade bruta do modelo em tarefas isoladas, essa abstração ignora um cenário pervasivo do mundo real: a tomada de controle (takeover). Na prática, o trabalho de software é frequentemente interrompido, reatribuído ou retomado a partir de estados parciais deixados por outro agente ou engenheiro.

O problema central é que o progresso parcial de um predecessor só é valioso se um sucessor puder compreendê-lo. Quando um predecessor deixa um estado opaco ou incompleto (ex: edições não explicadas, arquivos de rascunho, suposições ocultas ou evidências de validação ausentes), o sucessor incorre em um custo de redescoberta. O artigo define esse custo como dívida de handoff (handoff debt): o esforço adicional que um agente sucessor deve despender para reconstruir a intenção, a evidência e os artefatos intermediários do predecessor antes de continuar a tarefa. Uma métrica baseada apenas na resolução final falha em distinguir entre uma continuação eficiente e uma redescoberta custosa.

Metodologia

Os autores introduzem um protocolo de takeover para medir a dívida de handoff, convertendo tarefas padrão do SWE-bench Verified em tarefas de ponto de handoff.

Configuração Experimental

• Tarefas de Origem: 75 tarefas do SWE-bench Verified (níveis de dificuldade de 15 minutos a 4 horas).
• Predecessor: Um único agente (Qwen) inicia cada tarefa.
• Pontos de Interrupção: O predecessor é interrompido em pontos de handoff determinísticos e observáveis:
  1. Após a primeira edição de código fonte.
  2. Após o primeiro resultado de validação (build, lint ou teste).
  3. Após a primeira edição pós-falha.
• Sucessores: Três modelos (Qwen, Gemma, Devstral) retomam a tarefa a partir do repositório com checkpoint.
• Visualizações de Handoff (Handoff Views): O protocolo avalia quatro formatos de contexto fornecidos ao sucessor:
  1. Apenas Repositório: O sucessor recebe apenas o estado do sistema de arquivos com checkpoint e o prompt original da tarefa.
  2. Trace Bruto (Raw Trace): O sucessor recebe o log de eventos completo e não estruturado do predecessor (comandos, edições, observações, falhas).
  3. Notas de Resumo (Summary Notes): O sucessor recebe notas em linguagem natural de formato livre geradas a partir do log de eventos do predecessor.
  4. Notas Estruturadas (Structured Notes): O sucessor recebe um registro conciso de campos fixos (um "contrato de continuação") contendo arquivos alterados, evidência de validação, incerteza e riscos de rollback. Alguns campos são preenchidos deterministicamente a partir dos logs; outros são preenchidos pelo modelo predecessor.

Métricas

• Resultado Primário: Resolução oficial do SWE-bench (o repositório com o patch passa na validação?).
• Métricas de Custo:
  • Eventos do Agente: O número de interações com ferramentas e ações necessárias.
  • Tokens de Prompt Cumulativos: O consumo total de tokens, refletindo o volume de informações processadas.
• Estados de Handoff: As tarefas são rotuladas pelo estado do repositório no momento da tomada de controle (ex: "Necessita conclusão", "Já resolvido; preservar", "Comportamento existente quebrado").

Principais Contribuições

1. Formulação da Dívida de Handoff: Definir a dívida de handoff como uma propriedade mensurável das tomadas de controle de agentes de codificação que captura o custo de herdar um trabalho parcial, separando a capacidade de retomada da capacidade bruta do modelo.
2. Protocolo de Takeover: Um método para converter tarefas do SWE-bench em tarefas de ponto de handoff, gerando 181 pontos de handoff e 2.172 execuções de takeover através de três modelos sucessores.
3. Isolamento de Visualizações de Handoff: Uma comparação controlada mantendo o predecessor, o ponto de handoff e o estado do repositório fixos, variando apenas a visualização de handoff para isolar o efeito do formato de contexto.
4. Esquema de Handoff Estruturado: A proposta de um contrato de continuação delimitado com campos fixos para arquivos alterados, evidência de validação, incerteza e verificação, projetado para tornar os handoffs auditáveis e reutilizáveis.
5. Evidência Empírica sobre Redescoberta: Demonstração de que o contexto do predecessor reduz primariamente o esforço de redescoberta (eventos do agente e tokens), mesmo quando os ganhos na taxa de resolução final são modestos.

Resultados

O estudo descobriu que handoffs com suporte de contexto reduzem consistentemente os custos de redescoberta em todos os três modelos sucessores, embora o impacto nas taxas de resolução final varie.

• Ganhos de Eficiência: Comparado à linha de base "Apenas Repositório", os handoffs com suporte de contexto reduziram significativamente os eventos medianos do agente e os tokens de prompt cumulativos:
  • Trace Bruto: Reduziu os eventos medianos do agente em 57–59% e os tokens de prompt em 42–63%.
  • Notas de Resumo: Reduziu os eventos medianos do agente em 20–46% e os tokens de prompt em 42–63%.
  • Notas Estruturadas: Reduziu os eventos medianos do agente em 20–46% e os tokens de prompt em 42–63%.
• Efeitos na Taxa de Resolução: As melhorias nas taxas de resolução foram positivas, mas menos consistentes e dependentes do modelo. Os traces brutos mostraram os maiores ganhos (ex: +14,9 pontos percentuais para Qwen-para-Devstral), enquanto os ganhos baseados em notas foram menores e às vezes estatisticamente insignificantes, dependendo do modelo.
• Sensibilidade ao Ponto de Handoff: O ponto "Após a primeira edição pós-falha" incorreu na maior dívida de redescoberta para sucessores de apenas repositório (mediana de 122–191 eventos do agente). As visualizações com suporte de contexto forneceram as maiores melhorias na taxa de resolução nesta etapa, pois transmitiam evidências críticas de falha que o estado do repositório sozinho não poderia transmitir.
• Sensibilidade ao Estado: Em cenários de "Necessita conclusão" (onde a tarefa estava inacabada), os sucessores de apenas repositório resolveram apenas 13,6–23,6% das tarefas, enquanto as visualizações com suporte de contexto elevaram esse número para 23,6–28,2%.
• Trade-offs: Embora os Traces Brutos oferecessem a maior densidade de informação, eles resultaram em prompts iniciais massivos (mediana de 87k caracteres vs. ~10k para notas). No entanto, esse contexto inicial grande frequentemente reduzia o total de tokens ao evitar explorações redundantes posteriormente.

Significância e Alegações

O artigo afirma que a avaliação de agentes de codificação deve evoluir além de métricas binárias de sucesso/falha para incluir o custo de retomada.

• Mudança de Avaliação: Os benchmarks devem relatar não apenas se uma tarefa foi resolvida, mas também quão custoso é para outro agente retomá-la. Uma tarefa resolvida por um agente que deixa um estado opaco cria "dívida" para o próximo agente, o que é um modo de falha crítico na engenharia de software colaborativa.
• Implicações Práticas:
  1. Relatórios: Os benchmarks devem relatar a dívida de handoff juntamente com a resolução final para avaliar a compreensibilidade, verificabilidade e capacidade de retomada.
  2. Design de Fluxo de Trabalho: Sistemas de agentes devem tratar a saída de handoff como uma parte deliberada do fluxo de trabalho (ex: gerando notas estruturadas ou contratos delimitados) em vez de apenas registrar uma execução quando ela para.
• Modéstia: Os autores observam que suas conclusões são específicas para o tempo de execução estilo OpenHands e o conjunto de tarefas selecionado. Eles não alegam classificar modelos universalmente, mas sim isolar os efeitos dos formatos de handoff. Eles reconhecem que, embora as notas estruturadas sejam promissoras, elas requerem verificação, pois os sucessores podem confiar excessivamente nas interpretações do predecessor.

As descobertas sugerem que a "desordem" do trabalho de software do mundo real — interrupções e handoffs — é uma dimensão fundamental do desempenho de agentes de codificação que os benchmarks atuais negligenciam.