Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work

Resumo Técnico: Contratos de Delegação de Software em Trabalho de Agentes de Codificação de IA

Definição do Problema
À medida que os agentes de codificação de IA transitam da conclusão interativa para a execução delegada — aceitando tarefas, operando dentro de uma autoridade delimitada e retornando pacotes de trabalho para revisão humana — a questão crítica para os supervisores humanos muda de "O patch funciona?" para "Consigo revisar isto?". O trabalho conceitual anterior propôs o contrato de delegação de software (definido como a tupla de Tarefa, Autoridade, Pacote de Trabalho e Contexto de Aceitação) como a unidade de análise para essa relação. No entanto, este framework carecia de validação empírica. Este artigo aborda essa lacuna investigando se tornar o contrato de delegação explícito melhora a revisabilidade dos pacotes de trabalho retornados e quantifica os custos associados.

Metodologia
Os autores conduziram um estudo piloto controlado usando um suporte experimental construído especificamente para este fim:

• Ambiente: Uma API HTTP em TypeScript sem dependências (~600 linhas) com 29 testes. Dez tarefas foram semeadas em cinco famílias (correções de testes falhos, bugs de validação, testes ausentes, refatorações de escopo e atualizações de documentação), cada uma com defeitos de verdade fundamental (ground-truth) e problemas latentes específicos.
• Agentes: As execuções foram realizadas usando dois níveis de modelos (Claude Sonnet 4.6 e Haiku 4.5) dentro de um sandbox delimitado (sem rede, sem dependências externas, sem commits).
• Condições: 64 execuções totais foram distribuídas em três condições:
  1. Linha de Base (A): Um prompt realista de estilo de problema com dicas de escopo naturais.
  2. Contrato Explícito (B): Um documento estruturado definindo objetivos, não-objetivos, limites de autoridade e evidências necessárias.
  3. Contrato + Pacote de Evidências (C): Condição B acrescida de um template obrigatório para o pacote de trabalho (incluindo riscos residuais e checklists para o revisor).
• Avaliação:
  • Pontuação Mecânica: Verificações automatizadas para testes de aceitação ocultos, testes de mutação (injeção de defeitos para verificar novos testes) e violações de escopo.
  • Revisão Cega: Três revisores independentes baseados em modelo (Sonnet 4.6) pontuaram cada pacote de trabalho em uma rubrica fixa (192 revisões no total) cobrindo suficiência de evidência, ambiguidade, conformidade de escopo e confiança. Os revisores estavam cegos para os rótulos das condições.
  • Análise: Análise estatística pareada (Wilcoxon signed-rank, Cliff's delta) comparou a Linha de Base vs. as condições de Contrato.

Principais Resultados

1. Resultados Objetivos Saturaram: Todas as 64 execuções passaram nos testes de aceitação ocultos e testes de mutação. Nenhuma violação de escopo ocorreu em qualquer condição. Em tarefas pequenas e bem especificadas com modelos capazes, o contrato explícito não melhorou a corretude do código; ambas as condições atingiram sucesso objetivo quase perfeito.
2. A Revisabilidade Melhorou Significativamente:
   • Suficiência de Evidência: Melhorou em +0,83 pontos (em uma escala de 5 pontos) em 22 de 30 comparações pareadas, sem casos de piora ($p < 0,0001$, Cliff's $\delta = 0,66$).
   • Ambiguidade: Diminuiu significativamente ($p = 0,035$).
   • Elementos Estruturados: Sob as condições de contrato, elementos estruturados apareceram quase exclusivamente quando exigidos. Por exemplo, "Arquivos alterados listados com razões" subiu de 7% (Linha de Base) para 93% (Contrato), e "Limitações conhecidas" subiu de 0% para 80%. Crucialmente, "Riscos residuais" e "Checklists para o revisor" apareceram em 0% das execuções da Linha de Base, mas em 100% das execuções onde o pacote de evidências os exigiu explicitamente.
3. Sobrecarga de Custo: O contrato explícito incorreu em custos mensuráveis:
   • Tokens do agente aumentaram 13%.
   • O tempo de execução (wall-clock time) aumentou 38%.
   • Invocações de ferramentas aumentaram 23%.
   • O tamanho do patch aumentou 44,7% (impulsionado principalmente por testes adicionais, não por mudanças no código de produção).
4. Efeitos do Nível do Modelo: O benefício dos contratos foi aproximadamente duas vezes maior para o nível de modelo mais fraco (Haiku), sugerindo que os contratos substituem parcialmente a disciplina de relatório que modelos mais fortes exibem espontaneamente.

Principais Contribuições

• Suporte Experimental: Um framework reutilizável para estudos de contrato de delegação, apresentando um repositório de tarefas semeadas, prompts pareados, verificações de aceitação/mutação ocultas e um pipeline de revisão cega.
• Comparação Empírica: A primeira comparação pareada de delegação apenas por prompt versus baseada em contrato, resultando em 64 execuções e 192 revisões cegas.
• Validação de Mecanismo: Evidência de que contratos de delegação funcionam primariamente como um mecanismo de revisabilidade em vez de um mecanismo de corretude para tarefas pequenas.
• Padrões de Design: Recomendações concretas para construtores de suportes de agentes, como exigir listas de "arquivos-alterados-com-razões" e seções de "limitações-conhecidas", enquanto reconhecem a sobrecarga de ~15% em tokens e ~40% em latência.

Significância e Alegações
O artigo conclui que, para tarefas pequenas e bem especificadas tratadas por modelos capazes, o retorno marginal de um contrato explícito sobre a qualidade do resultado é zero porque os resultados já saturam. No entanto, o retorno sobre a evidência é grande e uniforme. Os autores afirmam que o contrato de delegação é uma camada de controle que molda o pacote de trabalho (o artefato apresentado para revisão) mais do que o trabalho (o código em si).

O estudo postula que "a evidência é elástica à demanda": agentes não fornecem espontaneamente todo o contexto necessário para a revisão (ex: riscos residuais, checklists) a menos que sejam explicitamente contratados para fazê-lo. Portanto, para que um delegado de software seja útil, seu trabalho deve ser revisável, e o contrato de delegação é um instrumento prático para garantir essa revisabilidade. Os autores observam que iterações futuras devem testar tarefas mais difíceis onde as execuções de linha de base possam falhar ou desviar para medir o impacto do contrato no controle de autoridade e na redução de erros.