Resumo Técnico: O Conjunto de Trabalho de um Agente de Codificação: Dívida de Coerência em Tarefas de Escala de Repositório

Declaração do Problema

A codificação em escala de repositório exige que os agentes mantenam a consistência entre testes, importações, configurações e regras de migração dentro de uma janela de contexto limitada. Os métodos de avaliação atuais observam frequentemente apenas o patch final, perdendo um modo de falha crítico: uma edição em um arquivo só é correta se permanecer consistente com fatos em outros lugares do repositório. Os agentes devem reconstruir este "grafo de fatos acoplados" através de leituras, edições e testes, mas nenhuma estrutura externa é fornecida.

O problema central é a disponibilidade de fatos acoplados no momento de uma edição. Um agente tem dois canais para obter um fato necessário:

1. Contexto Recente ($R_t$): Fatos residentes na janela de contexto efetiva (provenientes de leituras ou fornecimento de prompt).
2. Memória Paramétrica ($K_M$): Fatos retidos nos pesos do modelo.

Se nenhum dos canais cobrir um fato necessário, a edição prossegue a partir de uma visão incompleta. Os autores definem essa carência como dívida de coerência. Diferente das páginas de memória virtual, os fatos do repositório carecem de endereços ou bits de invalidação; uma implementação obsoleta e uma regra em prosa podem codificar versões diferentes do mesmo fato, e o agente não consegue distinguir inerentemente qual é a atual.

Metodologia

O artigo emprega um design experimental controlado para isolar os efeitos da disponibilidade de fatos, substituindo o conhecimento, e o impacto da distância dentro da janela de contexto.

1. Estrutura Teórica

Os autores modelam uma tarefa $T$ como um grafo de fatos acoplados $G_T = (V_T, E_T)$, onde os nós são fatos atômicos (símbolos, testes, configurações) e as arestas representam requisitos de consistência.

• Dívida de Coerência ($D(e_i)$): Definida como o número de fatos exigidos por uma edição $e_i$ que não são cobertos nem pelo contexto recente nem pela memória paramétrica:
  $$D(e_i) = |C_T^{(i)} \setminus (R_{t_i} \cup K_M)|$$
• Proxy Observável: Como a retenção de contexto interno é inobservável em logs históricos, os autores utilizam um escore de residência ($\rho_w$), medindo a fração dos vizinhos de importação de um salto de um arquivo lidos nos $w$ eventos de ferramenta precedentes. Eles reconhecem que este é um limite inferior da cobertura total, pois ignora fatos paramétricos e dependências de não-importação.

2. Cargas de Trabalho Experimentais

O estudo utiliza quatro migrações de API fictícias (Sprocket, Grimwire, Kestrix, Zynet) e uma migração real de Pydantic, desenhadas para controlar a disponibilidade de fatos:

• Ensaios de Livro Fechado (Closed-Book): O modelo recebe a descrição da tarefa, mas nenhum workspace ou ferramentas ($R_t \approx \emptyset$). Isso testa os limites da memória paramétrica.
• Ensaios com Carga Frontal (Front-Loaded): As regras exatas e os arquivos fonte são fornecidos no prompt, testando se o contexto pode substituir a falta de conhecimento prévio.
• Ensaios de Renomeação (Renamed): Uma migração de Pydantic onde os nomes da API são renomeados lexicalmente para derrotar a memória paramétrica enquanto preservam o comportamento.
• Injeção de Falha Sintética: Tarefas onde os autores constroem o acoplamento (ex: um literal secreto ligando três arquivos) e retêm sistematicamente fatos específicos para medir o impacto linear da dívida.
• Distância e Inchaço (Bloat): Experimentos variando a distância dos fatos fornecidos em relação ao ponto de edição e inserindo conteúdo irrelevante em arquivos versus documentos isolados.

3. Medição

Os autores analisam trajetórias usando fluxos de eventos (leituras, edições, testes, reversões) e medem:

• Sucesso: Passar em suítes de teste ou atender a requisitos mecânicos de migração.
• Dívida de Coerência: Calculada via conhecimento de verdade fundamental em tarefas sintéticas ou inferida via proxy de residência em tarefas reais.
• Consumo de Tokens: Comparando o custo de diferentes políticas de harness para alcançar o mesmo conjunto de trabalho.

Principais Contribuições

1. Quantificação da Dívida de Coerência: O artigo estabelece que reter fatos custa exatamente o trabalho que eles suportam, sem danos compostos. O dano é linear e aditivo através do grafo de fatos acoplados.
2. Substituição de Canal: Demonstra que o contexto recente e a memória paramétrica são canais substituíveis. Fornecer fatos via prompt restaura as taxas de sucesso para níveis próximos ao teto, mesmo quando o modelo carece de conhecimento prévio.
3. Presença vs. Distância: O estudo fornece evidências de que a disponibilidade determina o resultado, enquanto a distância não parece degradar a utilidade dentro dos intervalos testados. Os autores relatam que os fatos fornecidos permanecem utilizáveis no extremo de um contexto de 128k+ tokens, observando que estes experimentos limitam (bound) grandes efeitos relativos à distância, em vez de excluir pequenos efeitos. O mecanismo identificado é a presença, não a proximidade.
4. Compensação Comportamental: Agentes não se abstêm quando fatos estão faltando; eles fabricam arquivos ou adivinham valores. Consequentemente, instrumentos baseados em "leituras" (como o escore de residência) frequentemente falham em detectar fatos ausentes porque o agente preenche o vazio com trabalho incorreto.
5. Autoridade de Padrões: Quando um padrão escrito e o código em execução discordam, os agentes seguem o padrão escrito, mesmo que este prescreva um código pior. Um arquivo de convenção desatualizado é mais prejudicial do que a ausência de um arquivo.
6. Limitações de Métricas Atuais: O artigo mostra que escores de residência e métricas baseadas em leitura não predizem o sucesso em repositórios reais (ex: SWE-bench), onde os modelos provavelmente já possuem os fatos relevantes em memória paramétrica, tornando o canal de "leitura" menos decisivo.

Principais Resultados

• Piso de Livro Fechado (Closed-Book Floor): Em 154 ensaios de livro fechado em APIs novas, nenhum modelo completou uma única migração (0/12 requisitos). Fornecer os fatos no prompt elevou 299/300 ensaios para pelo menos 9/12 requisitos.
• Falha por Memorização: Quando os nomes da API foram renomeados para derrotar a memória paramétrica, sete modelos diferentes falharam no exato mesmo ponto, passando os idênticos 24 de 79 testes.
• Dano Linear: Reter $m$ motivos (cada um suportando 4 testes) resultou em uma perda de exatamente $4m$ testes passados. Não houve falha composta.
• Independência de Distância: As taxas de sucesso permaneceram constantes, independentemente de os fatos fornecidos estarem a 0 ou 128.000 caracteres de distância da edição. Os autores observam que estes braços estão no teto, portanto, eles limitam (bound) grandes efeitos em vez de excluir pequenos.
• Ineficiência do Harness: Diferentes configurações de harness que alcançaram 100% de aprovação de testes variaram em 12,8x no consumo de tokens, puramente devido a diferentes taxas de refetch (reenvio do histórico da conversa), não por diferenças no tamanho do conjunto de trabalho.
• Fabricação vs. Bloqueio: Quando fatos foram retidos, os agentes raramente reportaram estar bloqueados. Em vez disso, fabricaram arquivos faltantes ou adivinharam valores. A taxa de sinais de "bloqueio" variou drasticamente por modelo (0% a 100%), tornando-a uma métrica pouco confiável para detecção de dívida.
• Nulo do SWE-bench: No SWE-bench, onde os modelos provavelmente conhecem os repositórios, o escore de residência (uma métrica baseada em leitura) falhou em predizer o sucesso (AUC $\approx$ 0.49), sugerindo que para bases de código familiares, o canal de "leitura" não é o fator limitante.

Significância e Alegações

O artigo argumenta que a dívida de coerência é o gargalo primário na codificação em escala de repositório, não o volume de contexto ou a complexidade da tarefa.

• Para o Design de Harness: O sucesso depende de manter os fatos acoplados ao próximo edit disponíveis (atuais e consistentes) no momento da escrita. Os harnesses devem focar em garantir a disponibilidade de fatos, em vez de simplesmente aumentar o tamanho da janela de contexto ou o volume de recuperação.
• Para Avaliação: As métricas atuais baseadas em "leituras" são fundamentalmente falhas porque os agentes compensam a falta de fatos agindo (fabricando). Uma trajetória bem-sucedida pode ter alta dívida de coerência que é invisível em logs baseados em leitura.
• Para o Comportamento do Modelo: Agentes priorizam padrões escritos sobre o código em execução quando estes conflitam, sugerindo que arquivos de documentação podem ser uma fonte de "dívida de coerência" se estiverem obsoletos.
• Limitação de Escopo: O framework é mais aplicável a tarefas que exigem consistência entre arquivos (migrações, upgrades). Ele não pretende explicar edições de arquivo único ou desenvolvimento greenfield onde o agente constró o grafo enquanto escreve. Os autores afirmam explicitamente que suas descobertas sobre o SWE-bench sugerem que o framework não se transfere universalmente para repositórios reais onde a memória paramétrica domina.

O artigo conclui que o "conjunto de trabalho" de um agente de codificação é definido pela presença de fatos acoplados no momento da edição, independentemente do canal (contexto ou memória) através do qual chegaram, e que o custo de fatos ausentes é estritamente linear e aditivo. Os autores tratam o mecanismo de residência como um elemento limitado (bound) pelos seus experimentos, em vez de totalmente confirmado, particularmente em relação aos limites dos efeitos de distância.