Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories
Este artigo apresenta um estudo de ablação controlado demonstrando que arquivos de contexto persistentes (e.g., AGENTS.md) não melhoram mensuravelmente a correção de agentes de codificação porque as falhas decorrem de déficits de habilidade de implementação em vez de falta de conhecimento do repositório, ao mesmo tempo em que explica descobertas contraditórias anteriores através de variações de dificuldade de tarefa específicas do agente.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
O Bibliotecário Digital vs. O Mestre Construtor
Imagine que você está tentando ensinar um assistente robô, super inteligente, mas novinho em folha, a consertar uma máquina complexa em uma oficina gigante e bagunçada. Você tem duas maneiras principais de ajudá-lo. Primeiro, você poderia dar a ele um mapa detalhado da oficina, uma lista de regras sobre como as ferramentas devem ser usadas e um guia sobre como a máquina costuma se comportar. No mundo da programação de computadores, isso é chamado de "arquivo de contexto" (frequentemente nomeado como AGENTS.md ou CLAUDE.md). É como um post-it deixado na mesa do robô dizendo: "Lembre-se, sempre usamos parafusos vermelhos aqui!"
Segundo, você poderia simplesmente deixar o robô vagar pela oficina e descobrir as coisas observando a própria máquina.
Por muito tempo, as pessoas que constroem esses assistentes de codificação por IA estiveram obcecadas pela primeira opção. Elas passam horas escrevendo esses manuais de instrução, acreditando que, se o robô apenas conhecesse as regras melhor, ele construiria um código melhor. Mas aqui está a grande questão: ler o manual realmente torna o robô um construtor melhor, ou apenas faz o robô se sentir mais confiante enquanto continua cometendo os mesmos erros? Este é o mistério que um novo estudo se propôs a resolver, testando se esses manuais de instrução digitais são as chaves mágicas para uma melhor codificação de IA ou apenas um monte de papel extra.
O Grande Teste do Manual
Neste estudo, os pesquisadores atuaram como professores de ciências rigorosos. Eles pegaram dois dos agentes de codificação de IA mais inteligentes disponíveis hoje — um de uma empresa chamada Anthropic (chamado Claude) e outro da OpenAI (chamado Codex) — e deram a eles uma série de desafios de codificação do mundo real. Estes não eram problemas de lição de casa falsos; eram tarefas reais retiradas de projetos de software reais, como corrigir bugs em um kit de ferramentas de nuvem ou ajustar um compilador.
Para ver se o "manual" ajudava, eles realizaram a mesma tarefa três vezes diferentes para cada robô:
- A Execução "Sem Notas": O robão recebeu a tarefa, mas nenhum manual.
- A Execução "Sempre Ativa": O robô teve o manual completo inserido em seu cérebro a cada passo do caminho.
- A Execução "Sob Demanda": O robô tinha uma biblioteca de notas menores e organizadas que ele poderia escolher ler se ficasse travado.
Eles realizaram este experimento 288 vezes no total, comparando o código final com um "padrão ouro" oculto para ver se ele realmente funcionava.
A Grande Surpresa: Manuais Não Consertam Construções Ruins
Os resultados foram um choque para as pessoas que escrevem esses manuais. O estudo descobriu que ter o arquivo de contexto quase não fazia diferença no fato de a IA acertar o trabalho ou não.
Quer o robô tivesse o manual, a biblioteca ou nada, a taxa de sucesso permanecia aproximadamente a mesma. Para o robô Claude, o manual não mudou o resultado em mais de 10 pontos percentuais. Para o robô Codex, não mudou em mais de 15 pontos percentuais. No mundo da ciência, isso é o que chamamos de um "resultado nulo" — significa que a coisa que pensávamos ser importante, não é.
Os pesquisadores investigaram mais profundamente para entender o porquê de os manuais não terem ajudado. Eles analisaram as vezes em que os robôs quase acertaram a resposta, mas falharam. Eles descobriram que os robôs não falharam por estarem sentindo falta de um fato do manual (como "não use parafusos vermelhos"). Em vez disso, eles falharam porque careciam de habilidades de construção.
Pense da seguinte forma: se você der a um arquiteto brilhante uma planta perfeita de uma casa, mas ele não souber como assentar um tijolo ou como instalar um interruptor de luz, a planta não o salvará. Os agentes de IA no estudo eram ótimos em ler, mas tropeçavam no ato de fazer. Eles tiveram dificuldades em projetar funcionalidades, escolher os padrões certos e conectar as peças corretamente. O manual não podia ensiná-los a construir; ele só podia dizer como a construção era.
A Reviravolta do "Um Tamanho Não Serve para Todos"
Houve outra descoberta fascinante. Os pesquisadores notaram que uma tarefa que era super fácil para um robô poderia ser incrivelmente difícil para o outro, e vice-versa. É como como algumas pessoas são ótimas em resolver quebra-cabeças matemáticos, mas péssimas em malabarismo, enquanto seu amigo é o oposto.
Devido a isso, o estudo sugere que pesquisas anteriores podem ter se confundido. Se um cientista testou os manuais em um robô que achou as tarefas fáceis, e outro cientista testou em um robô que achou as tarefas difíceis, eles obteriam resultados diferentes. O "ponto ideal" onde um manual pode realmente ajudar parece ser diferente para cada cérebro de IA.
Os Manuais Fizeram Alguma Coisa de Bônus?
Então, os manuais foram completamente inúteis? Não inteiramente, mas os benefícios foram muito específicos e pequenos.
- Velocidade e Custo: Em um projeto específico, quando o robô tinha o manual, ele parava de executar testes desnecessários e lentos. Foi como se o robô lesse uma placa dizendo "Este teste leva 20 minutos" e decidisse pulá-lo. Isso economizou tempo, mas não tornou o código melhor.
- O Teste do "Quase Acerto": Os pesquisadores tentaram um experimento especial onde pegaram tarefas que os robôs quase resolveram e deram a eles o manual real e de alta qualidade para ver se isso os levaria ao sucesso. Não levou. Mesmo com as melhores instruções, os robôs ainda não conseguiram transformar um "quase acerto" em um "sucesso".
A Conclusão
O estudo conclui que, para os agentes de codificação de IA testados, passar horas escrevendo manuais de instrução perfeitos (AGENTS.md) provavelmente não fará com que eles escrevam um código melhor. O problema não é que os robôs não conheçam as regras; é que eles precisam melhorar no próprio ofício de construir software.
Embora esses manuais possam ajudar os robôs a trabalhar um pouco mais rápido ou economizar um pouco de dinheiro evitando maus hábitos, eles não são a varinha mágica que conserta o código quebrado. Se você quer que seu assistente de IA seja um construtor melhor, o estudo sugere que você pode obter melhores resultados dividindo as tarefas em etapas menores ou dando a ele melhores exemplos de como construir, em vez de apenas dar a ele mais regras para ler.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.