Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review

Imagine que você está tentando ensinar um robô superinteligente a construir uma casa. Normalmente, o robô é ótimo em assentar um único tijolo ou pintar uma parede, mas se você pedir para ele redesenhar toda a fundação enquanto a casa já está sendo habitada, ele tende a ficar confuso. Ele pode derrubar uma parede de sustentação por acidente, ou esquecer que a cozinha precisa permanecer conectada à sala de jantar. No mundo da ciência da computação, isso é chamado de "refatoração" de uma base de código massiva. A grande questão que os pesquisadores estão fazendo agora é: Um agente de IA pode realizar esse trabalho enorme e perigoso sozinho, sem um chefe humano verificando cada linha de código?

Para entender o desafio, pense em um programa de computador como uma máquina de engrenagens gigante e intrincada. Dentro dele, existem "invariantes" — estas são as regras inquebráveis que mantêm as engrenagens girando, como "a mola principal deve estar sempre enrolada" ou "os ponteiros nunca devem saltar para trás". A maioria das ferramentas de codificação de IA são como aprendizes que são ótimos em consertar um parafuso solto, mas terríveis em refazer a fiação de todo o relógio sem quebrá-lo. Eles geralmente precisam de um humano olhando por cima de seus ombros para dizer: "Espere, você não pode fazer isso!" Mas os humanos cansam, e eles não conseguem manter o mapa inteiro de um relógio gigante em suas cabeças ao mesmo tempo. Este artigo explora uma nova forma de trabalhar: em vez de verificar o trabalho do robô depois que ele terminou, forçamos o robô a escrever um manual de instruções perfeito e detalhado antes de tocar em uma única engrenagem. Então, fazemos o robô verificar seu próprio trabalho contra esse manual, repetidamente, até que o manual e a máquina correspondam perfeitamente.

A História do Painel "Fantasma"

Este artigo conta a história de um experimento específico e de alto risco, onde um único agente de IA foi solicitado a realizar um "truque de mágica" em um programa de software massivo. O programa era uma aplicação de 717.725 linhas (imagine uma biblioteca com quase 720.000 páginas de instruções) que atuava como um assistente de codificação de IA. A tarefa era quebrar uma regra fundamental que o software havia seguido desde o primeiro dia: a regra que dizia: "Se você fechar a janela que mostra o trabalho da IA, a IA deve parar de pensar."

O objetivo era mudar isso para que, se você fechasse a janela, a IA continuasse trabalhando em segundo plano, como um fantasma. Quando você abrisse a janela novamente, a IA se "reconectaria" instantaneamente à conversa, retomando exatamente de onde parou, sem perder uma única palavra ou se repetir. O autor do artigo, um desenvolvedor humano, acreditava que isso era tão complexo e arriscado que a única maneira segura de fazer isso seria jogar fora o código antigo e reescrever tudo do zero.

O Protocolo "Especificação Primeiro"

Em vez de reescrever tudo, o autor usou um método chamado "Convergência de Especificação Primeiro". Pense nisso como um jogo de "Telefone Sem Fio" jogado com um árbitro muito rigoroso, mas o árbitro é a própria IA.

1. O Plano: O humano deu à IA um pedido simples em linguagem natural: "Faça a IA continuar trabalhando mesmo quando a janela estiver fechada."
2. O Projeto: A IA não começou a codificar imediatamente. Em vez disso, ela escreveu uma especificação formal massiva de 55 páginas — um projeto detalhado de exatamente como a mudança funcionaria, até o menor detalismo.
3. A Auditoria (Refinamento): Foi aqui que a mágica aconteceu. A IA foi solicitada a comparar seu próprio projeto contra o código existente e real 14 vezes. Em cada rodada, ela encontrava erros em seu próprio plano. "Oh, esqueci que o processo em segundo plano precisa de um novo botão para pará-lo", ou "Não levei em conta o que acontece se a janela fechar enquanto a IA está pensando". Ela reescreveu o projeto 14 vezes, corrigindo cerca de 85 erros no plano antes de escrever uma única linha de código novo.
4. A Construção: Uma vez que o projeto foi "congelado" (significando que estava perfeito e não mudaria mais), a IA começou a codificar. Ela não apenas escreveu arquivos; ela criou patches (pequenas atualizações) para 189 arquivos diferentes.
5. A Verificação Dupla (Verificação): Esta foi a parte mais crítica. A IA foi solicitada a ler seu próprio código novo e compará-lo com o projeto congelado 17 vezes. Ela encontrou 116 erros adicionais — pequenos problemas arquitetônicos ou lacunas de lógica — e os corrigiu. Ela continuou fazendo isso até que duas rodadas consecutivas encontrassem zero erros.

Os Resultados: Um Fantasma que Não Assombra

Todo o processo levou três dias e custou US$ 2.430 em taxas de processamento de computador. O resultado? A IA conseguiu desmantelar uma regra central do software em 189 arquivos sem que um humano sequer olhasse para o código gerado.

Quando o humano finalmente executou o programa pela primeira vez, ele funcionou perfeitamente. Você podia fechar a janela, observar a IA continuando a trabalhar em segundo plano, e reabrir a janela para ver a conversa retomar instantaneamente, sem palavras perdidas ou duplicatas. O software se comportou exatamente como o projeto prometeu. O autor observou que o código estava tão limpo que, quando um pequeno ajuste de interface foi necessário, bastou alterar um único arquivo, sugerindo que a IA fez um bom trabalho em manter a estrutura organizada.

O Que Isso Significa (e o Que Não Significa)

Este artigo sugere que, para mudanças de software muito difíceis e de alto risco, podemos não precisar depender de revisores humanos para detectar cada erro. Em vez disso, podemos usar a IA para verificar rigorosamente seus próprios planos e seu próprio código contra um padrão congelado, repetidamente, até que ela converja para a perfeição.

No entanto, o artigo é muito cuidadoso sobre o que afirma. Ele admite que este foi apenas um caso específico em uma base de código específica. Ele não prova que isso funcionará para toda e qualquer IA ou qualquer tipo de problema de software. Também observa que, como o código é privado, ninguém mais pode executar exatamente o mesmo experimento para ver se obtém o mesmo resultado. Mas, como uma prova de conceito, mostra que uma IA, quando forçada a planejar meticulosamente e auditar a si mesma repetidamente, pode realizar uma operação "cirúrgica" em um sistema de software gigante que os humanos geralmente consideram perigoso demais para tocar sem uma reescrita completa.