Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark

No mundo moderno do software, um número crescente de empresas está tentando automatizar a criação de programas de computador usando inteligência artificial. Em vez de contratar uma equipe de engenheiros para escrever cada linha de código do zero, elas fornecem uma descrição escrita detalhada do que o software deve fazer, conhecida como especificação, e pedem que uma IA o construa. Essa abordagem, chamada de desenvolvimento orientado por especificação, trata o plano escrito como o manual de instruções primário para a máquina. A esperança é que, se o plano for claro o suficiente, a IA produzirá software perfeito todas as vezes. No entanto, uma questão crítica permanece: um plano melhor realmente torna a IA mais inteligente, ou os sistemas de IA já sabem as respostas com base em seu treinamento? Se a IA concorda com o plano simplesmente porque viu planos semelhantes antes, o plano em si não está realizando nenhum trabalho real. Essa incerteza torna difícil saber se uma especificação é verdadeiramente de alta qualidade ou apenas um documento que por acaso coincide com o que a máquina já iria fazer.

Uma equipe de pesquisadores partiu para resolver esse problema de medição testando uma tarefa específica e complexa: mover um banco de dados massivo de um tipo de sistema para outro. Eles criaram uma especificação formal e estruturada para migrar dados de um banco de dados Oracle para um PostgreSQL, um processo que envolve traduzir milhares de regras sobre como os dados são armazenados e processados. Para testar se essa especificação realmente ajudava, eles não apenas pediram à IA para escrever o código e verificar se ele parecia correto. Em vez disso, construíram um experimento rigoroso onde o mesmo grupo de sistemas de IA teve que realizar a migração duas vezes: uma com a especificação detalhada e outra sem ela. Os pesquisadores usaram um banco de dados Oracle ao vivo e um sistema PostgreSQL novo como um juiz estrito. Eles executaram o código gerado pela IA contra os dados originais para ver se os resultados eram idênticos, tratando o comportamento real do software como a única medida verdadeira de sucesso.

O estudo envolveu três sistemas de IA diferentes atuando como implementadores independentes, todos trabalhando nas mesmas 75 tarefas específicas de migração. Quando os pesquisadores compararam os resultados, encontraram uma divisão clara entre o que o software era capaz de fazer e o quão bem os sistemas de IA concordavam entre si. A especificação melhorou dramaticamente a capacidade do software de rodar sem travar. Sem a especificação, apenas 72 por cento do código gerado podia ser carregado no novo banco de dados com sucesso. Com a especificação completa, esse número saltou para 97,3 por cento. O plano atuou como um guia que ajudou a IA a evitar erros fatais e a produzir código que realmente funcionava.

No entanto, a história tomou um rumo diferente quando os pesquisadores observaram se a especificação fazia os sistemas de IA concordarem mais entre si. Antes do estudo, havia a esperança de que um plano perfeito forçaria todos os sistemas de IA a tomar exatamente as mesmas decisões, criando uma solução unificada. Os dados mostraram que este não foi o caso. Mesmo sem a especificação, os sistemas de IA já concordavam entre si 83 por cento das vezes, provavelmente porque haviam aprendido as mesmas práticas padrão da indústria durante seu treinamento. Quando a especificação foi adicionada, essa taxa de concordância mal se moveu, mudando apenas para 83,8 por cento. O plano não mudou a opinião da IA sobre as decisões que ela já estava tomando; ele simplesmente ajudou a IA a executar essas decisões sem quebrar.

Os pesquisadores também descobriram que a maneira como a informação era apresentada importava mais do que quanta informação era dada. Em um experimento, eles pegaram uma única regra e a colocaram em diferentes partes do documento. Quando a regra estava enterrada em um parágrafo ao final de uma seção, a IA a seguia apenas 23 por cento das vezes. Quando a mesma regra foi colocada em uma tabela estruturada no topo da seção, a conformidade subiu para 42 por cento. Surpreendentemente, repetir a regra nos dois lugares na verdade baixou a taxa de conformidade para 34 por cento, sugerindo que a redundância pode confundir o sistema em vez de reforçar a instrução. Essa descoberta indica que a estrutura do documento é mais influente do que o volume de texto.

Talvez a descoberta mais significativa tenha sido que uma especificação pode, às vezes, tornar as coisas piores. Em um caso específico, uma regra na especificação instruía a IA a usar um certo tipo de contêiner de dados. A IA seguiu essa regra perfeitamente, mas o resultado foi um código inválido que não funcionaria. Sem a especificação, a IA teria ignorado essa instrução específica e usado um método diferente e funcional por conta própria. Isso provou que seguir uma regra não garante um resultado correto e que uma especificação pode introduzir novos erros ao mesmo tempo em que corrige os antigos. O estudo também descobriu que os sistemas de IA tinham um limite natural de consistência; quando os pesquisadores executaram o mesmo teste várias vezes, os resultados variaram cerca de 14 pontos percentuais devido à natureza aleatória de como a IA gera texto. Essa variabilidade significava que pequenas melhorias não podiam ser confiadas como progresso real.

Em última análise, a pesquisa conclui que uma especificação é uma ferramenta poderosa para tornar o software executável e para ajudar os humanos a encontrar onde as instruções estão faltando, mas não é uma varinha mágica que força diferentes sistemas de IA a pensarem da mesma forma. A especificação conseguiu reduzir o número de programas quebrados em quase um quarto, provando seu valor em garantir que o código rode. No entanto, ela falhou em aumentar a concordância entre diferentes sistemas de IA ou em melhorar a precisão dos próprios dados, que permaneceu inalterada em 19 resultados corretos de 42 testes tanto nos grupos controlados quanto nos não controlados. O estudo sugere que, para a geração atual de IA, uma especificação atua mais como uma rede de segurança que evita falhas catastróficas do que como um guia que eleva a qualidade da solução além do que a IA já sabe. O verdadeiro poder da especificação não reside em forçar a IA a concordar, mas em tornar o processo de construção de software confiável o suficiente para ser checado e verificado.