The Substrate Collapse: AI Code Generation Invalidates Authorship-Based Knowledge Metrics

Resumo Técnico: O Colapso do Substrato

Declaração do Problema
O artigo aborda uma ruptura fundamental na medição da engenharia de software causada pela adoção generalizada da geração de código por IA. Historicamente, as métricas utilizadas para avaliar onde o conhecimento reside dentro de um sistema — especificamente o fator de caminhão (truck factor), o Grau de Autoria (Degree-of-Authorship) e os modelos de grau de conhecimento — baseavam-se em uma única inferência fundamental: que a pegada de autoria de um desenvolvedor (commits, linhas escritas, edições) em um controle de versão é evidência de sua compreensão daquele código.

O autor argumenta que a geração por IA rompeu essa inferência. Quando um agente de IA gera um módulo e um humano o mescla, o registro de controle de versão ainda atribui a autoria ao humano, mas essa atribuição não se correlaciona mais com a compreensão. O humano pode ter compreensão total, parcial ou zero do código que mesclou. Consequentemente, o "substrato" que essas métricas medem (distribuição de autoria) se descolou da quantidade alvo que foram projetadas para estimar (concentração de conhecimento ou teoria retida). O artigo postula que refinar essas métricas existentes não pode reparar esse descolamento porque a informação necessária para inferir a compreensão não está mais presente no registro de autoria.

Metodologia
Este é um artigo teórico e analítico que não propõe uma nova métrica nem conduz novos experimentos empíricos. Em vez disso, emprega uma estratégia de contribuição negativa, visando invalidar uma classe existente de métricas em vez de construir um substituto. A metodologia consiste em:

1. Desconstrução Lógica: Isolar a "inferência de autoria" como o único elemento de carga da família de métricas de concentração de conhecimento e demonstrar como a geração por IA quebra estruturalmente o elo entre autoria e compreensão.
2. Análise Corroborativa: Revisar três falhas de medição recentes e independentes no campo para mostrar que são consistentes com o proposto "colapso do substrato":
   • O Hiato de Percepção: Análise dos estudos de METR de 2025/2026 mostrando que desenvolvedores superestimam os ganhos de produtividade enquanto os ganhos reais de velocidade são obscurecidos pelo overhead de revisão e viés de seleção, indicando um descolamento entre métricas de output e realidade cognitiva.
   • O Instrumento que Confessou: Exame de telemetria industrial de larga escala (Faros) mostrando o aumento do churn de código e incidentes que as métrias não conseguem distinguir entre "desperdício de retrabalho" e "reparo", admitindo a incapacidade de resolver a distinção que deveriam informar.
   • Competência de Superfície vs. Falha Teórica: Revisão de estudos de ciclo de vida (Liu et al.) mostrando que a IA é competente em corrigir defeitos de superfície, mas introduz falhas de lógica e segurança onde é necessária uma compreensão profunda do programa.
3. Previsão Falsificável: Declarar uma previsão específica para discriminar entre os regimes antigo e novo: sistemas com fatores de caminhão derivados de autoria saudáveis, mas com baixa retenção medida por compreensão, sofrerão falhas desproporcionais de resolução de incidentes que a métrica de autoria não consegue prever.

Principais Contribuições

• Invalidação da Inferência de Autoria: O artigo estabelece que a correlação entre autoria de código e compreensão dele foi quebrada não apenas nas extremidades, mas como uma propriedade estrutural do desenvolvimento assistido por IA.
• Invalidação de Classe: Argumenta que o fator de caminhão, o Grau de Autoria e modelos de perda por rotatividade relacionados não estão apenas "tensionados", mas invalidos como uma classe. Eles não podem ser recalibrados ou reponderados porque nenhuma função da pegada de autoria pode recuperar uma inferência que a pegada não suporta mais.
• O Conceito de "Colapso do Substrato": Define o estado atual como um "colapso do substrato", onde o instrumento (métricas) lê um substrato (autoria) que se descolou da quantidade que ele era usado para estimar (compreensão).
• Necessidade de Re-fundamentação: Afirma que qualquer instrumento futuro para medir a concentração de conhecimento deve ser fundamentado em evidência de compreensão (ex: capacidade de prever comportamento, localizar mudanças, reconstruir o raciocínio) em vez de evidência de autoria.
• Limitação Explícita de Escopo: O artigo deliberadamente não propõe uma nova métrica, não especifica um instrumento, nem descreve um mecanismo para medir a "retenção de teoria" na escala de um sistema. Ele identifica isso como um problema em aberto.

Resultos e Descobertas

• Falha de Métrica: As métricas de concentração de conhecimento existentes retornam números precisos que agora são sem sentido, pois medem a distribuição de autoria, não a distribuição de conhecimento.
• Irreparabilidade: Tentativas de reponderar métricas (ex: por profundidade de revisão ou complexidade de edição) são estruturalmente fúteis porque a relação do humano com o código gerado por IA não é mais restrita pela pegada. Um desenvolvedor pode mesclar código que não entende, ou entender código que não tocou.
• Tensão de Medição: A incapacidade do campo de medir ganhos de produtividade, distinguir retrabalho de reparo ou detectar defeitos de nível lógico em código gerado por IA serve como corroboração empírica de que a restrição vinculativa se deslocou da produção para a compreensão.
• Falsa Confiança: O artigo prevê que equipes que dependem de métricas tradicionais experimentarão "falsa confiança", onde sinais convencionais (pipelines verdes, alta velocidade) permanecem estáveis enquanto o sistema torna-se cada vez mais frágil a incidentes inéditos devido à erosão da retenção teórica.

Significância e Alegações
O artigo afirma que sua significância reside em impedir o campo de medir a coisa errada. Argumenta que a era da "dívida de compreensão" (também denominada dívida cognitiva ou epistêmica) requer uma nova classe de instrumentos, mas o primeiro passo é reconhecer que a geração atual de métricas confiáveis está morta.

O autor afirma que a contribuição é negativa: estabelece que o fundamento de uma família de métricas funcional e confiável foi removido e que essa remoção não pode ser desfeita de dentro da própria família. O objetivo do artigo é fornecer a "precondição para construir a correta" ao esclarecer por que o instrumento antigo está morto. Ele declina explicitamente de construir o substituto, enquadrando a construção de um instrumento fundamentado na compreensão, na escala de um sistema e de uma equipe, como o atual "problema de medição em aberto" do campo.

O artigo conclui que a "febre" da indústria (o perigo nomeado da dívida de compreensão) é real, mas o "termômetro" (métricas de autoria) não a detecta mais. O trabalho começa não com a construção de um novo medidor, mas com o ato de cessar o cálculo do antigo.