Governing AI Coding Agents: An Empirical Analysis of Repository Artifacts
Este estudo analisa empiricamente 555 artefatos de governança de repositórios do GitHub para revelar que, embora facilitem efetivamente a transferência de conhecimento e os padrões de codificação, eles carecem de mecanismos robustos de supervisão e não apresentam uma correlação sistemática com a maturidade organizacional ou o domínio, destacando passivos significativos como instruções vagas e fragmentação.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo moderno da criação de software, um novo tipo de trabalhador chegou: o agente de codificação de IA. Estes não são simples ferramentas que apenas completam uma frase de código para um humano; são programas autônomos capazes de ler projetos inteiros, compreender instruções complexas e escrever ou corrigir software em diversos arquivos por conta própria. À medida que esses trabalhadores digitais se tornam mais comuns, empresas e comunidades de código aberto enfrentam um desafio crítico: como gerenciá-los? Se um funcionário humano comete um erro, um gerente pode intervir, revisar o trabalho e corrigir o curso. Mas quando um agente de IA opera com velocidade e independência, os métodos tradicionais de supervisão podem parecer muito lentos ou distantes. Para preencher essa lacuna, desenvolvedores começaram a criar arquivos de instrução especiais — livros de regras digitais armazenados diretamente dentro do código do projeto. Esses arquivos, com nomes como AGENTS.md ou CLAUDE.md, destinam-se a dizer à IA exatamente como se comportar, quais regras seguir e como se integrar ao fluxo de trabalho da equipe. Eles são a constituição escrita para o trabalhador de máquina.
A pergunta que os pesquisadores fizeram foi se esses livros de regras digitais representam de fato um sistema de controle maduro ou se são meramente uma coleção de notas. No mundo da gestão organizacional, ter uma política escrita não é o mesmo que ter a capacidade de aplicá-la. Uma verdadeira capacidade de governança significa que uma organização pode não apenas escrever regras, mas também monitorá-las, garantir que sejam seguidas e adaptá-las conforme as condições mudam. Para descobrir se o mundo do software atingiu esse nível de maturidade com seus agentes de IA, uma equipe de pesquisadores da LUT University, na Finlândia, conduziu uma investigação em larga escala. Eles não leram apenas alguns exemplos; eles coletaram e analisaram 555 desses arquivos de governança de projetos de software públicos no GitHub. O objetivo era ver se a presença desses arquivos significava que os projetos haviam desenvolvido uma forma sofisticada de gerenciar a IA, ou se os arquivos estavam simplesmente documentando expectativas sem a maquinaria para sustentá-las.
Os pesquisadores abordaram isso tratando os arquivos como evidência de como os projetos tentam governar seus trabalhadores de IA. Primeiro, leram uma amostra dos arquivos para construir um mapa detalhado do que realmente havia dentro deles. Descobriram que esses arquivos geralmente se dividiam em duas categorias: instruções úteis e fraquezas ocultas. As instruções úteis, que chamaram de práticas de governança, incluíam coisas como explicar o histórico do projeto, definir estilos de codificação e delinear as etapas para uma tarefa. As fraquezas, que denominaram passivos de governança, eram problemas que poderiam tornar o trabalho da IA mais difícil ou arriscado. Estas incluíam comandos vagos que não especificavam como medir o sucesso, instruções que foram copiadas de outros projetos sem serem adaptadas e lacunas de segurança onde informações sensíveis foram mencionadas sem proteção.
Uma vez que tiveram esse mapa, os pesquisadores usaram um modelo de linguagem poderoso para escanear todos os 555 arquivos, verificando a presença dessas práticas e fraquezas específicas. Em seguida, compararam os resultados com a maturidade dos projetos. Uma suposição comum seria que projetos mais antigos, mais populares, com milhares de estrelas e muitos colaboradores, teriam arquivos de governança melhores e mais robustos do que os menores e mais novos. A lógica seria que, conforme um projeto cresce, ele aprende com seus erros e constrói melhores sistemas. No entanto, os dados contaram uma história diferente. Os pesquisadores não encontraram ligação entre o tamanho ou a idade de um projeto e a qualidade de seus arquivos de governança. Um projeto massivo e bem estabelecido era tão propenso a ter um conjunto de instruções fraco ou vago quanto um projeto pequeno e mais recente. Da mesma forma, observaram se projetos em campos de alto risco, como infraestrutura ou aplicativos móveis, tinham regras mais rígidas do que aqueles de desenvolvimento web geral. Novamente, não houve diferença. Os arquivos pareciam os mesmos, independentemente das potenciais consequências de um erro.
A descoberta mais impressionante foi sobre a natureza da própria governança. Os pesquisadores descobriram que os arquivos focavam predominantemente em instrução, em vez de supervisão. Cerca de 82% dos arquivos continham instruções sobre como transferir conhecimento ou seguir padrões de codificação. Em contraste, apenas cerca de 11% dos arquivos incluíam um "portão de aprovação humana" — uma regra específica exigindo que um humano revisasse e aprovasse o trabalho da IA antes que ele pudesse ser finalizado. Isso sugere que a abordagem atual é amplamente focada em dizer à IA o que fazer, em vez de construir um sistema para detectá-la quando algo dá errado. Além disso, os pesquisadores notaram um padrão curioso: quanto mais instruções um arquivo continha, mais fraquezas ele tendia a apresentar. Não era o caso de que adicionar mais regras limpava a bagunça; pelo contrário, adicionar mais regras frequentemente adicionava mais confusão, redundância ou contradições. Os arquivos não se tornavam mais coerentes à medida que cresciam; eles se tornavam mais poluídos.
O estudo conclui que, embora os projetos de software estejam adotando rapidamente esses arquivos de governança para guiar seus agentes de IA, essa adoção ainda não sinaliza uma capacidade organizacional madura. Os arquivos são eficazes em documentar o conhecimento e estabelecer expectativas, mas carecem dos mecanismos estruturais — como responsabilidade, supervisão consistente e adaptação específica ao projeto — que caracterizam um sistema verdadeiramente institucionalizado. A presença de um livro de regras não significa que a organização tenha a capacidade de aplicá-lo. Em vez disso, o cenário atual é dominado pela "governança orientada à instrução", onde a prioridade é permitir que a IA trabalhe, enquanto os sistemas para controlar e verificar esse trabalho permanecem subdesenvolvidos. Para organizações que buscam escalar o uso de IA, a pesquisa sugere que simplesmente escrever mais instruções não é a solução. A verdadeira governança exige ir além da documentação para construir as rotinas organizacionais que possam monitorar, verificar e adaptar-se às ações desses trabalhadores autônomos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.