Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study
Este artigo apresenta um estudo de métodos mistos minerando 7.310 regras de 83 projetos de código aberto e entrevistando 99 profissionais para estabelecer uma taxonomia para regras de IDE de IA, revelando uma lacuna entre as prioridades dos desenvolvedores e as configurações reais, ao mesmo tempo em que demonstra que a evolução das regras melhora significativamente a conformidade dos artefatos de software.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você contratou um assistente pessoal super inteligente, incrivelmente rápido, mas um pouco caótico para ajudar você a construir uma casa. Este assistente é uma IA e é ótima em assentar tijolos e pintar paredes. Mas, às vezes, ela se confunde. Ela pode decidir construir uma porta onde deveria haver uma janela, ou pode usar um tipo de madeira que você especificamente disse para não usar.
Para corrigir isso, você dá ao assistente um Livro de Regras. Este não é apenas um bilhete de uma única vez; é um documento vivo que permanece com o projeto para sempre. Toda vez que o assistente começa a trabalhar, ele lê este Livro de Regras para lembrar exatamente como a sua casa deve ser.
Este artigo é um mergulho profundo em como desenvolvedores do mundo real usam esses "Livros de Regras" (chamados de Regras em IDEs de IA) e como eles os alteram ao longo do tempo. Os pesquisadores analisaram 83 projetos reais e conversaram com 99 desenvolvedores para ver o que realmente está acontecendo.
Aqui está o que eles descobriram, dividido de forma simples:
1. A Taxonomia do "Livro de Regras" (O que tem no livro?)
Os pesquisadores classificaram milhares de regras em um grande arquivo com 5 gavetas principais e 25 pastas menores:
- Arquitetura e Design: O panorama geral (ex: "Use este estilo específico de planta").
- Implementação de Código: Os detalhes minuciosos (ex: "Escreva código assim", "Não use classes").
- Fluxo de Trabalho e Gestão: Como a equipe trabalha (ex: "Sempre execute testes antes de salvar").
- Garantia de Qualidade: Verificações de segurança (ex: "Teste tudo", "Sem brechas de segurança").
- Colaboração com IA: Como a IA deve se comportar (ex: "Seja conciso", "Não adivinhe").
A Grande Surpresa:
Houve uma enorme desconexão entre o que os desenvolvedores diziam ser importante e o que eles realmente escreviam.
- O que eles valorizam: Os desenvolvedores disseram na pesquisa: "O mais importante é a Arquitetura (o panorama geral) e o Contexto (como a IA entende o projeto)".
- O que eles realmente escreveram: Os Livros de Regras nos projetos reais eram compostos principalmente por detalhes de baixo nível, como "Use esta fonte", "Coloque arquivos nesta pasta" e "Execute este teste primeiro".
- A Analogia: É como contratar um arquiteto para projetar um arranha-céu, mas gastar 90% do seu tempo escrevendo um memorando sobre qual marca de café ele deve beber e como organizar o grampeador, enquanto mal menciona o aço estrutural.
2. Como as Regras Evoluem (Como o livro muda)
As regras não são estáticas; elas são atualizadas constantemente. Os pesquisadores observaram 1.540 mudanças.
- A Principal Ação: Na maioria das vezes, os desenvolvedores estão adicionando novas regras. Eles não costumam reescrever as antigas; eles estão apenas acrescentando novas instruções.
- O Abismo do "Porquê":
- O que os dados dizem: Ao observar as mudanças reais no código, os desenvolvedores adicionavam regras principalmente para expandir o projeto (adicionando novos recursos) ou enriquecer o contexto (dando mais informações de fundo à IA).
- O que os desenvolvedores dizem: Quando questionados na pesquisa, os desenvolvedores disseram que alteram as regras principalmente para corrigir erros cometidos pela IA.
- A Analogia: É como um pai dizendo: "Eu principalmente adiciono novas tarefas à lista para ajudar as crianças a aprenderem novas habilidades", mas as crianças dizem: "Nós só adicionamos tarefas quando erramos a louça". A realidade é de crescimento construtivo, mas o sentimento é apenas de controle de danos.
- O Hábito de "Correção": Quando os desenvolvedores tentam corrigir um erro da IA, eles raramente editam a regra antiga. Em vez disso, eles adicionam uma nova regra que diz: "NÃO faça X". É como colocar uma placa de "Não Entre" ao lado de uma porta em vez de repintar a porta.
3. Isso realmente funciona? (A Verificação de Conformidade)
Os pesquisadores queriam saber: Se você atualizar o Livro de Regras, a IA realmente segue as novas instruções melhor?
- O Resultado: Sim, significativamente.
- Os Números: Antes de uma atualização de regra, a IA seguia as instruções cerca de 49% das vezes. Imediatamente após a atualização, isso saltou para 72%. Isso é uma melhoria de 23%.
- A Ressalva: Isso funciona muito melhor para coisas concretas e fáceis de verificar (como "Nomes de arquivos devem terminar em .ts"). Funciona muito menos bem para ideias vagas e de alto nível (como "Siga bons princípios arquitetônicos").
- A Analogia: Se você disser ao assistente: "Sempre use um chapéu vermelho", eles farão isso perfeitamente uma vez que você os lembre. Mas se você disser: "Seja um bom líder", eles ainda podem ficar confusos. O Livro de Regras é ótimo para comandos específicos, mas menos eficaz para filosofias abstratas.
Resumo das Conclusões do Estudo
- Desenvolvedores se preocupam com o panorama geral, mas escrevem sobre as coisas pequenas. Eles valorizam a arquitetura, mas gastam seu tempo corrigindo detalhes de formatação e fluxo de trabalho.
- A Estratégia de "Adicionar, Não Editar". Os desenvolvedores preferem acumular novas regras para corrigir problemas em vez de limpar as antigas, o que faz com que os Livros de Regras fiquem longos e bagunçados com o tempo.
- Atualizações funcionam, mas apenas para coisas específicas. Alterar as regras faz com que a IA siga as instruções muito melhor, mas apenas se as instruções forem claras e concretas.
- O Problema da "Restrição Negativa". Desenvolvedores frequentemente corrigem erros da IA adicionando regras de "Não faça isso". Esta é uma correção rápida, mas pode tornar o Livro de Regras poluído e confuso a longo prazo.
Em resumo, as IDEs de IA são poderosas, mas os "Livros de Regras" que usamos para controlá-las são atualmente um pouco bagunçados. Estamos usando-os para resolver problemas imediatos e pequenos, em vez de guiar o design grande e complexo, e estamos construindo-os peça por peça, em vez de mantê-los limpos e organizados.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.