Changes in Coding Behavior and Performance Since the Introduction of LLMs

Resumo Técnico: Mudanças no Comportamento de Codificação e Desempenho desde a Introdução de LLMs

Definição do Problema
A rápida integração de Modelos de Linguagem de Grande Escala (LLMs) e ferramentas de codificação agênticas nos fluxos de trabalho de desenvolvimento de software alterou fundamentalmente a forma como os estudantes se envolvem com tarefas de programação. Embora essas ferramentas prometam aumento de produtidade, elas introduzem desafios significativos para educadores: distinguir entre a compreensão genuína do aluno e o conteúdo gerado por IA, e avaliar se os objetivos de aprendizagem estão sendo atingidos quando o "fardo mecânico" da codificação é delegado. A literatura existente oferece relatos conflitantes sobre o impacto dos LLMs na aprendizagem, variando de efeitos de tutoria aprimorados a danos causados pela dependência excessiva. Há uma carência de evidências empíricas longitudinais que quantifiquem como os comportamentos de codificação e os resultados de aprendizagem evoluíram especificamente antes e depois da adoção em massa de LLMs.

Metodologia
Este estudo utiliza um design quase-longitudinal analisando submissões de código-fonte de um curso de Computação em Nuvem de nível de pós-graduação na Carnegie Mellon University. O conjunto de dados abrange 10 semestres (Outono de 2020 a Primavera de 2025), cobrindo cinco semestres antes do lançamento do ChatGPT (Novembro de 2022) e cinco semestres após o lançamento.

• Fonte de Dados: A análise foca em uma submissão específica de código-fonte de um projeto individual (a "tarefa PageRank"). Esta tarefa foi escolhida porque sua especificação e o código inicial permaneceram inalterados de 2020 a 2025, permitindo uma comparação direta de soluções. Ela envolve a implementação do algoritmo PageRank em um grafo social com um código inicial mínimo (60 linhas).
• Métricas Definidas:
  • Comportamento de Codificação: Número de submissões (tentativas), Distância de Edição Total (soma das mudanças de linha entre submissões consecutivas usando o algoritmo de Myers) e Distância de Edição Média.
  • Desempenho: Pontuação da Tarefa (pontuação de correção automática da submissão final do PageRank), Pontuação do Projeto Individual (soma das pontuações dos 5 melhores projetos individuais) e Pontuação do Projeto em Equipe (TP Score) (pontuações de Projetos em Equipe).
  • Eficiência de Aprendizagem: "Efeito de Submissão Média", definido como a mudança média na pontuação da tarefa entre submissões consecutivas dividida pelo número de submissões.
• Restrições: Colaboração e codificação assistida por IA foram proibidas para projetos individuais. O estudo baseia-se em proxies comportamentais (distâncias de edição e padrões de submissão) em vez de uso de LLM autorrelatado, reconhecendo que os alunos podem subnotar o uso indevido.

Principais Resultados
O estudo identifica mudanças estatisticamente significativas nos comportamentos de codificação e nas correlações de desempenho após a introdução de LLMs:

1. Mudanças Comportamentais (Pós-2022):

   • Aumento no Volume de Submissões: A mediana de submissões por aluno aumentou em 50% (de 2 para 3 tentativas).
   • Expansão do Volume de Código: A mediana da Distância de Edição Total aumentou em 500%, e a mediana da Distância de Edição Média aumentou em 300%. Isso sugere que os alunos estão realizando mudanças maiores e menos incrementais entre as submissões.
   • Inchaço de Código (Code Bloat): As submissões finais para pontuações perfeitas possuem significativamente mais linhas de código (conforme ilustrado na Figura 1), consistente com a tendência dos LLMs de gerar formatação não solicitada, documentação ou código boilerplate.

2. Resultados de Desempenho:

   • Pontuação da Tarefa: Permaneceu estável, com quase todos os alunos alcançando pontuação perfeita na tarefa PageRank em todos os semestres, indicando que a tarefa em si pode ser simples demais para diferenciar o desempenho.
   • Pontuação do Projeto Individual (IP): Mostrou uma leve diminuição na pontuação média pós-ChatGPT.
   • Pontuação do Projeto em Equipe (TP): Mostrou um aumento moderado, sugerindo potencialmente que a IA atua como um "membro de equipe não oficial" auxiliando indivíduos competentes.

3. Correlações e Eficiência:

   • Declínio na Eficiência de Aprendizagem: O "Efeito de Submissão Média" (melhoria de pontuação por edição) diminuiu significativamente a partir da Primavera de 2024. Os alunos estão realizando mais edições, mas alcançando ganhos de pontuação menores.
   • Correlação Negativa: Existe uma correlação negativa estatisticamente significativa ($corr = -0,16, p < 0,001$) entre a Distância de Edição Média e a Pontuação do IP. Para cada 60 linhas adicionais de distância de edição média, as pontuações do IP diminuíram aproximadamente 1%.
   • Mudança na Dinâmica de Equipe: Pré-ChatGPT, distâncias de edição mais altas correlacionavam-se com pontuações de equipe mais baixas; essa correlação desapareceu pós-ChatGPT, sugerindo que os LLMs podem estar mascarando lacunas de aprendizado individual dentro de configurações de equipe.

Principais Contribuições

• Evidência Empírica: Este é o primeiro estudo abrangente fornecendo dados longitudinais sobre mudanças no comportamento de codificação ao longo de 10 semestres consecutivos, isolando especificamente o período antes e depois da proliferação de LLMs.
• Proxies Comportamentais: O artigo estabelece que o aumento nas distâncias de edição e contagens de submissão, juntamente com a redução da melhoria de pontuação por edição, servem como fortes indicadores comportamentais de potencial dependência excessiva de LLM, mesmo na ausência de logs de uso direto.
• Desacoplamento de Desempenho e Aprendizagem: O estudo demonstra que pontuações altas em tarefas (Pontuação da Tarefa) não garantem mais a eficiência de aprendizagem. Os alunos podem alcançar pontuações perfeitas com muito mais código "inchado" e menos iteração estratégica, mascarando um declínio nas habilidades genuínas de resolução de problemas.

Significância e Alegações
Os autores afirmam que as mudanças comportamentais observadas são consistentes com a hipótese de que os alunos estão dependendo excessivamente de LLMs, o que está afetando negativamente seus resultados de aprendizagem, apesar do desempenho superficial estável ou melhorado.

• Alarme Educacional: Os achados levantam preocupações em relação à primeira geração de graduados que entrará no mercado de trabalho na era dos LLMs. Os dados sugerem um potencial declínio na capacidade de escrever código eficiente e incremental e uma dependência de ferramentas que geram mudanças excessivas e não solicitadas.
• Desalinhamento de Avaliação: Os métodos de avaliação atuais podem estar desalinhados com as habilidades exigidas em um mundo aumentado por IA. O artigo argumenta que métricas focadas apenas no resultado final (pontuações) falham em capturar a degradação no processo de aprendizagem.
• O Modelo "Centauro": O artigo conclui propondo uma mudança na filosofia educacional. Baseando-se no modelo "centauro" do xadrez (humano + máquina superando ambos isoladamente), sugere que o papel do desenvolvedor humano está mudando da produção tática de código para a supervisão estratégica (definir abstrações, integrar componentes e avaliar criticamente o resultado). Os autores pedem que os currículos e avaliações educacionais evoluam para medir essas competências estratégicas, em vez de apenas a capacidade de produzir código isoladamente.

O artigo mantém suas alegações modestas, reconhecendo que não pode provar definitivamente o uso indevido de LLM para cada aluno devido à falta de dados de uso direto e à possibilidade de outros fatores (como compartilhamento de soluções). No entanto, as tendências estatísticas sugerem fortemente uma mudança sistêmica na forma como as tarefas de programação são abordadas ou aprendidas.