Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
Este artigo apresenta uma análise de quatro anos de submissões de programação de graduação para introduzir uma taxonomia tridimensional para comentários de estudantes usados como especificações de geração de código por IA, revelando que os estudantes escrevem predominantemente comentários do tipo "O quê", mudam para comentários do tipo "Como" para tarefas procedimentais e priorizam a verificação do código gerado em vez de reescrever repetidamente as especificações.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é um chef, mas em vez de picar vegetais e mexer panelas, você é o "Comandante" de um subchefe robô superveloz e hipercriativo. Seu trabalho não é cozinhar a refeição você mesmo; é escrever as instruções da receita em inglês simples para que o robô faça o cozimento. Isso é exatamente o que um grupo de pesquisadores observou 1.161 estudantes universitários fazerem durante quatro anos em uma aula de computação. Eles não escreveram código linha por linha; eles escreveram comentários (pequenas notas) para dizer a uma ferramenta de IA chamada GitHub Copilot como construir um programa.
Aqui está o que os pesquisadores descobriram sobre como esses estudantes-comandantes falavam com seus ajudantes robôs.
A Descoberta Principal: "O quê" vs. "Como"
A maior surpresa? A maioria dos estudantes não falava como programadores. Eles falavam como pessoas descrevendo um objetivo.
- O Grupo do "O quê" (77%): A grande maioria das notas que os estudantes escreveram era sobre o que eles queriam que o resultado fosse. Por exemplo, em vez de dizer "Percorra esta lista e verifique os números", eles escreveram: "Se o número for negativo, retorne falso". Eles descreviam o destino, não as direções de condução.
- A Mudança para o "Como": No entanto, quando a tarefa ficava difícil — como precisar repetir um passo muitas vezes ou realizar uma sequência de ações complexas — os estudantes mudavam de marcha. Eles começavam a escrever comentários de "Como", dando ordens de marcha passo a passo. É como quando você diz a um amigo: "Faça-me um sanduíche" (o quê), mas se você precisa de um sanduíche de clube específico e complicado, de repente tem que dizer: "Primeiro torre o pão, depois coloque o peru, depois adicione os picles..." (o como).
A Regra "Não Mude a Receita"
Você pode pensar que, se o robô cometesse um erro, o estudante reescreveria freneticamente as instruções repetidamente. O artigo argumenta contra isso.
Os dados mostram que os estudantes raramente reescreviam seus comentários. Na verdade, uma vez que escreviam um comentário, eles a maioria deixava como estava.
- A Realidade: De cada 100 comentários, cerca de 48 foram deixados completamente intocados e outros 41 eram totalmente novos. Apenas uma pequena fração (cerca de 4%) foi pesadamente reescrita ou completamente descartada.
- O Trabalho Real: Então, se eles não estavam reescrevendo as notas, o que estavam fazendo? Eles estavam agindo como inspetores de qualidade rigorosos. Os estudantes gastavam sua energia verificando o trabalho do robô, executando testes e corrigindo o código que o robô produzia, em vez de mudar constantemente suas próprias instruções. O artigo sugere que a parte difícil não era escrever o comando (prompt); era verificar o resultado.
O Que os Estudantes Disseram (As Reflexões)
Após as tarefas, os estudantes escreveram reflexões, e os pesquisadores encontraram 13 temas principais. Aqui estão os maiores:
- Velocidade é Rei: Os estudantes amaram a ferramenta porque ela era rápida. Parecia um "andaime" que os ajudava a começar rapidamente sem ficarem presos em detalhes chatos.
- A Armadilha da "Familiaridade": O robô era ótimo para tarefas simples e repetitivas (como código boilerplate), mas tinha dificuldades quando a tarefa era estranha, muito específica ou exigia uma solução única.
- O Problema da Confiança: Embora o robô fosse rápido, os estudantes sabiam que não podiam apenas confiar nele cegamente. Eles sentiam um pesado "fardo de verificação". Eles sentiam que precisavam checar tudo porque o robô às vezes dava respostas que pareciam certas, mas que na verdade estavam erradas.
- Aprendizado vs. Muletas: Alguns estudantes temiam que, se dependessem demais do robô, não aprenderiam a cozinhar por conta própria. Eles sentiam que usar a ferramenta como uma "muleta" poderia prejudicar sua própria capacidade de resolver problemas mais tarde.
O Que o Artigo Descarta
É importante saber o que este estudo não descobriu.
- NÃO é um "Botão Mágico": O artigo rejeita explicitamente a ideia de que os alunos apenas pediam ao IA uma solução completa e iam embora. Isso não funcionou bem. Os estudantes que tiveram sucesso foram aqueles que trataram a IA como um parceiro que precisavam guiar e verificar.
- NÃO é sobre Código "Perfeito": O estudo não encontrou que a IA sempre produzia código perfeito. Na verdade, os estudantes notaram que a IA frequentemente adicionava código indesejado ou perdia pequenos detalhes técnicos.
- NÃO é um Problema "Resolvido": O artigo não afirma que ensinar os alunos a criar prompts de IA é fácil ou que todos agora são especialistas. Sugere que este é um novo conjunto de habilidades que requer prática, especialmente em saber quando ser específico e quando verificar o trabalho.
O Quão Certos Estamos?
Os pesquisadores estão muito confiantes nesses números porque analisaram um conjunto de dados massivo: 10.257 tentativas de submissão de quatro anos de aulas. Eles usaram ferramentas automatizadas para contar mais de 136.000 comentários e analisaram as reflexões dos estudantes com alta precisão.
- Eles descobriram que 99,3% dos estudantes eventualmente conseguiram fazer seu código passar nos testes.
- Eles mediram o "ajuste" dos comentários com precisão matemática, descobrindo que reescritas pesadas eram raras.
- No entanto, o artigo admite algumas limitações: Este foi apenas um curso universitário usando Java. Não sabemos se esses mesmos padrões ocorrem em uma linguagem diferente ou em um tipo diferente de aula. Além disso, o estudo olhou apenas para os comentários que os estudantes enviaram, não para os que eles podem ter digitado e deletado no meio do trabalho.
A Conclusão
O artigo sugere que, na era da IA, a habilidade mais importante não é apenas digitar código; é especificar o que você quer e verificar se você obteve o que queria. Os estudantes aprenderam que escrever um "O quê" claro é o primeiro passo, mas a verdadeira magia acontece quando você age como o chefe, checando o trabalho do robô e só intervindo para dar instruções de "Como" quando o robô se perde. Não se trata de deixar a IA pensar por você; trata-se de aprender como falar com ela para que ela pense com você.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.