CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

Imagine que você está aprendendo a escrever uma história. Você sabe que o enredo precisa fazer sentido, os personagens precisam agir corretamente e o final precisa ser satisfatório. Mas há outra camada: seu professor também quer que você use fontes específicas, idente seus parágrafos exatamente de um jeito e evite começar frases com "E". Se você acertar o enredo, mas errar a formatação, pode perder pontos. No mundo da programação de computadores, essa "formatação" é chamada de estilo de código. Não se trata de se o computador consegue executar o programa (que é o enredo), mas sim de se o código é limpo, organizado e fácil de ser lido por outros humanos.

Por muito tempo, os professores lutaram com isso. Eles querem que os alunos aprendam essas regras de organização, mas dar feedback sobre elas leva uma eternidade. Se um professor esperar até o final do semestre para dizer: "Ei, você usou a fonte errada para os nomes das suas variáveis", o aluno já terá esquecido a lição. Recentemente, um novo tipo de "assistente inteligente" chamado Modelo de Linguagem Grande (LLM) apareceu. Pense neles como robôs superinteligentes que podem ler seu código e conversar com você sobre ele. Mas aqui está o detalhe: esses robôs são ótimos para conselhos gerais, mas muitas vezes não conhecem as regras específicas da sua aula particular. Eles podem dizer para você escrever como um profissional de outro país, quando seu professor quer apenas que você siga as regras locais da escola.

Este é o problema que uma equipe de pesquisadores da Universidade de Purdue tentou resolver com uma nova ferramenta chamada CodeStylist. Eles queriam ver se conseguiam construir um robô que soubesse exatamente o que o seu professor quer, para que pudesse dar dicas úteis enquanto você ainda está escrevendo seu código, e não depois que você já o entregou. Eles não apenas o construíram; eles pediram a um grupo de professores e assistentes de ensino que o testassem e dissessem se ele era realmente útil ou se era apenas um brinquedo sofisticado que confundiria os alunos.

O Experimento: Um Robô que Conhece o Plano de Ensino

Os pesquisadores construíram o CodeStylist, um aplicativo web que atua como um editor pessoal para estudantes de programação. Em vez de dar conselhos genéricos como "torne seu código mais limpo", o CodeStylist é configurado com o "guia de estilo" específico de um determinado curso. É como ter um robô que recebeu o texto exato do plano de ensino e da rubrica do seu professor para usar como referência.

Veja como funciona no mundo real: um aluno faz o upload de seus arquivos de código (que podem ser um projeto inteiro com muitos arquivos diferentes, não apenas um). Ele diz à ferramenta: "Isto é para minha aula de programação em C", e a ferramenta envia o código para um Modelo de Linguagem Grande (uma IA). A IA lê o código e gera um relatório apontando para linhas específicas. Ela diz coisas como: "Ei, na linha 42, você nomeou esta variável como 'x', mas nossa regra de classe diz que as variáveis devem ser descritivas, como 'pontuacaoTotal'. Além disso, você esqueceu um comentário aqui explicando o que esta parte faz".

Crucialmente, na versão testada neste estudo, a ferramenta dependia inteiramente da IA para fazer esses julgamentos. Ela não possuía um programa de computador separado e rigoroso (um verificador "determinístico") para conferir os fatos. Ela pediu à IA para encontrar as regras e os erros tudo de uma vez.

O objetivo não era corrigir o código para o aluno ou dar uma nota a ele. O objetivo era agir como um "parceiro de revisão" — uma ferramenta para ajudar os alunos a detectarem erros antes de apertarem o botão de enviar. Os pesquisadores queriam saber: Os professores confiariam neste robô? Os alunos realmente usariam a ferramenta? E, o mais importante, o robô daria conselhos que correspondam ao que os professores realmente querem?

O Que os Professores Disseram: Um Mix de Opiniões

Para descobrir, os pesquisadores reuniram 18 membros do corpo docente (assistentes de ensino e um instrutor) de um curso de ciência da computação na Purdue. Essas eram as pessoas que realmente liam o código dos alunos toda semana. Eles receberam a ferramenta e foram solicitados a testá-la com exemplos de código reais que já haviam visto antes. Depois, preencheram um questionário e compartilharam seus pensamentos honestos.

Os resultados foram um pouco como uma peça de teatro escolar onde os atores estão dando o seu melhor, mas o roteiro precisa de edição.

As Boas Notícias:
Os professores concordaram que a ideia era ótima. Eles viram que o CodeStylist poderia tornar as regras invisíveis visíveis. Um professor observou que era como ter um "segundo par de olhos" que poderia detectar erros de estilo instantaneamente. Eles acreditaram que os alunos realmente usariam a ferramenta, com a maioria prevendo que os alunos verificariam seu código pelo menos uma vez por semana. Os professores sentiram que era uma forma útil de capturar erros de estilo antes da nota final, economizando tempo para todos a longo prazo.

As Más Notícias (e a Grande Preocupação):
O principal problema foi a confiança. Os professores não confiaram totalmente nas respostas do robô.

• Precisão: Quando questionados sobre a frequência com que o robô acertava as coisas, os professores estimaram uma média de 60,7%. Isso significa que quase 4 em cada 10 vezes, o robô poderia estar errado, confuso ou dando um conselho que não correspondia às regras da classe. Como a ferramenta dependia exclusivamente da IA sem um backup de "corretor ortográfico" rigoroso, ela às vezes deixava passar coisas ou inventava informações.
• Utilidade: Em uma escala de 1 a 5, os professores avaliaram o nível de ajuda das respostas em 3,50 e a utilidade em 3,33. São pontuações "razoáveis", mas não "excelentes".
• Aprendizado: A maior preocupação era se a ferramenta realmente ajudaria os alunos a aprender. A classificação média para "aprendizado antecipado do aluno" foi de 2,61 de 5. Isso está abaixo do ponto médio. Os professores temiam que, se o robô desse um conselho errado, os alunos poderiam simplesmente segui-lo cegamente sem pensar, ou ficariam confusos quando o conselho do robô entrasse em conflito com as regras reais do professor.

Um assistente de ensino foi tão cético que deu à ferramenta uma classificação de precisão de 4% e disse que os alunos "Nunca" a usariam. Outro temeu que, se o robô desse um conselho ruim, criaria mais trabalho para os professores, que teriam que consertar a bagunça feita pelo robô.

O Veredito: Um Rascunho Promissor, Não um Produto Acabado

Os pesquisadores concluíram que o CodeStylist é um começo promissor, mas não está pronto para ser a autoridade final na sala de aula. Os professores viram a ferramenta como algo útil para verificar o estilo e encontrar problemas potenciais, mas não a viram como uma ferramenta que pudesse confiar em ensinar aos alunos os princípios profundos de uma boa programação ainda.

O artigo sugere que, para esta ferramenta realmente funcionar, ela precisa de uma abordagem "híbrida". Em vez de deixar a IA adivinhar tudo, ela deve usar regras de computador estritas e imutáveis (como um corretor ortográfico) para encontrar os erros óbvios, e então usar a IA apenas para explicar por que esses erros importam. Os professores também pediram recursos visuais melhores, como destacar a linha exata de código e mostrar a regra específica que o aluno quebrou, para que os alunos pudessem verificar o conselho por conta própria.

Em resumo, o estudo sugere que, embora o feedback consciente do curso seja uma ótima ideia, a versão atual do CodeStylist é um pouco instável demais para ser o melhor amigo de um professor porque carece desse backup de computador rigoroso. É um rascunho útil que precisa de mais trabalho para garantir que não ensine acidentalmente os alunos a maneira errada de escrever código. Os pesquisadores acreditam que, se conseguirem corrigir os problemas de precisão e tornar o feedback mais fácil de verificar, esse tipo de ferramenta pode se tornar um divisor de águas para ajudar os alunos a escreverem códigos mais limpos e profissionais.