Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

Nas salas de aula das universidades modernas, uma revolução silenciosa está ocorrendo, impulsionada por um novo tipo de inteligência artificial conhecido como modelo de linguagem de grande escala. Estes não são simples mecanismos de busca que recuperam fatos; são sistemas treinados em vastas quantidades de escrita humana, capazes de compreender o contexto, raciocinar através de problemas complexos e gerar textos que imitam a conversa humana. Durante anos, os educadores se perguntaram se essas ferramentas poderiam fazer mais do que apenas conversar; poderiam elas realmente ensinar ou, pelo menos, ajudar os professores a corrigir as montanhas de trabalhos que os alunos entregam? Esta questão é particularmente complexa em campos como a engenharia de software, onde os alunos não apenas escrevem ensaios ou resolvem problemas matemáticos. Em vez disso, eles criam projetos complexos de sistemas de software, desenhando diagramas que mostram como diferentes partes de um programa devem se conectar e funcionar. Esses designs visuais exigem um olhar humano para detectar erros sutis de lógica e estrutura. Se um computador pudesse corrigir esses trabalhos com precisão e oferecer conselhos úteis sobre como melhorar, isso liberaria os professores para focarem em um aprendizado mais profundo, mas apenas se o computador for confiável o suficiente para ser confiado com a nota de um aluno.

Uma equipe de pesquisadores de universidades do Paquistão e do Reino Unido propôs-se a testar exatamente essa ideia. Eles queriam ver se dois dos sistemas de inteligência artificial mais avançados disponíveis poderiam corrigir trabalhos complexos de design de software e fornecer feedback personalizado aos alunos. Para fazer isso, reuniram 54 submissões reais de alunos de um curso de design e arquitetura de software. Cada aluno havia criado três tipos específicos de diagramas: um diagrama de caso de uso, mostrando como os usuários interagem com um sistema; um diagrama de classes, delineando os blocos de construção do software; e um design de arquitetura de três camadas, mapeando as camadas do sistema. Um instrutor humano experiente já havia corrigido cada um desses trabalhos usando um conjunto rigoroso de regras, ou rubrica, que definia exatamente o que era necessário para a pontuação máxima. Os pesquisadores então inseriram esses mesmos trabalhos, juntamente com as regras do instrutor, em dois modelos diferentes de inteligência artificial: um da empresa chamada OpenAI e outro do Google.

Os pesquisadores não pediram simplesmente aos computadores para darem uma nota. Eles projetaram um processo cuidadoso para garantir que os modelos pensassem passo a passo na correção, de forma muito semelhante a um professor humano. Eles pediram aos modelos que primeiro verificassem se o aluno havia abordado o tópico correto, depois examinassem cada parte da rubrica para ver se os elementos exigidos estavam presentes e, finalmente, calculassem uma pontuação baseada em erros específicos encontrados. Para garantir que os resultados fossem estáveis e não apenas um golpe de sorte, os pesquisadores pediram a cada modelo que corrigisse cada trabalho três vezes separadamente e, em seguida, fizesse a média dos resultados. Eles também construíram uma ferramenta web personalizada para gerenciar todo esse processo, permitindo que os modelos lessem os arquivos PDF dos alunos, que continham tanto texto quanto os diagramas complexos, e gerassem um relatório detalhado para cada aluno.

Quando os pesquisadores compararam as notas geradas pelos computadores com as notas do instrutor humano, os resultados foram uma mistura de promessa e limitação. Os sistemas de inteligência artificial foram, em geral, próximos da pontuação média do professor humano, com as notas do computador diferindo cerca de cinco pontos de um total de cinquenta, em média. No entanto, os computadores tiveram dificuldade em igualar a capacidade do professor humano de distinguir entre os melhores e os piores alunos. O instrutor humano atribuiu uma ampla gama de pontuações, indo de um mínimo de 19 a um máximo de 49, refletindo uma compreensão clara de quem havia dominado o material e quem não o havia feito. Os computadores, por outro lado, tenderam a comprimir essas pontuações em uma faixa mais estreita, muitas vezes atribuindo uma nota ligeiramente superior para trabalhos medíocres e uma nota ligeiramente inferior para trabalhos excelentes. Isso significou que, embora os computadores fossem bons em dar uma estimativa bruta de desempenho, eles ainda não eram confiáveis o suficiente para substituir um professor humano na decisão de uma nota final, pois perderam a capacidade de classificar os alunos com precisão.

Apesar das imperfeições na correção, o feedback gerado pelos computadores foi surpreendentemente bem recebido. Os alunos que receberam os comentários gerados pela IA os consideraram claros, úteis e proveitosos para entender seus erros. De fato, quando questionados sobre qual feedback de computador preferiam, a grande maioria dos alunos escolheu o modelo da OpenAI, observando que seus comentários pareciam mais pessoais e construtivos, e mais próximos do que um professor humano diria. Curiosamente, essa preferência nem sempre coincidia com qual computador deu a nota matematicamente mais próxima; o modelo que os alunos mais gostaram pelo seu estilo de escrita não era necessariamente o mais preciso em sua pontuação. Isso sugere que, para os alunos, a qualidade do conselho importa mais do que o número exato atribuído ao seu trabalho.

O estudo conclui que essas ferramentas de inteligência artificial são assistentes poderosos, mas ainda não estão prontas para assumir o controle totalmente. Elas podem lidar com o trabalho pesado de revisar centenas de trabalhos, detectar elementos ausentes em diagramas e redigir um feedback inicial, o que economiza um tempo tremendo para os professores. No entanto, a pesquisa sugere fortemente que um professor humano deve permanecer no processo para revisar as notas finais e garantir a justiça, especialmente em avaliações de alto risco onde o futuro de um aluno depende do resultado. O ideal futuro, de acordo com esses achados, é uma abordagem híbrida onde o computador atua como um primeiro leitor incansável, oferecendo uma avaliação preliminar e sugestões detalhadas, enquanto o instrutor humano fornece o julgamento final e a compreensão matizada que apenas uma pessoa pode oferecer. Essa parceria poderia transformar o ensino de engenharia de software, tornando o feedback personalizado disponível para todos os alunos sem sobrecarregar os professores.