A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor

Imagine que você é um professor com uma montanha de lições de casa para corrigir. Você tem 6.000 tarefas de programação para verificar e seus olhos estão cansados. Entre em cena o "Corretor Digital": um tipo de cérebro de computador superinteligente chamado Modelo de Linguagem de Grande Escala (LLM). Pense nesses modelos como robôs incrivelmente bem informados que leram quase tudo na internet, incluindo milhões de linhas de código. Eles são projetados para entender linguagem e lógica, então parece uma ideia perfeita pedir a eles para corrigir o trabalho dos alunos instantaneamente. Mas aqui está o detalhe: assim como os humanos, esses robôs têm personalidades diferentes. Alguns são rigorosos, outros são descontraídos e outros são simplesmente estranhos. A grande questão para as escolas é: se deixarmos esses robôs assumirem a correção, eles serão justos? Eles concordarão com os professores humanos? Ou transformarão o sistema de notas em um jogo caótico onde um robô te dá um A+ e outro te dá um F pelo exato mesmo código?

Este artigo é como um enorme "teste de sabor" para esses corretores digitais. O autor, Marcin Jukiewicz, reuniu 6.000 tarefas de programação reais de um curso universitário e pediu a 18 versões diferentes desses robôs de IA para corrigirem todas elas. Ele não apenas pediu que dessem uma nota; ele observou como eles pensavam, quão rigorosos eram e se concordavam entre si ou com os professores humanos. O estudo revela que esses modelos de IA não são um bloco uniforme de inteligência; eles são uma família de primos muito diferentes. Alguns são "liberais" e distribuem notas altas como se fossem doces, enquanto outros são "restritivos" e reprovam alunos por erros minúsculos. Até mesmo mais surpreendente, os robôs da mesma empresa (como OpenAI ou Google) tendem a pensar e corrigir de maneiras muito semelhantes, quase como se tivessem sido criados na mesma casa com as mesmas regras.

A descoberta mais importante, no entanto, é um choque de realidade. Mesmo o robô de IA "melhor" do estudo mostrou um nível de alinhamento estatístico moderado com os professores humanos, longe de uma correspondência perfeita. No mundo da correção, isso é como dois juízes em um show de talentos dando notas completamente diferentes para o mesmo cantor. O estudo sugere que, embora a IA possa ser consistente consigo mesma, ela ainda tem dificuldade em corresponder à maneira matizada, tolerante e sensível ao contexto dos professores humanos. Além disso, o estudo descobriu que as versões "mini" ou "nano" desses modelos (as menores e mais baratas) eram geralmente piores em corrigir do que seus irmãos maiores e completos. Portanto, se uma escola quiser usar IA para corrigir o dever de casa, ela não pode simplesmente escolher qualquer robô; ela tem que escolher cuidadosamente, porque a escolha do robô mudará, de fato, as notas que os alunos recebem.

O Grande Duelo de Correção de Robôs

Imagine que você entra em uma sala de aula onde 18 robôs diferentes estão sentados em mesas, cada um segurando uma caneta vermelha. Eles estão prestes a corrigir uma pilha de 6.000 tarefas de programação. Estes não são quaisquer robôs; são os mais recentes e avançados "Modelos de Linguagem de Grande Escala" (LLMs) de quatro gigantes da tecnologia: OpenAI, Google, Anthropic e DeepSeek. O objetivo deste estudo era ver se esses robôs concordariam sobre quem recebe um A, quem recebe um B e quem reprova.

Os resultados foram um pouco como um reality show onde os juízes não conseguem concordar em nada. O autor descobriu que esses robôs têm "filosofias de correção" distintas.

Os Robôs "Bonzinhos" vs. Os Robôs "Malvados"
Alguns robôs eram incrivelmente generosos. Modelos como GPT-4o e Claude-haiku-3.5 eram os corretores "liberais". Eles tendiam a dar notas altas (um "1" ou crédito total) com muita frequência. Se o código de um aluno estivesse majoritariamente correto, esses robôs ficavam felizes em dar uma nota de aprovação. No outro extremo do espectro, você tinha os robôs "restritivos" como DeepSeek-Reasoner e GPT-4.1-nano. Eles eram os disciplinadores rigorosos. Eram muito mais propensos a dar um "0" (uma nota de reprovação) se detectassem até mesmo um pequeno erro. Eram os robôs que te reprovariam por um ponto e vírgula faltando, enquanto os robôs bonzinhos apenas te dariam um toque gentil.

Depois, havia os robôs "equilibrados", como Claude-sonnet-4 e Gemini-2.0-flash-lite. Estes eram os corretores de meio termo. Eles não davam apenas uma nota perfeita ou uma nota de reprovação; eles adoravam a nota "0.5". Eram aqueles dizendo: "Você entendeu a ideia principal, mas perdeu alguns detalhes, então aqui está um crédito parcial".

A Semelhança Familiar
Uma das descobertas mais legais foi que robôs da mesma empresa agiam como irmãos. Se você olhasse os padrões de correção dos diferentes modelos da OpenAI (como GPT-4o, GPT-5 e suas versões "mini"), eles se agrupavam. Eles pensavam de forma semelhante. O mesmo acontecia com os modelos Gemini do Google e os modelos Claude da Anthric. É como se a OpenAI tivesse ensinado todos os seus robôs a corrigir em um estilo específico, e o Google tivesse ensinado seus robôs um estilo diferente. O estudo encontrou seis grupos distintos de robôs: cinco "clãs" principais com estilos compartilhados (GPT-5, GPT-4, Gemini, DeepSeek e Claude) além de um grupo especial de "Outliers" que agrupava dois modelos únicos porque não se encaixavam em lugar nenhum.

O "Mini" vs. O "Mega"
O estudo também analisou o tamanho dos robôs. As empresas de tecnologia frequentemente lançam versões "mini" ou "nano" de seus modelos, que são menores, mais rápidas e mais baratas de operar. O artigo descobriu que esses robôs menores eram geralmente piores em corrigir. Os modelos "flagship" de tamanho total eram mais consistentes e confiáveis. É como comparar um chef profissional com uma criança que acabou de assistir a um programa de culinária; a criança pode até terminar o prato, mas o profissional tem mais probabilidade de acertar o sabor todas as vezes. Os modelos "mini" e "nano" tinham menor concordância com os professores humanos, sugerindo que, se uma escola estiver tentando economizar dinheiro usando os modelos menores e mais baratos, ela pode estar obtendo uma correção de menor qualidade.

O Fator Humano
Aqui está a reviravolta que pode surpreender você. Quando o autor comparou todos esses robôs com os professores reais que corrigiram as mesmas tarefas, eles não se alinharam bem. Na verdade, os professores humanos foram os mais generosos de todos! Eles deram as médias mais altas (0,726) e eram muito mais propensos a dar um "1" completo do que qualquer um dos robôs.

O melhor robô, Claude-haiku-3.5, mostrou um índice de concordância estatística de 0,470 com os professores humanos. No mundo da estatística, isso é considerado uma concordância "moderada", não uma "boa". Para ser considerada "boa", você geralmente precisa de um índice superior a 0,75. Isso significa que, se você usasse este robô para corrigir seu dever de casa, ele provavelmente daria uma nota diferente da que seu professor daria, e seria mais rigoroso.

O Paradoxo da "Multidão"
O estudo fez algo inteligente para testar os robôs entre si. Em vez de compará-los aos humanos, os pesquisadores perguntaram: "Se pegarmos a nota mais comum dada por todos os 18 robôs, essa é a nota 'verdadeira'?" Quando fizeram isso, os robôs concordaram entre si muito melhor (mais de 80% de concordância para os principais modelos). Isso sugere que os robôs são muito consistentes com o seu próprio tipo, mas são todos consistentemente diferentes dos professores humanos.

Isso levanta uma grande questão: os robôs estão certos e os professores são muito lenientes? Ou todos os robôs estão cometendo o mesmo erro porque foram treinados em dados semelhantes? O artigo sugere que, embora os robos sejam consistentes, eles podem estar perdendo o "toque humano" — a capacidade de entender que um aluno se esforçou, ou que um pequeno erro não significa que ele não aprendeu o conceito.

O Que Isso Significa para o Futuro

O artigo não diz que a correção por IA está quebrada ou que devemos parar de usá-la. Em vez disso, alerta as escolas para terem cuidado. Escolher um robô para corrigir seu dever de casa não é uma decisão neutra; é uma escolha que altera o resultado. Se você escolher um robô "liberal", os alunos podem tirar notas mais altas. Se você escolher um robô "restritivo", os alunos podem tirar notas mais baixas.

O estudo conclui que não podemos simplesmente deixar a IA assumir a correção completamente. Ainda precisamos de professores humanos para monitorar as coisas. Os robôs são ótimas ferramentas, mas são como diferentes tipos de calculadoras: algumas arredondam para cima, outras para baixo, e algumas têm botões diferentes. Até que consigamos fazer com que eles concordem com os professores humanos, temos que lembrar que a nota que um robô te dá pode não ser a mesma nota que seu professor daria. E no mundo da educação, essa diferença importa muito.