AI-Assisted Grading in Biochemistry: Automated Long Answer Question Scoring with Expert-Level Accuracy

No mundo da educação médica, ensinar bioquímica envolve mais do que apenas memorizar fatos sobre como o corpo processa energia. Requer que os alunos pensem profundamente e expliquem processos complexos com suas próprias palavras. Para medir esse entendimento, os instrutores frequentemente utilizam questões de resposta longa, onde um aluno deve escrever uma explicação detalhada de um mecanismo biológico. Essas questões são ferramentas poderosas para o aprendizado porque forçam os alunos a organizar seus pensos e demonstrar verdadeiro domínio. No entanto, corrigi-las é um fardo pesado. Quando uma turma cresce, um único professor não consegue dedicar o tempo necessário para ler cada ensaio cuidadosamente, oferecendo feedback personalizado e garantindo que cada aluno seja julgado de forma justa em relação aos mesmos padrões. O desafio não é apenas o volume de trabalho, mas a necessidade de consistência; um professor pode valorizar um detalhe específico que outro ignora, levando a resultados desiguais.

Uma equipe de pesquisadores de faculdades de medicina na Índia decidiu verificar se um novo tipo de programa de computador poderia resolver esse problema. Eles queriam saber se um sistema de inteligência artificial poderia ler esses ensaios longos, corrigir com a mesma habilidade de um professor humano experiente e explicar exatamente por que um aluno recebeu determinada nota. Os pesquisadores construíram uma ferramenta que atua como um examinador digital. Em vez de apenas contar palavras ou verificar palavras-chave, este sistema recebeu um conjunto específico de regras, conhecido como rubrica, que decompõe uma resposta perfeita em partes menores. O computador foi instruído a procurar essas partes específicas na escrita de um aluno, atribuir pontos pelo que fosse encontrado e, em seguida, sugerir como a resposta poderia ser melhorada. O sistema utilizou um modelo de linguagem sofisticado, um tipo de programa de computador treinado em vastas quantidades de texto para compreender a linguagem humana, para realizar essa tarefa.

O estudo envolveu trezentos alunos que escreveram respostas para duas questões diferentes de bioquímica. Os pesquisadores coletaram essas seiscentas respostas e fizeram com que fossem corrigidas duas vezes: uma vez pelo computador e outra vez por dois especialistas humanos que possuíam anos de experiência ensinando a disciplina. Os professores humanos usaram o mesmo conjunto de regras para pontuar os trabalhos. Para garantir que o computador não estivesse apenas adivinhando, os pesquisadores pediram que ele corrigisse cada trabalho cinco vezes com pequenas variações e, em seguida, utilizassem a pontuação intermediária como o resultado final. Esse método ajudou a suavizar quaisquer erros aleatórios que o computador pudesse cometer. A equipe então comparou as pontuações dadas pela máquina contra as pontuações dadas pelos dois professores humanos para ver o quão próximas elas eram.

Os resultados mostraram um nível impressionante de concordância entre a máquina e os humanos. As notas dadas pela inteligência artificial alinharam-se quase perfeitamente com as notas dadas pelos especialistas humanos. Quando os pesquisadores mediram o quão de perto as notas do computador seguiam as notas dos professores, os números indicaram uma correspondência excelente, muito superior ao que é normalmente visto quando dois humanos diferentes corrigem os mesmos trabalhos. O computador não deu consistentemente notas mais altas ou mais baixas do que os professores; sua pontuação média foi quase idêntica à média humana. De fato, a correção do computador foi tão consistente com os especialistas que poderia ser considerada uma parceira confiável na sala de aula. O sistema também forneceu comentários específicos sobre onde a resposta de um aluno era fraca, oferecendo um nível de detalhe que ajuda os alunos a aprenderem com seus erros.

Este trabalho sugere que a inteligência artificial pode lidar com a difícil tarefa de corrigir respostas escritas complexas em ciências sem perder a nuance que os professores humanos fornecem. Os pesquisadores descobriram que, ao fornecer ao computador um conjunto claro de instruções sobre o que procurar, ele poderia avaliar o trabalho dos alunos com precisão de nível especialista. Isso não significa que o computador substitui o professor, mas sim que ele pode assumir o trabalho pesado da correção, liberando os educadores humanos para se concentrarem no ensino e na mentoria. O estudo indica que esta abordagem está pronta para ser usada em salas de aula reais para tornar a avaliação mais justa e eficiente, garantindo que cada aluno receba uma nota que realmente reflita seu entendimento do material.