Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

No mundo do aprendizado de línguas, escrever um ensaio acadêmico é um ato complexo. Não se trata meramente de soletrar palavras corretamente ou organizar sentenças sem erros gramaticais. Para ter sucesso, um aluno deve também desenvolver ideias fortes, conectar essas ideias de forma fluida para que o texto flua logicamente e adotar um tom que se ajuste às expectativas sérias e objetivas da conversa acadêmica. Por décadas, professores lutaram para corrigir esses ensaios de forma justa e consistente. O julgamento humano é valioso, mas também é lento, caro e propenso à fadiga, o que pode levar diferentes professores a atribuírem notas diferentes para o mesmo trabalho. Isso criou uma demanda por computadores que possam ler e corrigir a escrita automaticamente.

Recentemente, surgiram sistemas de inteligência artificial poderosos conhecidos como modelos de linguagem de grande escala. Estes são os mesmos tipos de tecnologia que podem manter conversas, escrever histórias ou responder perguntas. Como eles conseguem compreender a linguagem humana tão bem, pesquisadores começaram a se perguntar se eles também poderiam atuar como professores justos e precisos, corrigindo ensaios de alunos tal como um humano faria. A esperança era que essas máquinas pudessem fornecer feedback instantâneo para milhares de alunos ao mesmo tempo. No entanto, uma questão crítica permanecia sem resposta: será que essas máquinas realmente entendem o que torna uma escrita boa, ou estão apenas adivinhando números que parecem estar corretos? Para descobrir, uma pesquisadora chamada Pegah Merrikhi propôs-se a testar três dos sistemas de IA mais avançados disponíveis hoje contra o padrão ouro do julgamento humano.

O estudo focou em um framework específico chamado LICA, que decompõe a qualidade de um ensaio em quatro partes distintas. A primeira parte é a Linguagem (Language), que observa a gramática e o vocabulário. A segunda são as Ideias (Ideas), medindo o quão profundos e bem fundamentados são os argumentos. A terceira é a Coesão (Cohesion), verificando o quão bem as sentenças e parágrafos se mantêm unidos. A parte final é a Adequação Acadêmica (Academic Appropriateness), que julga se a escrita soa como um acadêmico sério falando, em vez de uma conversa casual. A pesquisadora pegou cinco ensaios escritos por aprendizes de segunda língua e pediu a três sistemas de IA diferentes — GPT-4o, Claude 3.5 Sonnet e Gemini 1.5 Pro — que notassem cada ensaio nessas quatro escalas. Ao mesmo tempo, um especialista humano forneceu as notas "corretas". O objetivo era ver o quão próximo as máquinas chegavam do especialista humano e como elas se comparavam entre si.

Os resultados revelaram uma história de precisão surpreendente misturada com personalidades distintas dentro deste teste específico e de pequena escala. Um dos sistemas de IA, o GPT-4o, desempenhou-se com perfeição na precisão nos cinco ensaios utilizados para esta calibração preliminar. Ele igualou-se exatamente às notas do especialista humano em todos os cinco ensaios e para cada categoria neste conjunto específico, replicando efetivamente o julgamento do especialista humano para este conjunto limitado de dados. O segundo sistema, o Claude 3.5 Sonnet, também foi muito próximo do especialista humano, mas mostrou uma leve tendência a ser generoso demais. Ao avaliar o fluxo de ideias e o tom acadêmico, ele atribuiu notas que eram um pouco mais altas do que o especialista humano teria dado. Não estava errado, mas era ligeiramente condescendente.

O terceiro sistema, o Gemini 1.5 Pro, mostrou um padrão diferente. Embora fosse muito bom em julgar como os parágrafos se conectavam, tendia a ser mais rigoroso do que o especialista humano. Quando se tratava de avaliar a profundidade das ideias do aluno e a adequação do tom acadêmico, ele atribuiu notas visivelmente mais baixas do que o especialista humano. Isso sugere que, embora a máquina pudesse perceber a estrutura da escrita, era mais dura com o conteúdo e com a voz do escritor.

Talvez a descoberta mais reveladora não tenha sido sobre como as máquinas se comparavam aos humanos, mas sobre como elas se comparavam entre si. Quando os três sistemas de IA avaliaram os ensaios sem ajuda humana, eles concordaram quase perfeitamente nos aspectos técnicos da linguagem e no fluxo do texto. No entanto, eles tiveram dificuldade em concordar entre si quando se tratava de julgar o tom acadêmico e a qualidade das ideias. Na questão de se a escrita soava apropriada para um ambiente universitário, as máquinas frequentemente discordavam, com uma sendo generosa e outra sendo rigorosa. Isso indica que, embora esses sistemas sejam excelentes em detectar gramática e estrutura, eles ainda não compartilham um entendimento único e unificado do que faz um argumento acadêmico soar correto.

O estudo conclui que estas ferramentas de inteligência artificial são poderosas o suficiente para serem úteis, mas ainda não estão prontas para substituir inteiramente os professores humanos. Elas podem lidar com as partes mecânicas da correção com grande velocidade e precisão, mas ainda carecem da intuição humana consistente necessária para julgar as sutilezas sociais e culturais da escrita acadêmica. A pesquisadora sugere que a melhor abordagem é usar estas máquinas como assistentes que fornecem um primeiro rascunho de feedback, mantendo um professor humano no processo para fazer o julgamento final, especialmente nas partes mais complexas da escrita. Isso garante que os alunos recebam a velocidade da automação sem perder a profundidade da compreensão humana.