When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

No mundo da aprendizagem de uma segunda língua, professores e investigadores têm dependido há muito tempo de uma estrutura de três partes para compreender o quão bem um aluno escreve. Eles observam a complexidade, que é o quão intrincadas e variadas são as estruturas das frases; a precisão, que mede o quão livre a escrita está de erros gramaticais; e a fluência, que conta quantas palavras um aluno produz num único pensamento. Durante décadas, medir estas características exigiu que um especialista humano lesse cada frase, contasse as cláusulas e sinalizasse cada erro, um processo que é lento, caro e difícil de repetir de forma consistente. Agora, a inteligência artificial oferece uma nova possibilidade. Os modelos de linguagem de grande escala, os mesmos sistemas computacionais poderosos que podem escrever ensaios ou responder a perguntas, também podem ser solicitados a contar estas características linguísticas instantaneamente. Mas uma questão crítica permanece: só porque um computador concorda com um humano na classificação geral dos ensaios, será que ele produz realmente os mesmos números? Se um professor utilizar estes números para acompanhar o progresso de um aluno ao longo do tempo, um erro pequeno e consistente na contagem do computador poderá levar a uma conclusão completamente errada sobre se o aluno está a melhorar ou a ter dificuldades.

Uma equipa de investigadores da Universidade de Maragheh, no Irão, propôs-se a responder a esta questão testando seis diferentes sistemas de inteligência artificial públicos contra especialistas humanos. Eles reuniram 90 ensaios argumentativos escritos por 45 estudantes universitários, com cada estudante escrevendo dois ensaios sobre o mesmo tema acerca das redes sociais, separados por duas semanas. Os especialistas humanos leram primeiro cada ensaio e concordaram num único conjunto de números para complexidade, precisão e fluência, baseados em regras estritas. Em seguida, os investigadores inseriram os mesmos ensaios exatos em seis modelos de IA diferentes, incluindo sistemas conhecidos como ChatGPT, Gemini e outros, pedindo-lhes que aplicassem as mesmas regras estritas e retornassem as contagens. O objetivo não era ver se a IA conseguia escrever um bom ensaio, mas sim ver se ela conseguia atuar como uma ferramenta de medição precisa, replicando os valores exatos que um humano calcularia.

Os resultados revelaram uma lacuna surpreendente entre o que a IA e os humanos concordavam e o que eles realmente mediam. Cada modelo de IA mostrou uma forte ligação com as pontuações humanas; quando um humano classificava um ensaio com alta complexidade, a IA também o classificava como alto. Isto significa que os computadores eram bons em compreender a ordem relativa dos ensaios. No entanto, quando os investigadores observaram os números reais, os computadores estavam frequentemente errados de uma forma específica. Para a medida de complexidade, que envolve contar quantas cláusulas estão compactadas numa frase, cinco dos seis modelos subestimaram consistentemente o valor. Eles viram menos estruturas complexas do que os humanos viram. Este não foi um erro aleatório; foi um viés sistemático onde os modelos pareceram perder as partes intrincadas da escrita do estudante. Em contraste, os modelos foram muito melhores a medir a precisão. Eles conseguiam identificar de forma fiável se uma frase continha um erro gramatical ou não, e os seus números estavam muito mais próximos das contagens humanas.

O estudo também examinou o quão bem os modelos conseguiam detetar mudanças na escrita de um aluno ao longo do tempo. Uma vez que os estudantes escreveram dois ensaios, os investigadores puderam observar se a IA notava as mesmas mudanças de desempenho que os humanos notaram. Os especialistas humanos descobriram que, no segundo ensaio, os estudantes escreveram com significativamente menos erros gramaticais, mas produziram frases mais curtas e menos complexas. Os modelos de IA copiaram com sucesso este padrão para precisão e fluência, identificando corretamente que os estudantes estavam a cometer menos erros e a escrever menos palavras por frase. No entanto, no que diz respeito à complexidade, os modelos foram inconsistentes. Alguns não conseguiram notar a queda na complexidade inteiramente, enquanto outros viram uma mudança que era demasiado pequena. Isto sugere que, embora uma IA possa ser útil para detetar tendências gerais num grande grupo de estudantes, ainda não pode ser confiada para fornecer os números exatos necessários para uma análise detalhada da estrutura das frases sem supervisão humana.

Entre os seis sistemas testados, um modelo chamado DeepSeek teve o melhor desempenho geral, equilibrando a precisão nas três categorias melhor do que os outros. Outro modelo, o ChatGPT, foi particularmente forte na medição da precisão. No entanto, os investigadores enfatizaram que nenhum modelo único era perfeito para todas as tarefas. O desempenho da IA dependia fortemente do que exatamente estava a ser medido. Um modelo que é excelente a contar erros pode ser mau a contar estruturas de frases. Esta descoberta desafia a ideia de que uma alta correlação entre pontuações humanas e de máquina significa que as duas são intercambiáveis. Sugere que o uso de inteligência artificial para avaliação de linguagem requer uma abordagem cuidadosa e específica, onde a ferramenta é validada para o trabalho específico que lhe está a ser pedido, em vez de assumir que funciona igualmente bem para tudo.

Em última análise, o estudo conclui que estes poderosos sistemas computacionais são assistentes valiosos, mas não substitutos para o julgamento humano neste campo específico. Eles podem analisar rapidamente grandes quantidades de escrita para encontrar padrões gerais ou sinalizar ensaios que necessitem de uma inspeção mais próxima. No entanto, para medições precisas, especialmente em relação à complexidade das estruturas de frases, os números que produzem ainda precisam de ser verificados face aos padrões humanos. A investigação destaca que, na busca pela análise de linguagem automatizada, a diferença entre mover-se na mesma direção e aterrar no mesmo número é uma distinção crucial que investigadores e professores devem manter em mente.