Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring

No mundo da educação, corrigir uma pilha de redações é uma tarefa pesada e demorada. Por décadas, os computadores tentaram ajudar com isso, mas muitas vezes têm dificuldade em igualar a nuance de um professor humano. Recentemente, uma nova geração de programas de computador poderosos, conhecidos como modelos de linguagem de grande escala, mostrou uma capacidade notável de ler e compreender a escrita humana. Esses sistemas podem ser instruídos a agir como examinadores, atribuindo pontuações ao trabalho dos alunos com base em regras específicas. No entanto, um problema significativo permanece: esses programas são caros para operar. Quanto mais detalhadas forem as instruções dadas ao computador, mais custa obter uma resposta. Além disso, a melhor maneira de fazer uma pergunta ao computador nem sempre é óbvia; ela muda dependendo da redação específica ou da versão do software que está sendo usada. Educadores e organizações de testes enfrentam uma escolha difícil: pagar um preço alto para rodar cada redação através de cada conjunto possível de instruções para encontrar o melhor, ou arriscar o uso de um método mais barato e menos preciso que pode falhar.

Uma equipe de pesquisadores da Universidade Carleton propôs uma nova maneira de resolver esse dilema. Em vez de tentar adivinhar o conjunto perfeito de instruções antecipadamente, eles construíram um sistema que aprende a melhor abordagem enquanto trabalha. Eles trataram as diferentes maneiras de pedir ao computador para corrigir uma redação como um conjunto de máquinas caça-níqueis, cada uma com uma chance diferente de pagar um bom resultado. À medida que o sistema corrigia as redações, ele monitorava quais métodos produziam pontuações que coincidiam mais de perto com os professores humanos e quais eram os mais eficientes. Com o tempo, o sistema naturalmente parou de desperdiçar esforço com os métodos ruins e focou quase inteiramente naqueles que funcionavam melhor. Essa abordagem permitiu que encontrassem a estratégia de correção mais eficaz enquanto utilizavam muito menos recursos computacionais do que os métodos tradicionais.

Os pesquisadores testaram essa ideia usando uma coleção de 787 redações reais do exame de escrita do IELTS, um importante teste internacional de proficiência em inglês. Eles configuraram quatro maneiras distintas para o computador corrigir os textos. Dois métodos pediam ao computador para dar uma pontuação única e geral imediatamente, enquanto os outros dois pediam que ele decompusesse a redação em quatro categorias específicas — como o quão bem o escritor respondeu ao tema e como as ideias estavam organizadas — antes de calcular uma pontuação final. Para metade desses métodos, o computador também recebeu exemplos de redações boas e ruins para ajudá-lo a entender o que procurar; para a outra metade, ele teve que confiar em seu próprio conhecimento. O sistema então começou a corrigir as redações, usando um algoritmo de aprendizado para decidir qual dos quatro métodos usar para cada novo texto.

Os resultados foram claros e imediatos. O sistema aprendeu rapidamente que a estratégia mais eficaz era aquela que decompunha a redação em categorias específicas e fornecia exemplos do que era uma redação boa ou ruim. Esse método produziu consistentemente pontuações que se alinhavam mais de perto com os examinadores humanos. Em contraste, os métodos que omitiam os exemplos ou tentavam dar uma pontuação única sem a decomposição tiveram um desempenho significativamente inferior. O algoritmo de aprendizado foi tão eficaz que, após um curto período de teste, parou de escolher os métodos mais fracos quase totalmente, dedicando mais de 70 por cento de seus esforços à abordagem de melhor desempenho.

Talvez a descoberta mais surpreendente tenha surgido quando os pesquisadores analisaram o custo dessas instruções. A sabedoria convencional sugere que fornecer ao computador regras e explicações mais detalhadas sobre como corrigir deve levar a melhores resultados. No entanto, o estudo encontrou o oposto. Quando os pesquisadores removeram as descrições longas e detalhadas das regras de correção das instruções, o computador na verdade teve um desempenho melhor. As instruções mais simples, que dependiam do entendimento prévio do computador sobre a escrita em vez de um manual de regras, levaram a pontuações mais precisas e utilizaram menos recursos computacionais. Isso sugere que esses programas de computador poderosos já aprenderam as nuances da escrita acadêmica durante seu treinamento e não precisam que se lhes diga cada detalhe novamente.

Os ganhos de eficiência provenientes dessa abordagem adaptativa foram substanciais. Ao permitir que o sistema escolhesse o melhor método em tempo real, os pesquisadores reduziram o número de vezes que precisavam chamar o computador para ajuda em quase 79 por cento em comparação com um método tradicional que tentava todas as opções possíveis em cada redação. Essa redução massiva nas chamadas de computador traduziu-se diretamente em uma queda de 73 por cento no número total de palavras que o computador teve que processar, e uma redução de 70 por cento no custo estimado do experimento. O sistema alcançou o mesmo nível de precisão que o método exaustivo e caro, mas o fez com uma fração do esforço.

Este trabalho representa uma mudança na forma como a correção automatizada pode ser gerenciada. Em vez de tratar a escolha das instruções como uma configuração fixa que deve ser decidida antes do início do trabalho, os pesquisadores mostraram que ela pode ser um processo dinâmico que melhora conforme avança. Embora o estudo tenha sido limitado a um conjunto específico de redações e um tipo de programa de computador, as descobertas oferecem um caminho promissor para a tecnologia educacional. Ao equilibrar a necessidade de precisão com a realidade dos custos operacionais, este método oferece uma maneira de tornar a correção automatizada de alta qualidade acessível e sustentável para programas de testes de larga escala. O estudo sugere que o futuro da avaliação automatizada não reside em construir instruções mais complexas, mas em construir sistemas mais inteligentes que saibam aprender quais instruções funcionam melhor no momento.