Automated item evaluation: Predicting item acceptance and rejection using LLM-generated critiques

Imagine que você é um professor que tem que corrigir milhares de tarefas de casa toda semana. Algumas são brilhantes, algumas são confusas e algumas são simplesmente erradas. Normalmente, você tem que ler cada uma delas para decidir quais manter e quais jogar fora. Isso é lento, caro e cansativo. Agora, imagine um assistente robô superinteligente que pode ler essas tarefas e dizer a você: "Ei, esta aqui parece arriscada, talvez não deva usá-la", antes mesmo de você gastar seu tempo corrigindo-a. Este é o mundo da Avaliação Automatizada de Itens (AIE - Automated Item Evaluation). É um ramo da tecnologia educacional que tenta usar computadores para julgar a qualidade de questões de testes (chamadas de "itens") sem precisar que um especialista humano as leia ou as teste em alunos reais primeiro. A grande questão que os pesquisadores estão fazendo é: Podemos ensinar um computador a detectar uma questão de teste "ruim" apenas lando o texto, poupando-nos da dor de cabeça de descobrir mais tarde que a questão estava quebrada?

Este artigo é sobre a construção desse assistente robô superinteligente. Os pesquisadores, Hotaka Maeda e Yikai Lu, queriam criar um sistema que pudesse olhar para uma questão de teste e prever se ela seria "aceita" (pronta para uso) ou "rejeitada" (descartada) com base em um banco de dados massivo de 52.759 questões reais de um grande programa de testes padronizados. Eles não apenas alimentaram o computador com as questões brutas; eles tentaram um truque inteligente. Eles pediram a um modelo de linguagem de grande escala (um tipo de IA que consegue escrever e pensar) que primeiro escrevesse uma breve "crítica" ou revisão da questão e, em seguida, alimentaram o modelo de predição tanto com a questão original quanto com essa revisão da IA. Pense nisso como contratar um aluno para escrever um resumo rápido de um livro antes de você decidir se quer ler o livro inteiro sozinho.

Os resultados foram bastante empolgantes, mas com algumas ressalvas importantes. O "modelo de fusão" (aquele que olhou tanto para a questão quanto para a crítica da IA) foi o melhor executor. Ele acertou a resposta cerca de 75% das vezes no geral. No entanto, foi um pouco um super-herói para questões de matemática (acertando 73% das vezes), mas teve um pouco mais de dificuldade com questões de Língua Inglesa/Artes da Linguagem (apenas 51% de precisão). Os pesquisadores descobriram que, se tornassem o robô um pouco mais paranoico — dizendo a ele para sinalizar qualquer coisa que pudesse ser ruim em vez de esperar que fosse definitivamente ruim — ele conseguiria capturar 90% das questões ruins, embora também sinalizasse acidentalmente algumas questões boas.

Aqui está a parte mais importante: o robô foi ótimo em detectar questões que eram difíceis demais, tinham redação confusa ou não correspondiam ao currículo. Mas, ele foi terrível em detectar questões que eram tendenciosas, injustas ou sensíveis a certos grupos de pessoas. O artigo sugere que, embora os computadores estejam ficando muito bons em verificar a "mecânica" de uma questão de teste, eles ainda precisam de professores humanos para verificar o "cheart" (coração) e a justiça das questões. Portanto, o futuro não é sobre substituir humanos, mas sim dar a eles uma ferramenta poderosa para filtrar o lixo óbvio para que possam focar nas coisas complicadas e importantes.

A História do Detector de "Questões Ruins"

O Problema: A Montanha de Lição de Casa
Criar um teste padronizado é como construir um castelo gigante de Lego. Você precisa de milhares de tijolos individuais (questões) para fazê-lo ficar de pé. Mas nem todo tijolo é bom. Alguns estão rachados, alguns são da cor errada e alguns simplesmente não se encaixam. Tradicionalmente, especialistas têm que pegar cada tijolo, inspecioná-lo e, às vezes, até testá-lo em um grupo de crianças para ver se funciona. Isso leva uma eternidade e custa uma fortuna. Com o surgimento da IA que pode gerar questões automaticamente, a montanha de tijolos está ficando maior a cada dia. Precisamos de uma maneira de separar rapidamente os tijolos bons dos ruins sem verificar cada um deles à mão.

O Experimento: A Abordagem de Dois Cérebros
Os pesquisadores decidiram treinar um cérebro de computador (especificamente um modelo chamado DeBERTaV3-large) para fazer essa classificação. Eles tinham um enorme conjunto de dados de 52.759 questões. Cerca de 34% destas foram "rejeitadas" (removidas permanentemente por serem ruins) e o restante foi "aceito".

Eles tentaram três maneiras diferentes de ensinar o computador:

1. O Leitor Bruto: Eles alimentaram o computador apenas com o texto da questão.
2. O Crítico: Eles pediram a uma outra IA (Qwen3) para escrever uma revisão de duas frases sobre a questão primeiro, e depois alimentaram o computador com essa revisão.
3. O Modelo de Fusão: Eles combinaram ambos! Eles alimentaram o computador com a questão original e a revisão da IA.

Os Resultados: Um Assistente Inteligente, mas Falho
O "Modelo de Fusão" foi o vencedor claro. Ele alcançou uma precisão de 0,75 (significando que estava certo 75% das vezes) e um escore F1 de 0,64.

• Matemática vs. Inglês: O modelo era um prodígio da matemática, com um escore F1 de 0,73 para questões de matemática. Mas para Língua Inglesa/Artes da Linguagem (ELA), ele tropeçou com um escore F1 de apenas 0,51. Os autores sugerem que isso pode ser porque as questões de inglês dependem de longos textos de leitura, que os pesquisadores tiveram que deixar de fora dos dados por serem longos demais.
• A Configuração "Paranoica": Os pesquisadores notaram que, se baixassem o "limiar de alarme" de 0,5 para 0,25, o modelo se tornava muito melhor em capturar questões ruins. Ele capturou 90% dos itens rejeitados (sensibilidade de 0,90 para matemática e 0,88 para ELA). A troca? Ele começou a sinalizar muitas questões boas como ruins (a especificidade caiu). Os autores sugerem que esta configuração "paranoica" pode ser perfeita para a geração automatizada de itens, onde é barato criar uma questão, mas caro revisá-la. Se você capturar 90% das questões ruins cedo, você economiza muito tempo.

O Que o Modelo Perdeu: O Toque Humano
Apesar do sucesso, o modelo tinha um ponto cego. Ele era muito bom em detectar questões que eram difíceis demais ou que tinham problemas "psicométricos" (problemas estatísticos). No entanto, ele teve dificuldades significativas para detectar questões relacionadas a viés, sensibilidade, justiça ou acessibilidade. Para questões de inglês, o modelo capturou apenas 27% desses problemas. Os autores explicam que estes são problemas profundamente humanos. Um computador pode ver se uma palavra é difícil, mas pode não perceber que uma história específica é ofensiva para uma determinada cultura ou grupo. Isso sugere que, embora a IA possa fazer o trabalho pesado de filtragem, os especialistas humanos ainda são absolutamente necessários para verificar a justiça.

A Conclusão
Este artigo sugere que podemos construir uma ferramenta quase abrangente para avaliar automaticamente as questões de teste. Ao combinar o texto bruto de uma questão com uma crítica gerada por IA, podemos obter uma previsão muito melhor de se uma questão passará ou falhará. Não é uma varinha mágica que resolve tudo — especialmente quando se trata de justiça e viés — mas é uma nova ferramenta poderosa que pode economizar uma quantidade enorme de tempo e dinheiro para educadores e empresas de testes. O futuro dos testes pode envolver um robô fazendo a primeira triagem, deixando para os especialistas humanos o foco nas questões que realmente precisam de um coração humano para julgar.