Take Out Your Calculators: Estimating the Real Difficulty of Question Items with LLM Student Simulations

Título: Tirem as Calculadoras: Estimando a Dificuldade Real de Itens de Questão com Simulações de Estudantes por LLMs

Autores: Christabel Acquaye, Yi Ting Huang, Marine Carpuat, Rachel Rudinger (Universidade de Maryland, College Park)

1. Problema

A estimativa precisa da dificuldade de questões em avaliações educacionais padronizadas (como testes de matemática) é fundamental para a validade e confiabilidade desses exames. Tradicionalmente, essa estimativa depende de estudos piloto humanos, que são:

• Caros e demorados: Podem custar milhares de dólares e levar semanas.
• Difíceis de escalar: Limitam a quantidade de itens que podem ser testados antes da implementação real.
• Limitados em dados individuais: Frequentemente fornecem apenas métricas agregadas, enquanto a Teoria de Resposta ao Item (IRT) requer dados de respostas individuais para estimar parâmetros de dificuldade e discriminação com precisão.

Abordagens automatizadas existentes (como estimativa direta de dificuldade baseada apenas no texto da questão) falham em capturar os padrões de erro e concepções equivocadas que tornam uma questão difícil para um estudante real, resultando em correlações fracas com dados do mundo real.

2. Metodologia

Os autores propõem uma abordagem baseada em simulação de estudantes utilizando Grandes Modelos de Linguagem (LLMs) de código aberto, sem necessidade de fine-tuning (ajuste fino) ou dados de treinamento adicionais.

A. Simulação de Sala de Aula

• Role-Playing (Jogo de Papéis): O LLM é instruído a atuar como um estudante de um determinado nível de habilidade (definido pelos níveis do NAEP: Below Basic, Basic, Proficient, Advanced) e de um determinado ano escolar (4º, 8º ou 12º).
• Diversidade de Identidade: Para melhorar a fidelidade da simulação, os autores testaram diferentes identificadores para os estudantes simulados:
  • Sem identificador.
  • IDs de estudante (alfanuméricos).
  • Nomes únicos (todos os alunos com o mesmo nome).
  • Nomes Diversos: Uma amostra estratificada de nomes reais distribuídos por gênero e raça/etnia (Asiático, Negro, Hispano, Branco).
• Distribuição de Habilidades: Cada "sala de aula" simulada segue a distribuição estatística típica do NAEP (25% Below Basic, 35% Basic, 25% Proficient, 15% Advanced).

B. Modelagem e Avaliação

• Geração de Respostas: O modelo gera respostas individuais (corretas ou incorretas) para 631 questões de múltipla escolha de matemática do NAEP.
• Teoria de Resposta ao Item (IRT): As respostas simuladas são usadas para ajustar um modelo IRT (modelo de Rasch). Isso permite estimar:
  • $\beta$: A habilidade do estudante simulado.
  • $\delta$: A dificuldade do item.
• Validação: Os parâmetros de dificuldade estimados ($\delta$) e as taxas de acerto simuladas são comparados com os dados reais do NAEP (meta-dados de desempenho de estudantes reais).
• Métricas: Correlação de Pearson e Spearman (para taxas de acerto e ordenação de dificuldade) e AUC (Área sob a Curva) para discriminação entre itens fáceis e difíceis.

3. Contribuições Principais

1. Abordagem de Simulação vs. Estimativa Direta: Demonstram que pedir diretamente ao LLM para estimar a dificuldade de uma questão (baseado apenas no texto) produz correlações próximas de zero. A simulação de respostas individuais de múltiplos "estudantes" é essencial para capturar a variância necessária para a estimativa de dificuldade.
2. Paradoxo da Proficiência Matemática: Uma descoberta contra-intuitiva é que modelos com habilidades matemáticas relativamente mais fracas (como o Gemma) simulam melhor o desempenho de estudantes reais (incluindo erros) do que modelos matematicamente mais proficientes (como Llama e Qwen). Modelos muito inteligentes tendem a resolver as questões corretamente, falhando em simular os padrões de erro de estudantes que lutam com o conteúdo.
3. Impacto de Identidades Diversas: A inclusão de nomes diversos (estratificados por raça e gênero) nos prompts melhora significativamente a correlação com dados reais em comparação com IDs genéricos ou ausência de identificadores.
4. Validação Psicométrica: O método não apenas prevê a taxa de acerto, mas gera parâmetros de dificuldade IRT que discriminam eficazmente entre itens fáceis e difíceis, validando a utilidade psicológica da simulação.

4. Resultados

• Correlações com Dados Reais: O método alcançou correlações impressionantes entre as taxas de acerto simuladas e reais:
  • 4º Ano: 0.75
  • 8º Ano: 0.76
  • 12º Ano: 0.82
• Desempenho por Modelo: O Gemma-2-27b e o Gemma-3-27b apresentaram o melhor desempenho geral. O Llama-3-8b e o Qwen2.5-32B (modelos maiores e mais precisos em matemática pura) tiveram correlações inferiores, confirmando que a capacidade de resolver o problema não é sinônimo de capacidade de simular o erro humano.
• AUC (Discriminação): Os modelos alcançaram pontuações AUC entre 0.77 e 0.90, indicando que as simulações conseguem distinguir com alta precisão quais questões os estudantes reais achariam fáceis ou difíceis.
• Tamanho da Classe: Aumentar o tamanho da sala de aula simulada (de 50 para 300 alunos) melhorou a estabilidade e a correlação, embora com um custo computacional maior.
• Limitação em Distratores: O modelo consegue prever bem se a resposta é correta ou incorreta, mas tem dificuldade em prever qual resposta incorreta (distrator) os estudantes escolherão (taxas de correspondência de 31-47%, apenas ligeiramente acima do acaso).

5. Significado e Conclusão

O estudo demonstra que simulações de LLMs de código aberto podem servir como uma ferramenta prática, de baixo custo e escalável para a triagem preliminar de itens de avaliação antes de realizar pilotos humanos caros.

• Viabilidade: Substitui parcialmente a necessidade de estudos piloto extensos para estimar a dificuldade de itens de matemática.
• Insight Pedagógico: A descoberta de que modelos "menos inteligentes" simulam melhor estudantes em dificuldades sugere que, para tarefas de simulação de comportamento humano, a "imperfeição" do modelo é um recurso, não um defeito.
• Ética e Viés: Os autores abordam cuidadosamente o uso de nomes demográficos, enfatizando que o objetivo é analisar padrões agregados para melhorar a precisão da simulação, e não fazer previsões sobre indivíduos específicos ou reforçar estereótipos, embora reconheçam o risco de ativação de vieses nos dados de treinamento.

Em suma, o trabalho estabelece um novo paradigma onde a simulação de estudantes via LLMs, combinada com a Teoria de Resposta ao Item, oferece uma alternativa viável e psicometricamente válida para a validação de testes educacionais.