Resumo Técnico: Previsão de Dificuldade de Questões de Múltipla Escolha via Modelagem da Heterogeneidade do Aprendiz

Declaração do Problema

A estimativa precisa da dificuldade de itens é crítica para avaliação eficaz, calibração de itens e design curricular. Os métodos tradicionais de Teoria de Resposta ao Item (TRI) exigem dados substanciais de pré-teste, tornando as Questões de Múltipla Escolha (QMC) recém-criadas indisponíveis para implementação até que dados suficientes de resposta dos alunos sejam coletados. Embora abordagens recentes baseadas em dados tentem prever a dificuldade sem pré-teste, inferindo-a a partir do texto da questão ou simulando respostas de alunos usando Modelos de Linguagem de Grande Escala (LLMs), elas sofrem de uma limitação fundamental: geralmente assumem uma distribuição unimodal de habilidade do aluno. Essa suposição ignora a natureza heterogênea dos equívocos dos alunos, onde aprendizes com desempenho geral comparável podem exibir padrões de erro distintos e sistemáticos, ligados a diferentes perfis cognitivos. Consequentemente, distribuições de resposta simuladas baseadas em um único parâmetro de habilidade frequentemente falham em refletir como populações diversas de aprendizes interagem com os itens de avaliação, levando a estimativas de dificuldade imprecisas.

Metodologia

Os autores propõem uma estrutura orientada a personas que substitui a amostragem teórica de habilidade por perfis cognitivos baseados em dados. O pipeline consiste em quatro etapas distintas:

1. Pré-processamento de Dados e Estimativa da Verdade Terrena

O estudo utiliza o conjunto de dados EEDI, composto por 948 questões de matemática de múltipla escolha respondidas por 4.918 alunos.

• Pré-processamento: O conteúdo textual é extraído das imagens das questões usando OCR Tesseract.
• Particionamento de Dados: O conjunto de dados é dividido em um conjunto de perfilamento (filtrado para interações densas: $\ge$50 respostas por questão, $\ge$10 tentativas por aluno) e um conjunto de estimativa (retendo questões com $\ge$20 respostas, totalizando 900 itens).
• Verdade Terrena: Um modelo 2PL-TRI é ajustado ao conjunto de estimativa usando py-irt para estimar os parâmetros de dificuldade do item ($\beta$) e discriminação ($\alpha$), servindo como alvos de verdade terrena.

2. Perfilamento Psicométrico (Descoberta da Heterogeneidade do Aprendiz)

Em vez de assumir um espectro contínuo de habilidade, os autores utilizam Análise de Classes Latentes (ACL) com um modelo de medição binário (StepMix) para partitionar os alunos em personas comportamentais discretas.

• Seleção do Modelo: O Critério de Informação Bayesiano (BIC) e o Critério de Informação de Akaike (AIC) indicam que 5 classes latentes ($k=5$) fornecem o ajuste ótimo.
• Interpretação da Persona: Para cada cluster, uma pontuação de desvio é calculada para identificar questões onde o cluster supera ou tem desempenho significativamente inferior à média. Essas "forças" e "fraquezas" são alimentadas em um LLM (Claude Opus 4.5) para gerar descrições de personas interpretáveis (ex: "O Memorizador de Regras", "O Raciocinador Conceitual"). Essas descrições capturam lacunas cognitivas específicas, como a capacidade de raciocinar logicamente, mas falhar na execução procedural.

3. Simulação de Resposta Condicionada ao Perfil

A estrutura utiliza um LLM (Claude 3.7 Sonnet) como motor de simulação.

• Entrada: Para cada item, o LLM recebe a imagem da questão e um prompt do sistema contendo o nome e a descrição específicos da persona.
• Tarefa: O modelo é instruído a estimar, como aquele tipo específico de aluno, a probabilidade de selecionar cada uma das quatro opções de resposta. É solicitado explicitamente que reflita os padrões de raciocínio da persona, em vez de resolver o problema de forma ótima.
• Saída: Isso gera uma matriz $K \times 4$ de probabilidades de opção ($p^{(c)}_{i}$) para cada item $i$ e persona $c$.

4. Modelagem Preditiva

As probabilidades simuladas são agregadas em vetores de características para prever o parâmetro de dificuldade do TRI ($\beta_i$).

• Características: Para cada persona, a probabilidade de selecionar a opção correta é extraída. Estatísticas agregadas (média, variância, amplitude) dessas probabilidades entre as cinco personas são computadas.
• Contexto: O tópico matemático (Números, Álgebra, Geometria/Medida) é codificado one-hot.
• Modelo: Um modelo de Regressão Ridge com força de regularização validada por cruzamento prevê o parâmetro de dificuldade.

Contribuições Principais

1. Nova Estrutura Orientada a Personas: Os autores introduzem um método que usa ACL em dados reais de alunos para descobrir personas comportamentais interpretáveis, substituindo a suposição padrão de uma distribuição unimodal de habilidade.
2. Condicionamento de LLM em Perfis Cognitivos: O trabalho demonstra como condicionar LLMs nessas personas derivadas de dados para simular distribuições de resposta que refletem equívocos específicos e lacunas de conhecimento, em vez de apenas níveis variados de proficiência geral.
3. Desempenho de Previsão Aprimorado: A estrutura alcança desempenho superior na previsão de parâmetros de dificuldade do TRI em comparação com bases de referência recentes do estado da arte, ao mesmo tempo que fornece insights interpretáveis sobre por que os itens são difíceis para subgrupos específicos de aprendizes.

Resultados Experimentais

O método foi avaliado usando validação cruzada de cinco dobras no conjunto de dados EEDI, comparando-se com quatro bases de referência de Feng et al. [8]:

• Regressão Linear (RL) em características artesanais.
• Longformer-base-4096 Ajustado Fino (FT).
• FT com Raciocínio (FTWR) aumentado com raciocínio gerado por GPT-4o.
• Verossimilhança em Dois Estágios: Um método que amostra níveis de conhecimento escalares de uma distribuição normal padrão.

Métricas de Desempenho:

• Erro Quadrático Médio (EQM): Reduzido de 0,367 (base de referência de Verossimilhança em Dois Estágios) para 0,274.
• Coeficiente de Determinação ($R^2$): Melhorado de 0,525 para 0,686.

Os resultados indicam que o método proposto explica substancialmente mais variância na dificuldade estimada pelo TRI, reduzindo o erro em aproximadamente 25% em relação à base de referência mais forte.

Significado e Alegações

O artigo afirma que a melhoria observada valida a hipótese central: os erros dos alunos são estruturados e sistemáticos, não aleatórios. Ao modelar explicitamente a heterogeneidade do aprendiz através de perfis cognitivos discretos, as distribuições de resposta simuladas correspondem melhor às dificuldades estimadas empiricamente.

Os autores destacam várias implicações:

• Solução para Início Frio: A estrutura permite estimativa aproximada de dificuldade no momento da criação do item, sem pré-teste, facilitando a integração de novos itens em sistemas adaptativos.
• Design Diagnóstico: Diferentemente de uma única pontuação de dificuldade, a abordagem gera padrões de resposta específicos do perfil, ajudando instrutores a determinar se um item mede um conceito ou meramente um obstáculo procedural específico.
• Instrução Direcionada: A ligação de personas a padrões de erro ajuda a interpretar as dificuldades dos alunos (ex: distinguir entre falta de compreensão conceitual versus recordação procedural), sugerindo intervenções instrucionais mais eficazes.

Os autores mantêm uma postura modesta, observando que as personas descobertas são específicas ao contexto da educação matemática do Reino Unido do conjunto de dados EEDI e podem não transferir diretamente para outros domínios sem novo perfilamento. Eles também reconhecem que o modelo trata as atribuições de persona como estáticas, enquanto alunos reais podem mudar de perfil ao longo do tempo.