Synthetic Student Responses: LLM-Extracted Features for IRT Difficulty Parameter Estimation

Resumo Técnico: Respostas Sintéticas de Alunos para Estimativa de Dificuldade via IRT

Definição do Problema
O desenvolvimento de avaliações educacionais enfrenta um gargalo significativo: determinar a dificuldade de novas questões tradicionalmente exige pré-testes intensivos em recursos com alunos reais, seguidos de análise estatística (Teoria de Resposta ao Item, ou IRT). Esse processo cria atrasos e custos que dificultam o trabalho de professores e desenvolvedores de avaliações de larga escala. Embora pesquisas existentes tentem prever a dificuldade diretamente a partir do texto usando aprendizado de máquina, a maioria das abordagens trata isso como um problema de regressão direta, ignorando o mecanismo fundamental de como a dificuldade é estabelecida na prática: através de padrões de respostas dos alunos. Além disso, os métodos atuais frequentemente dependem de características linguísticas convencionais ou embeddings, subutilizando o potencial dos Grandes Modelos de Linguagem (LLMs) para extrair insights pedagógicos profundos.

Metodologia
Os autores propõem uma abordagem de dois estágios que simula o processo de resposta do aluno para derivar parâmetros de dificuldade sem a necessidade de novos testes com alunos.

1. Engenharia de Dados e de Características:

   • Conjunto de Dados: O estudo utiliza um conjunto de dados da Zapien, uma plataforma de matemática adaptativa no Chile, contendo 251.851 respostas de alunos a 4.696 questões matemáticas únicas.
   • Referência (Benchmark): Os parâmetros de dificuldade de referência foram estabelecidos usando um modelo IRT de 1 Parâmetro Logístico (1PL) sobre o conjunto de dados completo.
   • Extração de Características: O modelo integra cinco fontes de dados:
     • Embeddings de Texto da Questão: Vetores contextuais gerados pelo ModernBERT, combinando o enunciado do problema e as opções de resposta.
     • Características Linguísticas/Estruturais: Métricas como contagem de palavras, presença de LaTeX e similaridade entre opções.
     • Características Pedagógicas Extraídas por LLM: Utilizando modelos Gemini do Google, o sistema extrai atributos complexos, incluindo contagem de etapas da solução, níveis da Taxonomia de Bloom, potenciais equívocos (misconceptions), complexidade cognitiva e plausibilidade de distratores.
     • Embeddings de Alunos: Um vetor aprendido de 8 dimensões para cada aluno para capturar perfis de habilidade individuais.

2. Estágio 1: Rede Neural para Predição de Correção:
   Uma rede neural é treinada para prever a probabilidade de um aluno específico responder corretamente a uma questão específica. A arquitetura concatena os embeddings dos alunos, os embeddings do texto da questão e os vetores de características engenheiradas (processados através de camadas densas com ativação ReLU e dropout). A saída é um escore de probabilidade para cada par aluno-questão.

3. Estágio 2: Estimativa de Parâmetros IRT:
   O modelo treinado é aplicado a um conjunto de teste (holdout) de 470 questões não vistas. Ele gera uma matriz de resposta "sintética" prevendo como os 1.875 alunos do treinamento responderiam a essas novas questões. Essas saídas de probabilidade são binarizadas (limiar de 0,5) para simular resultados corretos/incorretos. Um modelo IRT 1PL é então ajustado a essa matriz sintética para estimar os parâmetros de dificuldade ($\beta$) para as questões não vistas.

Principais Resultados

• Precisão de Predição: A rede neural alcançou um F1 score de 0,8350 e um AUC-ROC de 0,7789 na predição da correção dos alunos no conjunto de teste.
• Estimativa de Dificuldade: Os parâmetros de dificuldade derivados mostraram uma correlação de Pearson de 0,7791 e uma correlação de ranking de Spearman de 0,7606 com os parâmetros de referência calculados a partir de dados reais de alunos.
• Ablação de Características:
  • Modelos utilizando apenas embeddings de texto alcançaram uma correlação de Pearson de ~0,68.
  • A adição de características linguísticas e estruturais tradicionais proporcionou uma melhoria insignificante.
  • A inclusão de características pedagógicas extraídas por LLM foi o fator crítico, elevando a correlação para ~0,78. Isso sugere que insights derivados por IA sobre carga cognitiva e complexidade de solução são mais preditivos de dificuldade do que métricas de texto de nível superficial.
• Eficiência: Uma avaliação de eficiência baseada em RMSE revelou que a precisão do modelo (RMSE de 1,1857) é comparável a uma análise tradicional de 1PL IRT utilizando aproximadamente 5.818 respostas reais de alunos (cerca de 22,8% dos dados disponíveis para esses itens).

Significância e Alegações
O artigo afirma que é possível estimar com precisão os parâmetros de dificuldade IRT sem realizar novos pré-testes com alunos, modelando o processo de resposta do estudante. A principal contribuição é a demonstração de que a combinação de embeddings semânticos com características pedagógicas extraídas por LLM (como etapas de solução e equívocos) supera significativamente as abordagens tradicionais baseadas em texto.

Os autores argumentam que esta abordagem baseada em simulação oferece uma alternativa mais interpretável e robusta do que a regressão direta, pois espelha o processo educacional real, onde a dificuldade emerge de padrões de desempenho dos alunos. O estudo sugere que este método pode reduzir substancialmente a carga de recursos e o tempo necessários para o desenvolvimento de avaliações de alta qualidade, mantendo a validade psicométrica.

Limitações
Os autores reconhecem diversas restrições:

• Generalização: Os dados são específicos do contexto educacional chileno, o que pode limitar a aplicabilidade em outras regiões.
• Estabilidade do LLM: A natureza probabilística dos LLMs introduz uma potencial variabilidade na extração de características, apesar das estratégias de agregação.
• Interpretabilidade: A rede neural atua como uma "caixa preta", tornando difícil isolar definitivamente a contribuição de características específicas além do estudo de ablação.
• Sensibilidade: Os resultados podem variar dependendo do fornecedor de LLM e dos parâmetros de inferência utilizados.