Context-Aware Prediction of Student Quiz Performance with Multimodal Textbook Features

Resumo Técnico: Predição de Desempenho em Testes de Estudantes Consciente de Contexto com Recursos Multimodais de Livros Didáticos

Definição do Problema
A mineração de dados educacionais tem se concentrado tradicionalmente na predição do desempenho do estudante com base em históricos de interação e pontuações de exercícios anteriores. No entanto, essa abordagem assume que o conteúdo da avaliação é estático ou irrelevante para a tarefa de predição. Na realidade, a dificuldade dos testes de final de capítulo varia significativamente devido à complexidade linguística, raridade do vocabulário e representação visual. Este artigo investiga se a incorporação de recursos leves e específicos de conteúdo, extraídos das questões de revisão de livros didáticos, pode melhorar a predição das pontuações de testes dos estudantes além do que é alcançável usando apenas o desempenho prévio do estudante. O estudo aborda dois cenários distintos de generalização: predizer pontuações para novos estudantes dentro de um currículo conhecido (Estudante Retido) e predizer pontuações para capítulos de currículo inteiramente novos (Capítulo Retido).

Metodologia
O estudo utiliza um conjunto de dados de 4.742 observações de estudante-capítulo derivadas de 562 IDs de classe-estudante de cinco turmas universitárias utilizando os livros didáticos Statistics and Data Science: A Modeling Approach (versões ABC e ABCD) na plataforma CourseKata. A variável alvo é a pontuação do teste de final de capítulo (escalonada de 0 a 1).

A metodologia envolve um pipeline de quatro etapas:

1. Construção da Linha de Base (Baseline): Um preditor de linha de base é estabelecido usando a proporção média de respostas corretas (avg_exercise_scores) de exercícios anteriores tentados pelo estudante dentro do mesmo capítulo.
2. Extração de Recursos (Features):
   • Recursos de Texto: Extraídos da redação das questões de revisão do capítulo usando wordfreq. As métricas incluem comprimento médio da palavra, média de raridade da palavra (baseada na frequência de Zipf), a contagem de palavras complexas (baixa frequência de Zipf) e contagem total de palavras.
   • Recursos de Imagem: Extraídos de visuais do livro didático usando OpenCV. As métricas incluem detecção de bordas Canny, contagem de segmentos de linha de Hough e contagem de contornos externos (regiões visuais). Os recursos de nível de capítulo são agregados como médias por imagem e contagens totais de imagens.
3. Modelagem: O estudo compara quatro conjuntos de recursos: (1) Base (apenas desempenho prévio), (2) Base + Imagem, (3) Base + Texto e (4) Base + Imagem + Texto. A regressão Ridge é empregada para lidar com a correlação de recursos e evitar o sobreajuste (overfitting), com a força de regularização selecionada via validação cruzada.
4. Avaliação:
   • RQ1 (Estudante Retido): Validação cruzada agrupada de cinco dobras (five-fold grouped cross-validation) onde todos os capítulos de um estudante específico são mantidos na mesma dobra. Isso testa a generalização para novos estudantes em um conteúdo conhecido.
   • RQ2 (Capítulo Retido): Validação de exclusão de capítulo (leave-chapter-out validation) onde o modelo é treinado em oito capítulos e testado no nono. Isso testa a generalização para conteúdo curricular não visto.

Principais Resultados

• Predição de Estudante Retido (RQ1): A adição de recursos de conteúdo melhora significativamente a precisão da predição. O modelo multimodal completo (Base + Texto + Imagem) atinge um $R^2$ de 0,4338 e um Erro Quadrático Médio (MSE) de 0,02270, representando uma redução relativa de 9,1% no MSE em comparação com a linha de base ($R^2$ = 0,3775, MSE = 0,02496). Tanto os recursos de texto quanto os de imagem contribuem para essa melhoria, com os recursos de texto mostrando um impacto individual ligeiramente maior (redução de 8,9%) do que os recursos de imagem (redução de 2,9%).
• Predição de Capítulo Retido (RQ2): Os resultados divergem com base no tipo de recurso.
  • Recursos de Texto: A incorporação de recursos de texto melhora o desempenho, reduzindo o MSE em 8,7% ($R^2$ = 0,4119) em relação à linha de base. Isso sugere que os recursos linguísticos capturam sinais transferíveis em relação à dificuldade da avaliação.
  • Recursos de Imagem: Modelos que incluem recursos de imagem apresentam desempenho inferior à linha de base. O modelo Base + Imagem aumenta o MSE em 15,5%, e o modelo multimodal completo resulta em um $R^2$ negativo (-0,1776) e um aumento massivo de 82,9% no MSE.
• Importância dos Recursos: A análise de coeficientes padronizados do modelo Ridge indica que a contagem de palavras e a contagem de palavras complexas carregam os maiores pesos entre os recursos de conteúdo, seguidas pelas pontuações de exercícios anteriores. Os recursos de imagem (contagens de linhas, contagens de regiões) possuem pesos menores.

Significância e Alegações
O artigo alega que o conteúdo da avaliação contém um sinal preditivo que é distinto do histórico de desempenho do estudante.

• Consciência de Contexto: Para configurações operacionais envolvendo currículos conhecidos, um modelo consciente do contexto que integra recursos de texto e visuais fornece uma previsão mais precisa do desempenho do estudante do que confiar apenas no desempenho passado.
• Transferibilidade de Sinais Linguísticos: O estudo demonstra que recursos linguísticos (ex: raridade do vocabulário, contagem de palavras) capturam informações sobre a dificuldade da avaliação que se generalizam através de diferentes capítulos, tornando-os valiosos para predizer o desempenho em novos conteúdos.
• Limitações dos Recursos Visuais Atuais: O artigo observa explicitamente que os recursos de imagem atuais (contagens de bordas, contagens de contornos) são muito grosseiros para serem úteis para a predição de novos conteúdos. Os autores argumentam que esses recursos falham em codificar a complexidade semântica das relações visuais (ex: distinguir entre um gráfico estatístico complexo e uma tabela simples), sugerindo que trabalhos futuros requerem representações semanticamente significativas (ex: tipos de gráficos, embeddings de visão-linguagem) para modelar efetivamente a complexidade visual.

Conclusão
O estudo conclui que a modelagem de estudantes deve tratar o conteúdo da avaliação como parte integrante do problema de predição. Embora recursos de texto leves tenham sucesso em melhorar tanto as predições de novos estudantes quanto de novos capítulos, os atuais recursos de imagem simples ainda não oferecem o mesmo benefício para a generalização para currículos não vistos. Os autores enfatizam que esses achados são descritivos de papéis preditivos, em vez de estimativas causais de dificuldade de questão.