Context-Aware Prediction of Student Quiz Performance with Multimodal Textbook Features

Sintesi Tecnica: Predizione del Rendimento negli Quiz degli Studenti Consapevole del Contesto con Caratteristiche Multimodali del Testo

Problematica
Il data mining educativo si è tradizionalmente concentrato sulla predizione delle prestazioni degli studenti basandosi sulle cronologie di interazione e sui punteggi degli esercizi precedenti. Tuttavia, questo approccio presuppone che il contenuto della valutazione sia statico o irrilevante rispetto al compito di predizione. In realtà, la difficoltà dei quiz di fine capitolo varia significativamente a causa della complessità linguistica, della rarità del vocabolario e della rappresentazione visiva. Questo articolo indaga se l'incorporazione di caratteristiche leggere e specifiche del contenuto, estratte dalle domande di revisione del libro di testo, possa migliorare la predizione dei punteggi dei quiz degli studenti oltre quanto sia ottenibile utilizzando solo le prestazioni pregresse dello studente. Lo studio affronta due distinti scenari di generalizzazione: predire i punteggi per nuovi studenti all'interno di un curriculum noto (Studente Escluso) e predire i punteggi per capitoli di curriculum completamente nuovi (Capitolo Escluso).

Metodologia
Lo studio utilizza un dataset di 4.742 osservazioni studente-capitolo derivate da 562 ID classe-studente provenienti da cinque corsi universitari che utilizzano i libri di testo Statistics and Data Science: A Modeling Approach (versioni ABC e ABCD) sulla piattaforma CourseKata. La variabile target è il punteggio del quiz di fine capitolo (scalato tra 0 e 1).

La metodologia prevede una pipeline in quattro fasi:

1. Costruzione del Baseline: Viene stabilito un predittore di base utilizzando la proporzione media di risposte corrette (avg_exercise_scores) dagli esercizi precedenti tentati dallo studente all'interno dello stesso capitolo.
2. Estrazione delle Caratteristiche:
   • Caratteristiche Testuali: Estratte dalla formulazione delle domande di revisione del capitolo tramite wordfreq. Le metriche includono la lunghezza media delle parole, la media della rarità delle parole (basata sulla frequenza Zipf), il conteggio delle parole complesse (bassa frequenza Zipf) e il conteggio totale delle parole.
   • Caratteristiche Immagine: Estratte dai supporti visivi del libro di testo tramite OpenCV. Le metriciche includono il rilevamento dei bordi Canny, il conteggio dei segmenti di linea Hough e il conteggio dei contorni esterni (regioni visive). Le caratteristiche a livello di capitolo sono aggregate come medie per immagine e conteggi totali delle immagini.
3. Modellazione: Lo studio confronta quattro set di caratteristiche: (1) Base (solo prestazioni pregresse), (2) Base + Immagine, (3) Base + Testo e (4) Base + Immagine + Testo. Viene impiegata la regressione Ridge per gestire la correlazione tra le caratteristiche e prevenire l'overfitting, con la forza di regolarizzazione selezionata tramite cross-validazione.
4. Valutazione:
   • RQ1 (Studente Escluso): Cross-validazione raggruppata a cinque pieghe (five-fold grouped cross-validation) dove tutti i capitoli di uno specifico studente sono mantenuti nello stesso fold. Questo testa la generalizzazione a nuovi studenti su contenuti noti.
   • RQ2 (Capitolo Escluso): Validazione leave-chapter-out, dove il modello viene addestrato su otto capitoli e testato sul nono. Questo testa la generalizzazione a contenuti di curriculum non visti.

Risultati Chiave

• Predizione dello Studente Escluso (RQ1): L'aggiunta di caratteristiche di contenuto migliora significativamente l'accuratezza della predizione. Il modello multimodale completo (Base + Testo + Immagine) raggiunge un $R^2$ di 0,4338 e un Errore Quadratico Medio (MSE) di 0,02270, rappresentando una riduzione relativa del MSE del 9,1% rispetto al baseline ($R^2$ = 0,3775, MSE = 0,02496). Sia le caratteristiche testuali che quelle d'immagine contribuiscono a questo miglioramento, con le caratteristiche testuali che mostrano un impatto individuale leggermente maggiore (riduzione dell'8,9%) rispetto alle caratteristiche d'immagine (riduzione del 2,9%).
• Predizione del Capitolo Escluso (RQ2): I risultati divergono in base al tipo di caratteristica.
  • Caratteristiche Testuali: L'incorporazione di caratteristiche testuali migliora le prestazioni, riducendo l'MSE dell'8,7% ($R^2$ = 0,4119) rispetto al baseline. Ciò suggerisce che le caratteristiche linguistiche catturano segnali trasferibili riguardanti la difficoltà della valutazione.
  • Caratteristiche Immagine: I modelli che includono caratteristiche d'immagine ottengono prestazioni peggiori rispetto al baseline. Il modello Base + Immagine aumenta l'MSE del 15,5%, e il modello multimodale completo risulta in un $R^2$ negativo (-0,1776) e un massiccio aumento dell'MSE dell'82,9%.
• Importanza delle Caratteristiche: L'analisi dei coefficienti standardizzati del modello Ridge indica che il conteggio delle parole e il conteggio delle parole complesse portano i pesi maggiori tra le caratteristiche di contenuto, seguiti dai punteggi degli esercizi precedenti. Le caratteristiche d'immagine (conteggi delle linee, conteggi delle regioni) hanno pesi minori.

Significatività e Rivendicazioni
L'articolo sostiene che il contenuto della valutazione contenga un segnale predittivo che è distinto dalle prestazioni storiche dello studente.

• Consapevolezza del Contesto: Per contesti operativi che coinvolgono curricula noti, un modello consapevole del contesto che integra caratteristiche testuali e visive fornisce una previsione più accurata delle prestazioni dello studente rispetto al semplice affidarsi sulle prestazioni passate.
• Trasferibilità dei Segnali Linguistici: Lo studio dimostra che le caratteristiche linguistiche (es. rarità del vocabolario, conteggio delle parole) catturano informazioni sulla difficoltà della valutazione che si generalizzano attraverso diversi capitoli, rendendole preziose per predire le prestazioni su nuovi contenuti.
• Limitazioni delle Attuali Caratteristiche Visive: L'articolo nota esplicitamente che le attuali caratteristiche d'immagine (conteggio dei bordi, conteggio dei contorni) sono troppo grossolane per essere utili per la predizione di nuovi contenuti. Gli autori sostengono che queste caratteristiche non riescono a codificare la complessità semantica delle relazioni visive (es. distinguere tra un grafico statistico complesso e una tabella semplice), suggerendo che il lavoro futuro richieda rappresentazioni semanticamente significative (es. tipi di grafici, embedding visione-linguaggio) per modellare efficacemente la complessità visiva.

Conclusione
Lo studio conclude che la modellazione dello studente deve trattare il contenuto della valutazione come parte integrante del problema di predizione. Sebbene le caratteristiche testuali leggere migliorino con successo sia le predizioni su nuovi studenti che su nuovi capitoli, le attuali semplici caratteristiche d'immagine non offrono ancora lo stesso beneficio per la generalizzazione a un curriculum non visto. Gli autori sottolineano che questi risultati sono descrittivi di ruoli predittivi piuttosto che stime causali della difficoltà delle domande.