Early-Warning Learner Satisfaction Forecasting in MOOCs via Temporal Event Transformers and LLM Text Embeddings

1. Il Problema

Il paper affronta la sfida della previsione anticipata della soddisfazione degli studenti nei Corsi Online Aperti e Massivi (MOOC).

• Contesto: La soddisfazione degli studenti è un indicatore critico per la ritenzione, l'engagement e la reputazione della piattaforma.
• Limitazione degli approcci esistenti: La maggior parte dei sistemi attuali opera post hoc, analizzando recensioni e valutazioni a stelle solo alla fine del corso. Questo approccio è troppo tardivo per permettere interventi educativi tempestivi (es. notifiche personalizzate, avvisi agli istruttori) prima che gli studenti si disengaggino o sviluppino impressioni negative radicate.
• Sfide specifiche:
  1. Segnali comportamentali sparsi: Nei primi giorni (es. 7, 14, 28), i dati comportamentali sono eterogenei e le statistiche aggregate (es. tempo totale di visione) non catturano la traiettoria dinamica dell'engagement.
  2. Testo breve e contestuale: I primi segnali testuali (post nei forum, feedback brevi) sono informali e richiedono rappresentazioni contestuali potenti per estrarre segnali affettivi significativi.

2. Metodologia: TET-LLM

Gli autori propongono TET-LLM (Temporal Event Transformer with LLM embeddings), un framework di fusione multimodale progettato per prevedere il punteggio di soddisfazione finale ($y_{ic} \in [1, 5]$) utilizzando solo i dati osservati entro un orizzonte temporale $t$ (giorni dall'inizio del corso).

Il modello integra tre flussi informativi complementari:

A. Temporal Event Transformer (Comportamento)

• Rappresentazione degli eventi: Ogni evento comportamentale (es. riproduzione video, invio quiz) è codificato tramite un embedding del tipo di evento e un embedding specifico per il gap temporale ($\Delta\tau$) rispetto all'evento precedente. I gap temporali sono discretizzati su una scala log-uniforme per gestire la distribuzione a coda lunga.
• Architettura: Una sequenza di eventi viene elaborata da un encoder Transformer con attenzione multi-testa (MHSA).
• Pooling: Un vettore di query apprendibile aggrega la sequenza in una rappresentazione fissa tramite attention pooling, permettendo al modello di catturare pattern sequenziali complessi (es. disimpegno progressivo o recupero dopo un fallimento).

B. Embedding Testuali basati su LLM

• Estrazione: I frammenti di testo precoci (post nei forum, feedback) vengono elaborati da un encoder pre-addestrato (RoBERTa o BERT) utilizzando il token [CLS] per ottenere rappresentazioni contestuali.
• Aggregazione: Poiché i post sono brevi e eterogenei, invece della media semplice, viene utilizzata un'attenzione pooling per aggregare i vari snippet, pesandoli in base alla loro rilevanza.
• Gestione del missing data: Un indicatore binario segnala l'assenza di testo, permettendo al modello di gestire gli studenti che non scrivono nei forum (caso comune nei primi giorni).

C. Distribuzioni di Topic/Aspetti

• Per catturare driver di soddisfazione a livello macro (es. qualità dei contenuti, difficoltà delle valutazioni, usabilità della piattaforma), viene estratta una distribuzione di argomenti ($K=6$) dai testi precoci utilizzando un modello di topic potenziato da embedding.

D. Fusione Multimodale e Obiettivo di Regressione

• Fusione: Le rappresentazioni comportamentali, testuali e topic vengono proiettate in una dimensione comune e concatenate.
• Regressione Eteroschedastica: Invece di prevedere solo un valore puntuale, il modello outputta una media ($\hat{\mu}$) e una varianza ($\hat{\sigma}^2$).
  • L'obiettivo di training minimizza la negative log-likelihood di una distribuzione Gaussiana eteroschedastica.
  • Questo permette al modello di stimare l'incertezza predittiva: per istanze difficili o con dati scarsi, il modello aumenta la varianza, permettendo alle piattaforme di adottare politiche di intervento "conservative" (es. non intervenire se l'incertezza è troppo alta).
• Modality Dropout: Durante l'addestramento, le modalità (testo o comportamento) vengono casualmente azzerate per forzare il modello a rimanere robusto anche quando un flusso di dati manca all'inferenza (cruciale dato che l'82% degli studenti non scrive testo nei primi 7 giorni).

3. Contributi Chiave

1. Protocollo di Valutazione Sicuro: Formalizzazione di un protocollo di valutazione multi-orizzonte (7, 14, 28 giorni) che garantisce l'assenza di "data leakage", utilizzando split temporali rigorosi.
2. Architettura TET-LLM: Introduzione di un nuovo framework di fusione che combina modellazione comportamentale sequenziale (Transformer), embedding LLM e rappresentazioni topic, ottimizzato per la regressione eteroschedastica.
3. Validazione Sperimentale Estesa: Dimostrazione su un dataset su larga scala (multi-piattaforma) che il modello supera i baseline esistenti, con analisi di ablazione e calibrazione dell'incertezza.

4. Risultati Sperimentali

Il modello è stato testato su un dataset di 480.000 iscrizioni da 120 corsi su 3 piattaforme.

• Performance di Regressione (RMSE):
  • TET-LLM ha ottenuto un RMSE di 0.82 all'orizzonte di 7 giorni, superando significativamente i baseline (es. Agg-XGB con 0.94, Text-Only con 0.90).
  • Il miglioramento è più marcato a 7 giorni, dove i segnali comportamentali sequenziali e i testi precoci sono più informativi delle statistiche aggregate.
• Studio di Ablazione:
  • Rimuovere gli embedding testuali precoci degrada le prestazioni a 7 giorni (+0.04 RMSE), confermando il valore unico dei segnali affettivi nel testo breve.
  • Sostituire il Transformer con statistiche aggregate degrada le prestazioni a 14 giorni (+0.07 RMSE), mostrando l'importanza della traiettoria comportamentale man mano che i dati aumentano.
  • Il Modality Dropout è essenziale: rimuoverlo aumenta l'RMSE di 0.03, evidenziando la fragilità dei modelli senza testo quando applicati alla maggioranza degli studenti.
• Calibrazione dell'Incertezza:
  • Il modello eteroschedastico raggiunge una copertura degli intervalli di previsione al 90% pari a 0.89-0.90, vicina al nominale, mentre i modelli statici sottostimano l'incertezza (copertura 0.84).
• Valutazione Operativa (Early Warning):
  • Nell'identificazione di studenti a rischio di bassa soddisfazione ($y \le 3$), TET-LLM ottiene un AUC di 0.77 e un Recall@10% del 41% a 7 giorni (contro il 35% del baseline comportamentale). Ciò significa che tra gli studenti selezionati per l'intervento, il 41% sarà effettivamente insoddisfatto, ottimizzando l'uso delle risorse didattiche.

5. Significato e Implicazioni

Il lavoro rappresenta un passo avanti significativo nell'Analisi dei Dati Educativi (Learning Analytics):

• Tempestività: Sposta il focus dalla valutazione post-mortem a un sistema di allerta precoce, abilitando interventi reali prima che gli studenti abbandonino.
• Robustezza Multimodale: Dimostra come combinare dati comportamentali sequenziali e testo naturale (tramite LLM) possa superare i limiti dei dati sparsi tipici delle fasi iniziali dei corsi.
• Decisioni Consapevoli: L'integrazione dell'incertezza predittiva permette agli operatori delle piattaforme di prendere decisioni basate sul rischio, evitando interventi inutili su casi ad alta incertezza.
• Scalabilità: L'architettura è progettata per gestire la realtà operativa dei MOOC, dove la maggior parte degli studenti non genera testo, garantendo prestazioni robuste anche in assenza di una modalità specifica.

In sintesi, TET-LLM offre un framework maturo e validato per trasformare i dati grezzi dei primi giorni di un corso in azioni educative proattive e mirate.