A Mathematical Framework for Temporal Modeling and Counterfactual Policy Simulation of Student Dropout

Questo studio propone un framework matematico per la modellazione temporale e la simulazione controfattuale delle politiche di abbandono universitario, utilizzando dati di engagement LMS per stimare i rischi settimanali e valutare scenari di intervento, sebbene i risultati, pur dimostrando la capacità del modello di confrontare strutture interne, non siano causalmente identificati.

L'essenziale

🎓 Il Meteo della Scuola: Prevedere chi "abbandona il viaggio" e come salvarlo

Immagina di essere il capitano di una grande nave (l'università) che trasporta migliaia di passeggeri (gli studenti) verso una destinazione: il diploma. Il problema è che molti passeggeri saltano fuori bordo prima di arrivare. Questo fenomeno si chiama abbandono scolastico (dropout).

Fino a poco tempo fa, le università usavano una "fotografia statica" per capire chi era a rischio: guardavano i voti del primo anno o la provenienza geografica e dicevano: "Tu, sì, sei a rischio". Ma questo non diceva quando sarebbero saltati fuori bordo, né come intervenire al momento giusto.

Questo studio propone un nuovo sistema, un po' come passare da una fotografia a un meteo in tempo reale con un simulatore di scenari futuri.

1. La "Scatola Nera" del Tempo (Modellazione Temporale)

Invece di guardare lo studente una volta sola, il sistema osserva ogni studente ogni settimana, come se fosse un meteo che cambia giorno per giorno.

• L'analogia: Immagina di avere un termometro che misura la "febbre" di interesse di uno studente ogni settimana. Se lo studente non clicca sul sito della scuola (LMS) per una settimana, la febbre sale. Se non clicca per due settimane, la febbre diventa pericolosa.
• Cosa fa il modello: Analizza milioni di questi "termometri settimanali" per capire non solo chi è malato, ma quando la febbre sta per salire troppo. È come prevedere una tempesta prima che arrivi, non dopo.

2. Il Simulatore di "Cosa Sarebbe Successo" (Simulazione Controfattuale)

Qui arriva la parte più magica. Una volta che il modello sa quando uno studente è a rischio, i ricercatori non si limitano a dire "è a rischio". Chiedono: "E se avessimo fatto qualcosa di diverso?".

Hanno creato un videogioco della realtà dove provano due tipi di interventi:

• Scenario "Shock" (Il salvataggio immediato): Immagina di dare uno scossone alla nave. Se uno studente non si collega da una settimana, il sistema ipotizza che un intervento immediato riduca il rischio di abbandono del 20% o del 60%. È come se un soccorritore saltasse in acqua e tirasse su lo studente.
• Scenario "Meccanismo Consapevole" (Il cambio di rotta): Qui il sistema ipotizza di cambiare il comportamento dello studente prima che cada. Se lo studente non clicca, il sistema ipotizza che un messaggio lo abbia spinto a cliccare di più, e questo cambiamento di comportamento (più click) si propaga nelle settimane successive. È come se il capitano cambiasse la rotta della nave per evitare la tempesta, invece di cercare di salvare chi è già caduto.

Il risultato sorprendente:

• Lo scenario "Shock" (intervento immediato) funziona bene: salva più studenti (aumenta la "sopravvivenza").
• Lo scenario "Meccanismo Consapevole" (cambiare il comportamento futuro) in questo esperimento specifico ha avuto un effetto negativo o nullo. È come se avessimo provato a cambiare la rotta della nave, ma abbiamo sbagliato direzione e ci siamo avvicinati alla tempesta invece di allontanarcene. Questo ci insegna che non tutti i piani di salvataggio funzionano, e bisogna testarli prima di usarli nella realtà.

3. La Giustizia per Tutti (Analisi dei Sottogruppi)

Il sistema controlla anche se queste "scenari di salvataggio" funzionano allo stesso modo per tutti. Hanno guardato, ad esempio, la differenza tra uomini e donne.

• L'analogia: È come controllare se il salvataggio funziona meglio per i passeggeri del ponte di prima classe rispetto a quelli della terza.
• Risultato: Il sistema ha visto che l'intervento riduceva leggermente il divario tra i gruppi, ma la differenza era così piccola da essere quasi invisibile. È un segnale che il sistema è "giusto" nella direzione, ma non risolve magicamente tutte le disuguaglianze.

4. Cosa NON è questo studio (Importante!)

È fondamentale capire una cosa: questo non è un esperimento reale.
I ricercatori non hanno mandato davvero messaggi agli studenti per vedere se hanno funzionato. Hanno usato i dati del passato (come il dataset OULAD dell'Open University) per costruire un laboratorio virtuale.

• L'analogia: È come un ingegnere che costruisce un modello al computer di un ponte e ci fa correre sopra dei camion virtuali per vedere se crolla. Non ha costruito il ponte vero, ma il modello gli dice: "Attenzione, se piove forte, il ponte potrebbe crollare".
• Il paper dice chiaramente: "Non stiamo dicendo che il nostro intervento funziona nella realtà, stiamo dicendo che il nostro metodo è capace di simulare scenari diversi per aiutare i decisori a scegliere meglio".

In sintesi: Perché è utile?

Immagina di dover gestire un ospedale.

• Prima: Dicevamo "Quel paziente ha i sintomi, è a rischio".
• Ora (con questo studio): Possiamo dire "Quel paziente ha i sintomi, e se gli diamo la medicina X martedì, il rischio scende del 20%. Se gli diamo la medicina Y mercoledì, il rischio sale. Inoltre, la medicina X funziona meglio per le donne che per gli uomini".

Questo studio fornisce il quadro matematico per fare queste simulazioni complesse, trasformando i dati noiosi dei clic sul computer in una mappa del tesoro per salvare il futuro degli studenti, aiutando le università a passare dal "chiudere i danni" al "prevenire il disastro" con regole chiare e misurabili.

Sommario tecnico

1. Problema e Contesto

Il abbandono scolastico (dropout) nell'istruzione superiore rappresenta una sfida critica con costi elevati per individui, famiglie e istituzioni. Sebbene esistano numerosi modelli di machine learning per prevedere chi è a rischio di abbandono, l'approccio operativo attuale presenta due limiti fondamentali:

1. Staticità: La maggior parte dei modelli fornisce stime di rischio statiche o puntuali, senza modellare quando il rischio si intensifica lungo la timeline del corso.
2. Mancanza di simulazione politica: Esiste un divario tra la previsione del rischio e l'azione. Le istituzioni spesso non hanno strumenti per simulare scenari di intervento specifici (es. "cosa succede se inviamo un avviso dopo 7 giorni di inattività?") in modo strutturale e auditabile.

Il paper propone di superare questi limiti trattando l'abbandono non come un esito statico, ma come un processo dinamico temporale (time-to-event) e introducendo un livello di simulazione controfattuale per valutare politiche di supporto prima della loro implementazione reale.

2. Metodologia

Il framework proposto combina modelli di sopravvivenza a tempo discreto con una layer di simulazione di policy. I dati utilizzati provengono dal Open University Learning Analytics Dataset (OULAD), integrando log di interazione con la piattaforma VLE (Virtual Learning Environment), dati di valutazione e registri amministrativi.

A. Costruzione dei Dati e Unità di Analisi

• Unità di analisi: L'iscrizione al corso ($i$) osservata su una griglia temporale settimanale ($t$).
• Formato Person-Period: Ogni iscrizione viene espansa in righe settimanali. La variabile target è l'evento di abbandono amministrativo (ritiro con data valida).
• Censura: I casi senza data di ritiro valida o che completano il corso sono censurati. Viene utilizzato il peso inverso della probabilità di censura (IPCW) per correggere i bias dovuti alla censura.
• Split Temporale: La divisione train/test avviene a livello di iscrizione (non di riga) per prevenire la "data leakage", stratificando per stato dell'evento e bucket temporale.

B. Modellazione del Rischio Temporale (RQ1)

• Modello: Regressione logistica penalizzata e bilanciata per le classi, adattata su righe person-period.
• Obiettivo: Stimare l'hazard settimanale condizionato $\hat{h}_{it} = P(\text{evento}_t | T \ge t, X_{it})$.
• Survival: La probabilità di sopravvivenza $\hat{S}_i(t)$ è calcolata come il prodotto cumulativo degli hazard complementari.
• Feature: Include click totali, recency (giorni dall'ultimo accesso), streak (giorni consecutivi di attività), crediti studiati e covariate contestuali.

C. Simulazione di Policy Controfattuale (RQ2)

Il cuore innovativo del framework è la capacità di simulare scenari di intervento senza richiedere dati sperimentali reali (A/B test).

• Trigger: Una regola deterministica basata sulla "recency" (es. nessun accesso negli ultimi 7 giorni).
• Scenari Simulati:
  1. Shock: Riduzione diretta dell'hazard di base di un fattore $\delta$ durante la finestra di intervento attiva.
  2. Mechanism-Aware: Aggiornamento stato delle covariate (es. aumento simulato dei click) che si propagano nel tempo, ricalcolando l'hazard attraverso il modello.
• Metrica di Valutazione: Contrasto strutturale di sopravvivenza $\Delta S(t) = \bar{S}^{(1)}(t) - \bar{S}^{(0)}(t)$, che misura il guadagno di sopravvivenza ipotetico rispetto alla baseline.

D. Analisi di Sottogruppi (RQ3)

Valutazione dell'impatto differenziale della policy su gruppi osservabili (es. genere).

• Metrica: Variazione del divario di sopravvivenza ($\Delta Gap$) tra gruppi sotto la policy rispetto alla baseline.
• Incertezza: Quantificata tramite 500 bootstrap resamples per determinare la stabilità direzionale del segnale.

3. Risultati Chiave

RQ1: Qualità del Modello Temporale

• Discriminazione: Il modello ottiene un AUC a livello di riga di 0.8350 (train) e 0.8405 (test), indicando una buona capacità di discriminare il rischio settimanale.
• Calibrazione: La calibrazione è accettabile in aggregato, ma i bin a rischio più elevato hanno un supporto di dati scarso, richiedendo cautela nell'interpretazione delle probabilità estreme.

RQ2: Contrasto Strutturale degli Scenari

• Scenari "Shock": Mostrano guadagni di sopravvivenza positivi ($\Delta S > 0$) che aumentano con l'intensità dell'intervento ipotetico (es. $\Delta S = 0.0819$ per uno shock del 60% a $T=18$ settimane).
• Scenari "Mechanism-Aware": Nella configurazione corrente, questo approccio ha prodotto un contrasto negativo ($\Delta S = -0.0078$), suggerendo che la semplice propagazione delle covariate di engagement non garantisce un miglioramento della sopravvivenza in questo specifico setting simulato.
• Orizzonti Temporali: Il framework distingue tra orizzonti di reporting sostanziale ($T_{policy}=18$) e orizzonti tecnici di stabilità delle metriche pesate ($T_{metrics}=37$), evitando stime instabili nelle code della distribuzione.

RQ3: Validazione di Sottogruppi

• L'analisi sul genere mostra che la policy riduce leggermente il divario di sopravvivenza tra uomini e donne ($\Delta Gap \approx -0.0005$).
• Il segnale è direzionalmente stabile (gli intervalli di confidenza al 95% non includono lo zero), ma l'entità dell'effetto è molto piccola, indicando che la policy ha un impatto marginale sulle disuguaglianze di genere in questo contesto.

4. Contributi Principali

1. Framework Ibrido: Integrazione formale di modelli di hazard a tempo discreto con un layer di simulazione controfattuale esplicita.
2. Simulazione Strutturale: Capacità di confrontare scenari di policy (trigger, finestre temporali, intensità) in modo auditabile, anche in assenza di dati causali identificati.
3. Gestione della Censura e Orizzonti: Introduzione di una regola a "doppio orizzonte" per separare la validità delle metriche pesate (IPCW) dalla visualizzazione delle traiettorie di sopravvivenza grezze.
4. Audit di Equità: Protocollo per quantificare l'incertezza e la stabilità direzionale degli impatti differenziali sui sottogruppi.

5. Significato e Limiti

Significato:
Il lavoro sposta il focus dalla semplice "previsione" alla "valutazione di policy". Fornisce agli amministratori universitari uno strumento per testare virtualmente l'efficacia di interventi di supporto (es. nudge digitali) prima di implementarli, riducendo il rischio di azioni inefficaci o dannose. Il framework è portabile a qualsiasi contesto LMS con dati temporali e registri di abbandono.

Limiti e Avvertenze:

• Non Causalità: I risultati ($\Delta S$, $\Delta Gap$) sono contrasti strutturali simulati basati su un modello, non stime causali identificate di effetti reali. Non dimostrano che l'intervento funzionerà nel mondo reale, ma mostrano come il modello si comporterebbe sotto determinate assunzioni.
• Dipendenza dai Dati: La validità dipende dalla qualità dei log di interazione e dalla definizione corretta dell'evento di abbandono.
• Sensibilità: I risultati degli scenari "mechanism-aware" sono sensibili alla specifica dell'operatore di aggiornamento delle covariate.

In sintesi, il paper offre un rigido framework matematico per trasformare i dati di engagement temporali in diagnosi di policy strutturate, ponendo le basi per un'istruzione superiore più reattiva e basata sull'evidenza, pur mantenendo una chiara distinzione tra simulazione di scenario e causalità empirica.