Transporting Predictions via Double Machine Learning: Predicting Partially Unobserved Students' Outcomes

Titolo: Trasporto delle Predizioni tramite Double Machine Learning: Previsione dei Risultati degli Studenti Parzialmente Non Osservati

1. Il Problema

Nelle scienze sociali e sanitarie, i decisori politici spesso devono prendere decisioni basate su dati di outcome (risultati) che non sono stati raccolti per tutte le popolazioni target. Un esempio classico è la previsione dei punteggi di alfabetizzazione finanziaria (Financial Literacy Scores - FLS) per studenti in una regione dove il test non è stato somministrato, utilizzando dati di addestramento provenienti da un'altra regione (popolazione sorgente).

Il problema centrale è il covariate shift (spostamento delle covariate): le distribuzioni delle variabili predittive (es. status socioeconomico, risultati in matematica) differiscono tra la popolazione sorgente e quella target. Se un modello di machine learning viene addestrato sulla sorgente e applicato direttamente al target senza correzioni, le differenze distribuzionali possono portare a:

• Ridotta accuratezza predittiva.
• Bias sistematico nelle stime.
• Estrapolazioni non valide in regioni dello spazio delle caratteristiche non ben rappresentate nei dati di addestramento.

2. Metodologia: Double Machine Learning (DML) per il Trasporto

Gli autori propongono un framework basato sul Double Machine Learning per adattare i modelli predittivi a popolazioni target con distribuzioni di covariate diverse, sotto l'assunzione di covariate shift spiegabile (l'outcome è Missing At Random condizionato alle covariate osservate).

Il processo si articola in due fasi principali:

1. Stima dei Punteggi di Sovrapposizione (Overlap Scores):

   • Viene stimata la probabilità che un'osservazione appartenga alla popolazione sorgente ($S=1$) dato il vettore delle covariate $X$, ovvero $P(S=1|X)$.
   • Questo viene fatto utilizzando un modello di classificazione (es. regressione logistica o alberi di classificazione).
   • Il punteggio di sovrapposizione quantifica quanto un'osservazione della sorgente è "rappresentativa" del target.

2. Ponderazione di Bilanciamento (Balancing Weights):

   • Vengono calcolati i pesi di importanza come il rapporto di densità tra target e sorgente:
     $$\omega_i = \frac{P(S=0|X_i)}{P(S=1|X_i)} = \frac{1 - \hat{P}(S=1|X_i)}{\hat{P}(S=1|X_i)}$$
   • Questi pesi vengono incorporati nella funzione di perdita (loss function) del modello predittivo. Le osservazioni della sorgente che sono simili al target ricevono pesi maggiori, mentre quelle molto diverse vengono "soppresse" (downweighted).
   • L'obiettivo è minimizzare la perdita attesa sulla distribuzione del target: $\arg \min_f E_{S=0}[\ell(f(X), Y)]$.

Modello Predittivo Scelto: BART
Gli autori implementano questo framework utilizzando Bayesian Additive Regression Trees (BART).

• Motivazione: BART offre prestazioni predittive robuste, gestisce naturalmente la non linearità e le interazioni, e fornisce una quantificazione dell'incertezza tramite distribuzioni predittive posteriori.
• Implementazione dei pesi: Nel contesto bayesiano, i pesi di bilanciamento $\omega_i$ sono integrati nella verosimiglianza (likelihood). Per un modello gaussiano, pesare un'osservazione con $\omega_i$ equivale a scalare la sua varianza come $\sigma^2_i = \sigma^2 / \omega_i$.

Rilevamento degli Outlier:
Grazie alla natura bayesiana di BART, gli autori possono generare campioni dalla distribuzione predittiva posteriore per ogni studente. Utilizzando intervalli di credibilità (es. 95%), identificano gli studenti i cui punteggi predetti sono "outlier" (lontani dalla media), permettendo di focalizzare l'attenzione su sottogruppi vulnerabili.

3. Applicazione Empirica e Dati

• Contesto: Previsione dei punteggi di alfabetizzazione finanziaria (FLS) degli studenti del PISA 2015 in Belgio.
• Popolazione Sorgente: Fiandre (Flanders), dove i punteggi FLS sono osservati.
• Popolazione Target: Vallonia (Wallonia), dove i punteggi FLS sono mancanti.
• Variabili: Un ampio set di predittori a livello studentesco e scolastico (background, status socioeconomico, risultati in matematica/lettura, caratteristiche della scuola).
• Analisi Preliminare: Prima di applicare il modello all'outcome mancante, i metodi sono stati testati su outcome proxy (punteggi di matematica e lettura) che sono osservati in entrambe le regioni, per valutare l'efficacia del trasporto.

4. Risultati Chiave

• Performance Predittiva: Il modello BART standard ha ottenuto un $R^2$ aggiustato di circa il 73% con errori quadratici medi (RMSE) bassi. Le prestazioni di BART sono state leggermente superiori a quelle delle Random Forest.
• Impatto del Covariate Shift:
  • Contrariamente alle aspettative teoriche, l'applicazione dei pesi di bilanciamento (adattamento al dominio) non ha migliorato le prestazioni predittive rispetto al modello BART non ponderato.
  • In alcuni casi (soprattutto per i punteggi di lettura), il modello ponderato ha mostrato prestazioni leggermente peggiori.
  • Interpretazione: Le analisi di sovrapposizione (overlap) hanno rivelato che, sebbene esistano differenze nelle distribuzioni delle covariate (es. matematica e ricchezza), la sovrapposizione tra le due regioni è sufficiente. Il modello BART non standard è già abbastanza robusto da gestire queste differenze senza bisogno di un'aggiustamento pesante, che in questo caso ha introdotto solo varianza aggiuntiva (rumore) senza ridurre significativamente il bias.
• Identificazione degli Studenti Vulnerabili:
  • L'analisi degli outlier e degli alberi condizionali ha identificato i fattori chiave associati a bassi punteggi FLS predetti:
    1. Punteggi bassi in Matematica e Lettura: Sono i predittori più forti.
    2. Background Familiare: Studenti con genitori poco istruiti e famiglie dove non si parla la lingua scolastica a casa.
    3. Status di Immigrato: In Fiandra, gli studenti di prima generazione immigrata hanno una probabilità più alta di bassi punteggi FLS.
  • La distribuzione dei punteggi predetti mostra che gli studenti delle Fiandre hanno in media punteggi leggermente più alti rispetto a quelli della Vallonia (circa mezzo anno scolastico in più di competenza).

5. Contributi e Significato

• Contributo Metodologico: Il paper fornisce un framework rigoroso e principiato per il trasporto delle predizioni in contesti di covariate shift, integrando la teoria del Double Machine Learning con modelli bayesiani flessibili (BART). Dimostra come gestire l'incertezza e l'outlier detection in questo contesto.
• Contributo Empirico: È il primo studio che applica tecniche di machine learning supervisionato per prevedere i punteggi di alfabetizzazione finanziaria in contesti educativi.
• Implicazioni Pratiche:
  • Dimostra che l'uso di modelli robusti come BART può essere sufficiente per il trasporto di predizioni anche in presenza di differenze regionali, riducendo la necessità di complessi aggiustamenti quando la sovrapposizione è buona.
  • Fornisce ai policy-maker uno strumento per identificare sottogruppi a rischio (studenti con bassa alfabetizzazione finanziaria) anche in assenza di dati diretti, permettendo interventi mirati.
• Avvertenza Generale: Lo studio evidenzia un trade-off pratico: mentre la ponderazione è teoricamente necessaria per shift marcati (come dimostrato nello studio di simulazione), in scenari reali con shift moderati e modelli flessibili, l'aggiustamento può introdurre rumore inutile. La scelta del metodo deve dipendere dalla gravità dello shift e dalla qualità della sovrapposizione.

In sintesi, il paper combina avanzamenti metodologici nella statistica causale e predittiva con un'applicazione educativa concreta, offrendo sia un nuovo strumento analitico che evidenze empiriche sulla robustezza dei modelli moderni di machine learning nel trasporto di conoscenze tra popolazioni diverse.