Transporting Predictions via Double Machine Learning: Predicting Partially Unobserved Students' Outcomes

Titel

Het transporteren van voorspellingen via Double Machine Learning: Het voorspellen van deels niet-geobserveerde uitkomsten van studenten.

1. Probleemstelling

Onderwijsbeleidsmakers ontbreken vaak gegevens over studentuitkomsten (zoals gestandaardiseerde toetsscores) in populaties waar deze toetsen niet zijn afgenomen. Machine learning (ML) biedt de mogelijkheid om ontbrekende uitkomsten in een doelpopulatie (target) te voorspellen op basis van gegevens uit een bronpopulatie (source).

Een fundamenteel probleem bij het toepassen van ML-modellen op nieuwe populaties is covariaatverschuiving (covariate shift). Dit treedt op wanneer de verdeling van de voorspellers (covariaten) in de bronpopulatie verschilt van die in de doelpopulatie, terwijl de conditionele verdeling van de uitkomst gegeven de covariaten wel gelijk blijft. Als dit niet wordt gecorrigeerd, kan dit leiden tot:

• Verminderde voorspellingsnauwkeurigheid.
• Vooringenomenheid (bias) in de voorspellingen.
• Problemen met de generaliseerbaarheid (transportability) van het model.

De auteurs stellen een nieuwe methodologie voor om deze uitdaging aan te pakken door gebruik te maken van Double Machine Learning (DML) in combinatie met gewichting op basis van overlap (overlap weighting).

2. Methodologie

De paper introduceert een tweestapsbenadering binnen een Double Machine Learning raamwerk om voorspellingen te "transporteren" van een bron- naar een doelpopulatie.

A. Theoretisch Kader en Aannames

Het model rust op twee kernaannames:

1. Conditionele uitwisselbaarheid (Conditional Sample Exchangeability): De uitkomst $Y$ is onafhankelijk van de populatielidmaatschap $S$ (bron of doel), gegeven de covariaten $X$. Dit betekent dat de verschuiving volledig verklaard kan worden door de waargenomen covariaten (MAR - Missing At Random).
2. Positiviteit: Elke covariaatpatroon dat in de doelpopulatie voorkomt, moet ook een positieve kans hebben om in de bronpopulatie voor te komen.

B. Het Double Machine Learning Framework

De methode bestaat uit twee fasen:

1. Fase 1: Schatting van Overlap Scores (Overlap Scores)

   • Er wordt een classificatiemodel getraind om de waarschijnlijkheid te schatten dat een observatie tot de bronpopulatie ($S=1$) behoort, gegeven de covariaten $X$. Dit wordt de overlap score genoemd: $\hat{P}(S=1|X)$.
   • In plaats van de dichtheidsratio direct te schatten, wordt gebruik gemaakt van de inverse-odds ratio (via Bayes' regel):
     $$\omega_i = \frac{P(S=0|X_i)}{P(S=1|X_i)} = \frac{1 - \hat{P}(S=1|X_i)}{\hat{P}(S=1|X_i)}$$
   • Deze gewichten ($\omega_i$) dienen om observaties in de bronpopulatie die meer lijken op de doelpopulatie zwaarder te wegen, en diegene die minder lijken, lichter.

2. Fase 2: Gewogen Voorspellingsmodel

   • Een voorspellingsmodel wordt getraind op de brondata, waarbij de verliesfunctie (loss function) wordt vermenigvuldigd met de geschatte gewichten $\omega_i$.
   • Voor BART (Bayesian Additive Regression Trees) wordt dit geïmplementeerd door de variantie van de individuele observaties te schalen: $\sigma^2_i = \sigma^2 / \omega_i$. Dit is equivalent aan het herwegen van de likelihood in het Bayesiaanse raamwerk.

C. Uitgevoerde Analyse

• Model: De auteurs gebruiken BART vanwege zijn sterke voorspellende prestaties, flexibiliteit en het vermogen om onzekerheid te kwantificeren via posterior predictieve distributies.
• Detectie van Outliers: Door middel van de posterior distributie kunnen studenten worden geïdentificeerd wier voorspelde scores buiten de 95% betrouwbaarheidsintervallen vallen (outliers). Dit helpt bij het identificeren van kwetsbare subgroepen.

3. Empirische Toepassing

De methode wordt getest op data van de PISA 2015-studie (OECD) in België.

• Bronpopulatie: Vlaanderen (waar financiële geletterdheidsscores, FLS, wel zijn gemeten).
• Doelpopulatie: Wallonië (waar FLS niet is gemeten en moet worden voorspeld).
• Data: Er worden uitgebreide student- en schoolkenmerken gebruikt als voorspellers (bv. wiskunde- en leescores, sociaaleconomische status, taal, schoolkarakteristieken).

4. Belangrijkste Resultaten

A. Prestatie van het Model

• Het BART-model bereikte een uitstekende voorspellende prestatie met een gecorrigeerde $R^2$ van ongeveer 73% en een lage RMSE (Root Mean Squared Error) en MAE (Mean Absolute Error).
• De voorspellingen tonen aan dat Vlaamse studenten gemiddeld ongeveer 25 punten hoger scoren dan Waalse studenten (ongeveer een half schooljaar verschil in leerstof).

B. Effect van Covariaatverschuiving en Gewichten

• Verrassende bevinding: In deze specifieke toepassing leidde het toepassen van de gewogen DML-methode niet tot een verbetering van de voorspellingskwaliteit ten opzichte van het standaard (ongewogen) BART-model.
• De ongewogen modellen presteerden zelfs iets beter dan de gewogen varianten.
• Oorzaak: De analyse van de overlap-scores toonde aan dat er in dit geval sprake was van een beperkte covariaatverschuiving. De populaties (Vlaanderen en Wallonië) hebben voldoende overlap in hun covariaatverdelingen.
• Trade-off: Het toepassen van gewichten introduceert variabiliteit (variance). Wanneer de verschuiving klein is, weegt de extra variabiliteit zwaarder dan het potentiële voordeel in bias-reductie. Dit bevestigt de theorie dat gewichten vooral nuttig zijn bij sterke verschuivingen.

C. Kenmerken van Kwetsbare Studenten

Via de detectie van outliers en conditionele bomen (conditional inference trees) werden de volgende factoren geïdentificeerd die geassocieerd zijn met lage voorspelde financiële geletterdheid:

• Laag presteren in wiskunde en lezen: De sterkste voorspellers voor lage FLS.
• Taal: Studenten die thuis geen schooltaal spreken.
• Ouderlijke achtergrond: Studenten met ouders met een lager opleidingsniveau.
• Migratie: Eerste-generatie migranten hebben een hogere kans op lage scores.

5. Bijdragen en Relevantie

1. Methodologische Innovatie: De paper biedt een gestructureerd raamwerk voor het transporteren van voorspellingen in sociale en gezondheidswetenschappen, waarbij Double Machine Learning wordt gekoppeld aan Bayesiaanse methoden (BART).
2. Praktisch Inzicht: Het onderzoek illustreert dat het niet altijd noodzakelijk is om complexe correcties voor covariaatverschuiving toe te passen. Als de overlap tussen populaties groot is, kan een eenvoudiger, ongewogen model beter presteren. Dit voorkomt onnodige complexiteit en variabiliteit.
3. Beleidsondersteuning: De methode stelt beleidsmakers in staat om uitkomsten te voorspellen in regio's zonder data en specifiek te richten op kwetsbare groepen (outliers) voor gerichte interventies.
4. Uitbreiding van Literatuur: Het is de eerste studie die toezicht op machine learning (supervised learning) toepast op financiële geletterdheid in het onderwijs, en het koppelt concepten uit causal inference (generaliseerbaarheid) aan voorspellende modellen.

Conclusie

Hoewel de specifieke toepassing op Belgische PISA-data aantoont dat de covariaatverschuiving hier beperkt was en de gewogen methode geen meerwaarde bood boven het standaardmodel, biedt het voorgestelde Double Machine Learning framework een robuust en principieel instrument voor situaties waar populatieverschillen significant zijn. Het benadrukt het belang van het diagnosticeren van overlap voordat complexe correctietechnieken worden ingezet.