← Nieuwste papers
💰 kwantitatieve financiën

Experimentally Validated Digital Twins: Evaluating Workforce Training Programs in the Age of Big Data

Dit artikel toont aan dat machine learning-modellen getraind op grootschalige administratieve gegevens "experimenteel gevalideerde digitale tweelingen" kunnen construeren om de effecten van scholingsprogramma's voor de beroepsbevolking nauwkeurig te schatten, waarbij foutmarges worden bereikt die vergelijkbaar zijn met gerandomiseerde gecontroleerde onderzoeken, terwijl tegelijkertijd significante variaties in de effectiviteit van programma's over locaties en tijd worden onthuld.

Oorspronkelijke auteur: Raj Chetty, Jamie Fogel, Lawrence F. Katz, Kadeem Noray, Sonya Porter, James Reisinger

Gepubliceerd 2026-11-04
📖 6 min leestijd🧠 Diepgaand

Oorspronkelijke auteur: Raj Chetty, Jamie Fogel, Lawrence F. Katz, Kadeem Noray, Sonya Porter, James Reisinger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Decennialang was de gouden standaard om te weten of een programma daadwerkelijk werkt de gerandomiseerde gecontroleerde studie. In deze aanpak nemen onderzoekers een groep mensen, werpen een munt om te beslissen wie de nieuwe dienst krijgt en wie niet, en vergelijken vervolgens de resultaten. Omdat de toewijzing willekeurig is, kan elk verschil in uitkomsten met vertrouwen aan het programma zelf worden toegeschreven, en niet aan het feit dat de mensen die zich aanmeldden meer gemotiveerd waren of betere banen hadden om te beginnen met. Deze methode is het fundament geworden van modern beleid en stuurt beslissingen aan over alles van onderwijs tot beroepstraining. Het draaien van deze proeven is echter duur, traag en vaak onmogelijk voor elk bestaand programma. Als gevolg hiervan functioneren veel programma's zonder strikt bewijs van hun waarde, waardoor beleidsmakers moeten gissen of hun investeringen helpen of schaden.

De traditionele alternatieve methode was om naar observationele gegevens te kijken, waarbij mensen die ervoor kozen om deel te nemen werden vergeleken met degenen die dat niet deden. Maar de geschiedenis heeft aangetoond dat dit een gevaarlijk pad is. Omdat mensen die ervoor kiezen om deel te nemen vaak anders zijn dan degenen die niet deelnemen op manieren die onderzoekers niet kunnen zien — zoals hun gedrevenheid of gezinssteun — leveren eenvoudige vergelijkingen vaak misleidende resultaten op. Jarenlang was de consensus dat je zonder een gerandomiseerde proef de cijfers simpelweg niet kon vertrouwen. Dit artikel heroverweegt echter die conclusie in een tijdperk van enorme hoeveelheden data. De onderzoekers stelden een simpele vraag: als we toegang hebben tot de volledige werk- en belastinggeschiedenis van elke volwassen Amerikaan, gecombineerd met krachtige computermodellen, kunnen we dan een virtuele versie van een persoon bouwen die zo accuraat is dat deze fungeert als een gerandomiseerde controlegroep?

Het team, geleid door economen van Harvard en de organisatie Opportunity Insights, zette zich af om dit idee te testen met de specifieke casus van beroepstrainingsprogramma's. Ze verzamelden een enorme dataset met de belastinggegevens van 327 miljoen Amerikanen en volgden hun inkomsten van 1999 tot 2025. Ze koppelden deze gegevens aan informatie over meer dan 100.000 mensen die aan diverse beroepstrainingsprogramma's hadden deelgenomen. In plaats van te proberen een perfecte match te vinden voor elke deelnemer in een kleine enquête, zoals in het verleden werd gedaan, gebruikten ze machine learning om een geavanceerd voorspellingsmodel te bouwen. Dit model leerde van de gehele populatie om te voorspellen wat de inkomsten van een deelnemer zouden zijn geweest als zij nooit aan het programma hadden deelgenomen. De onderzoekers noemden deze voorspellingen "digitale tweelingen" — statistische plaatsvervangers voor de deelnemers die vertegenwoordigen wat er met hen zou zijn gebeurd als zij de training niet hadden ontvangen.

Om te zien of deze digitale tweelingen deugden, hadden de onderzoekers een ijkpunt nodig. Ze keerden zich tot 37 bestaande gerandomiseerde proeven van beroepstrainingsprogramma's die tussen 2000 en 2019 waren uitgevoerd. Deze proeven boden de ware, experimenteel geverifieerde antwoorden op hoeveel geld de deelnemers daadwerkelijk verdienden in vergelijking met degenen die willekeurig waren toegewezen aan de niet-deelnamegroep. De onderzoekers pasten vervolgens hun digitale tweeling-methode toe op deze zelfde groepen mensen. Ze vroegen het computermodel om de inkomsten van de deelnemers te voorspellen op basis van hun eerdere werkverleden, demografie en woonplaats, en vergeleken die voorspellingen vervolgens met de werkelijke resultaten uit de gerandomiseerde proeven.

De resultaten waren opmerkelijk. De voorspellingen gedaan door de digitale tweelingen kwamen met opmerkelijke precisie overeen met de resultaten van de gerandomiseerde proeven. Het verschil tussen de schatting van de computer en het werkelijke experimentele resultaat was zo klein dat het vergelijkbaar was met de natuurlijke statistische ruis die in de proeven zelf wordt gevonden. Sterker nog, de fout in de digitale tweeling-schattingen was iets kleiner dan de fout in de gerandomiseerde proeven, grotendeels omdat het computermodel toegang had tot een veel grotere hoeveelheid data om van te leren. De onderzoekers ontdekten dat de oude manier van werken, die vertrouwde op kleinere enquêtes en eenvoudigere wiskunde, fouten produceerde die meer dan twee keer zo groot waren. De sleutel tot het succes was niet alleen het hebben van meer data, maar het gebruik van flexibele computermodellen die de complexiteit van echte menselijke levens konden verwerken, zoals het volgen van het inkomen van een persoon over vele jaren en door verschillende sectoren heen.

Met de methode gevalideerd, gebruikten de onderzoekers deze om te kijken naar beroepstrainingsprogramma's op plaatsen en tijdstippen waar nog nooit een gerandomiseerde proef was uitgevoerd. Ze ontdekten dat het succes van deze programma's geen vaststaand getal was; het varieerde enorm afhankelijk van waar het programma gevestigd was en in welk jaar het plaatsvond. Zo toonde een specifiek programma genaamd Year Up United een breed scala aan resultaten. In sommige steden en in sommige jaren verhoogde het programma het jaarinkomen van deelnemers met meer dan $12.000, terwijl de stijging in andere locaties of jaren veel kleiner was. Deze verschillen waren te groot om toeval te zijn, wat suggereert dat de effectiviteit van een programma sterk afhangt van lokale omstandigheden en hoe het programma op een specifiek moment wordt uitgevoerd.

De studie bracht ook aan het licht wat deze programma's laat werken. De grootste inkomenswinsten kwamen voort uit programma's die meer deden dan alleen vaardigheden aanleren; ze plaatsten deelnemers actief in stages en banen in specifieke, hoogbetaalde sectoren. De onderzoekers vonden dat hoe succesvoller een programma was in het plaatsen van mensen in deze doelgerichte banen, hoe hoger de inkomenswinsten waren. Bovendien waren deze winsten niet tijdelijk. Deelnemers die twee jaar na het programma grote inkomensstijgingen zagen, bleven zelfs tien tot vijftien jaar later nog steeds aanzienlijk meer verdienen dan hun digitale tweelingen. Dit hield stand, zelfs voor de 90 procent van de deelnemers die uiteindelijk hun eerste banen verlieten. De gegevens suggereren dat deze programma's mensen niet alleen een salaris geven; ze plaatsen hen op een carrièreladder die de rest van hun werkende leven rendeert, ongeacht waar ze uiteindelijk terechtkomen.

De auteurs concluderen dat hoewel gerandomiseerde proeven een essentieel instrument blijven om de nauwkeurigheid van deze methoden te controleren, het tijdperk van big data het landschap heeft veranderd. Het is nu mogelijk om "digitale tweelingen" te bouwen die betrouwbaar, bijna real-time bewijs leveren over de vraag of een programma werkt, zelfs bij afwezigheid van een formeel experiment. Deze aanpak stelt beleidsmakers in staat om te zien hoe een programma presteert in een specifieke stad of een specifief jaar, in plaats van te vertrouwen op een enkel gemiddelde van een proef die jaren geleden op een andere plek werd uitgevoerd. De bevindingen suggereren dat we door het gebruik van rijke data en flexibele modellen voorbij de oude discussie kunnen gaan over de vraag of observationele data betrouwbaar is, en deze in plaats daarvan kunnen gebruiken om de specifieke details te begrijpen die bepalen waarom interventies wel of niet slagen.

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →