Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van één plaats delict, heb je een enorme, schitterende magazijn vol met miljoenen aanwijzingen. Dit is wat er gebeurt in de wereld van de "big data"-wetenschap, waar onderzoekers enorme groepen mensen bestuderen—zoals duizenden leraren over de hele wereld—om te begrijpen hoe dingen werken. Maar hier komt het lastige deel bij: wanneer je zoveel aanwijzingen hebt, kun je ze op een miljoen verschillende manieren ordenen om een verhaal te vertellen. Je kunt besluiten om je alleen op de rode aanwijzingen te richten, of de aanwijzingen van de linkerkant van de kamer te negeren, of ze te groeperen op grootte in plaats van kleur. Elke van deze keuzes is als het nemen van een ander pad door een tuin. Als je één pad neemt, vind je misschien een verborgen schat; als je een ander pad neemt, kom je misschien uit bij een doodlopende weg. Dit idee wordt de "tuin van vertakkende paden" genoemd, en het suggereert dat het verhaal dat we vertellen soms meer afhangt van welk pad de detective koos om te bewandelen dan van de werkelijke aanwijzingen die hij vond.

Dit artikel, geschreven door Mark White van de Universiteit van Oslo, duikt diep in dit probleem met behulp van een enorme dataset genaamd TALIS 2018, die leraren uit veel landen heeft ondervraagd. De auteur wilde zien of het "verhaal" dat wordt verteld door een beroemde, veel geciteerde studie over lerarenopleiding (genaamd "inductie") daadwerkelijk waar was, of dat het gewoon het resultaat was van één specifiek pad door de tuin. Het artikel kijkt niet alleen naar één manier om de gegevens te analyseren; in plaats daarvan probeert het bijna een half miljoen verschillende manieren uit om de cijfers te verwerken. Het is alsoals het vragen aan 50ende 500.000 verschillende detectives om dezelfde zaak op te lossen met iets andere regels en kijken of ze allemaal dezelfde dader vinden. Het doel is niet om te zeggen dat de oorspronkelijke studie "fout" was, maar om aan te tonen dat de resultaten drastisch kunnen veranderen afhankelijk van de keuzes die onderweg worden gemaakt, waardoor het moeilijk is om zeker te weten wat het "echte" antwoord is.

De Tuin van een Miljoen Paden

Denk aan de oorspronkelijke studie die de auteur onderzoekt als een kaart naar een schatkist. De kaart beweerde dat bepaalde lerarenopleidingen—zoals teamteaching of het bijhouden van een dagboek—de sleutels waren om leraren gelukkiger en beter in hun werk te maken. De onderzoekers die deze kaart tekenden, gebruikten een specifiek pakket regels om de schat te vinden: ze keken naar Amerikaanse leraren, ze namen alleen voltijdmedewerkers op, en ze gebruikten een specifieke wiskundige formule om de training te verbinden met de resultaten. Ze vonden een glimmende schatkist en zeiden: "Kijk! Training werkt!"

Maar Mark White vroeg zich af: "Wat als we de regels een klein beetje veranderen?" Wat als we naar leraren in Australië of Nieuw-Zeeland kijken in plaats van alleen Amerika? Wat als we alleen naar leraren kijken in hun allereerste jaar van onderwijs? Wat als we de wiskundige formule een klein beetje veranderen? Om dit te beantwoorden, gokte White niet zoma een beetje; hij bouwde een "multiversum". In de wetenschap is een multiversum-analyse als het draaien van een simulatie waarbij je tegelijkertijd elke enkele redelijke combinatie van regels test.

In dit geval identificeerde White 13 verschillende "knoppen" of keuzes die een onderzoeker zou kunnen draaien. Deze omvatten beslissingen zoals:

• Wie telt mee? (Moeten we alleen nieuwe leraren opnemen, of alle leraren? Moeten we alleen naar Amerika kijken, of ook naar andere Engelstalige landen?)
• Welke getallen gebruiken we? (Moeten we de wiskunde aanpassen om rekening te houden met hoeveel mensen er zijn ondervraagd, of tellen we iedereen gelijk?)
• Hoe meten we de training? (Moeten we naar het hele trainingsprogramma kijken, of het opdelen in kleine stukjes?)

Wanneer je al deze keuzes met elkaar vermenigvuldigt, krijg je een verbluffend aantal: 497.664 verschillende mogelijke manieren om de gegevens te analyseren. Dat zijn bijna een half miljoen verschillende paden door de tuin. White voerde de analyse uit voor elk van deze paden.

De Verschuivende Schat

De resultaten waren een beetje een schok. Wanneer White naar het "multiversum" van resultaten keek, merkte hij dat de schatkist niet voor elk pad op dezelfde plek lag.

In sommige van de 4-97.664 analyses zagen de trainingsactiviteiten eruit als een toverstaf die leraren ongelooflijk gelukkig en effectief maakte. In andere analyses zagen exact dezelfde trainingsactiviteiten eruit alsof ze leraren zelfs schadelijk waren, waardoor ze minder effectief werden. In veel andere paden leek de training helemaal niets te doen.

Het artikel laat dit zien met een enorme grafiek (Figuur 1 in de oorspronkelijke tekst). Stel je een lijn van stippen voor die zich van ver links naar ver rechts uitstrekt. De stippen aan de uiterste linkerkant vertegenwoordigen analyses waarbij training een ramp was. De stippen aan de uiterste rechterkant vertegenwoordigen analyses waarbij training een wonder was. De stippen in het midden vertegenwoordigen analyses waarbij het niet uitmaakte. Het angstwekkende deel is dat er groene stippen (wat betekent "statistisch significant" of "echt") aan beide kanten zijn. Dit betekent dat een onderzoeker voor bijna elke specifieke trainingsactiviteit en elk specifiek lerarend resultaat een "redelijke" manier kon vinden om te bewijzen dat het een groot succes was, en een andere "redelijke" manier om te bewijzen dat het een grote mislukking was.

De oorspronkelijke studie had één specifiek pad door deze tuin gekozen en een positief resultaat gevonden. Maar de multiversum-analyse van White suggereert dat dit resultaat niet noodzakelijkerwijs de "ware" waarheid was. Het was slechts één van honderdduizenden mogelijke waarheden, en de keuze voor welk pad te nemen was enigszins willekeurig.

Waarom dit ertoe doet

Dit artikel zegt niet dat lerarenopleiding nutteloos is. Het zegt niet dat de oorspronkelijke auteurs ongelijk hadden. In plaats daarvan belicht het een subtiel maar enorm probleem in hoe we wetenschap bedrijven. Wanneer een onderzoeksvraag een beetje vaag is—zoals "Helpt training leraren?"—zijn er zoveel manieren om antwoord op te geven dat het antwoord vaak afhangt van de keuzes die de onderzoeker maakt nog voordat hij begint met het bekijken van de gegevens.

De auteur noemt dit de "tuin van vertakkende paden". Als je niet weet op welk pad je bent, kun je niet zeker weten of de schat die je hebt gevonden echt is of slechts een resultaat is van het gekozen pad. Het artikel suggereert dat wanneer we een studie met één enkel, duidelijk resultaat zien, we een beetje nieuwsgieriger moeten zijn. We moeten ons afvragen: "Wat als ze een ander pad hadden gekozen?"

Door bijna een half miljoen analyses uit te voeren, laat dit artikel ons zien dat de "waarheid" over lerarenopleiding veel complexer en onzekerder is dan een enkele koptekst doet vermoeden. Het geeft ons geen nieuw, beter antwoord; in plaats daarvan geeft het ons een veel duidelijker beeld van hoe onzeker we werkelijk zijn. Het is een herinnering aan het feit dat in de tuin van de wetenschap veel paden zijn, en soms verandert het uitzicht volledig afhankelijk van welk pad je kiest om te bewandelen.