Meta-Analysis with JASP, Part I: Classical Approaches

Stel je de wetenschappelijke wereld voor als een enorme, bruisende bibliotheek waar elke onderzoeker een boek schrijft over een specifiek experiment. Soms zegt één boek dat een nieuw medicijn wonderen verricht, terwijl een ander boek zegt dat het helemaal niets doet. Dit is waar meta-analyse om de hoek komt kijken. Zie het als een superbibliothecaris die niet slechts één boek leest, maar honderden boeken verzamelt, ze opstapelt en de ware geschiedenis ontdekt die verborgen ligt in de ruis. Het is als proberen een enkele fluistering te horen in een vol stadium; je kunt niet alleen naar één persoon luisteren, je moet de stemmen van iedereen combineren om het echte signaal te vinden.

Om dit te doen, gebruikt de superbibliothecaris een paar belangrijke instrumenten. Eerst berekent hij een effectgrootte (effect size), wat een manier is om te meten "hoe groot" een resultaat is, door verschillende soorten metingen om te zetten in een gemeenschappelijke taal. Vervolgens kijkt hij naar een forest plot, een grafiek die eruitziet als een bos met bomen, waarbij elke boom een studie vertegenwoordigt en de positie van de boom het resultaat weergeeft. Ten slotte controleert hij op heterogeniteit, wat gewoon een chic woord is voor de vraag: "Vertellen al deze studies hetzelfde verhaal, of zijn ze totaal verschillend?" Als de studies te veel van elkaar verschillen, moet de bibliothecaris speciale wiskunde gebruiken om te achterhalen waarom. Wetenschappers geven hierom omdat vertrouwen op een enkele studie is als het beoordelen van een hele film door slechts één scène te bekijken; je mist misschien de plotwendingen of het einde.

Dit artikel introduceert een nieuwe, gebruiksvriendelijke tool genaamd JASP (specifiek de "Meta-Analysis module") die deze krachtige, complexe instrumenten uit de sfeer van computercode haalt en naar een eenvoudige "point-and-click" interface brengt. De auteurs, een team van statistici en softwareontwikkelaars, hebben dit gebouwd om wetenschappers die geen programmeur zijn in staat te stellen geavanceerde meta-analyses uit te voeren zonder dat ze regels code hoeven te schrijven. Ze laten zien dat JASP alles aan kan, van basisoverzichten tot zeer ingewikkelde scenario's waarbij studies gegevens delen of meerdere lagen informatie bevatten. De paper beweert niet een nieuwe wet van het universum te hebben ontdekt; het laat eerder zien dat een gratis, open-source software nu het zware werk van geavanceerde statistiek kan doen, waardoor het toegankelijk wordt voor studenten en onderzoekers die voorheen misschien vastzaten met simpelere, minder krachtige tools.

Het verhaal van de nieuwe gereedschapskist van de superbibliothecaris

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van één getuige heb je er vijftig. Sommige getuigen zagen het misdrijf van een afstand, sommigen waren er vlakbij, en sommigen vertellen iets andere versies van het verhaal. In het verleden had je, om al deze verhalen samen te voegen tot één duidelijke waarheid, een meesterprogrammeur nodig die de geheime taal van computers sprak (zoals de programmeertaal R) om een aangepaste machine te bouwen die het bewijs kon sorteren. Als je niet kon programmeren, was je beperkt tot een basis vergrootglas dat de subtiele aanwijzingen miste.

De auteurs van dit artikel zeggen: "Laten we een machine bouwen die iedereen kan gebruiken." Ze hebben een module binnen de gratis software genaamd JASP gemaakt die fungeert als een high-tech dashboard voor dit detectivewerk. In plaats van code te typen, klik je gewoon op knoppen, sleep je je gegevens en doet de software de wiskunde voor je. De paper neemt je mee langs drie verschillende "gevallen" om te laten zien hoe dit dashboard werkt, waarmee wordt bewezen dat je nu het meest geavanceerde detectivewerk kunt doen zonder een programmeur te zijn.

Geval 1: Het Vaccin-mysterie (De Basis)
Het eerste geval betreft een beroemde dataset over een vaccin tegen tuberculose. De auteurs laten zien hoe je JASP kunt gebruiken om de "effectgrootte" (hoe goed het vaccin werkte) te berekenen en een funnel plot te tekenen. Stel je een funnel plot voor als een trechtervormige grafiek waarin je alle resultaten van de studies erin laat vallen. Als alles eerlijk en recht is, zouden de stippen een nette, symmetrische piramide moeten vormen. Als de piramide scheef is, kan dit betekenen dat er studies ontbreken of dat er sprake is van bias. De software bouwt vervolgens een forest plot, die eruitziet als een bos met bomen, en laat precies zien waar elke studie staat en hoe zeker we zijn van het resultaat. De auteurs laten zien dat JASP zelfs de bomen in groepen (subgroepen) kan verdelen om te zien of het vaccin anders werkte afhankelijk van hoe de studie werd uitgevoerd. Het resultaat? De software repliceert succesvol de complexe wiskunde die voorheen programmeren vereiste, waardoor het "random-effects" model (een manier om verschillen tussen studies op te vangen) gemakkelijk uit te voeren is.

Geval 2: De Schrijfinterventies (Patronen zoeken)
In het tweede geval kijken de detectives naar studies over "schrijven-om-te-leren" interventies. Hier willen ze weten of de lengte van de interventie of het feit of studenten feedback kregen, de resultaten veranderde. Dit wordt meta-regressie genoemd. Denk hierbij aan het trekken van een lijn door een verspreiding van stippen om te zien of er een trend bestaat. JASP tekent deze lijn voor je en maakt zelfs een bubble plot, waarbij grotere bellen staan voor preciezere studies. De software berekent ook de Estimated Marginal Means, wat een chique manier is om te zeggen: "Wat zou het resultaat zijn als we de rest constant houden?" Het is als vragen: "Als elke student exact dezelfde hoeveelheid tijd en feedback had gehad, wat zou dan de score zijn?" De paper laat zien dat JASP deze complexe vergelijkingen kan afhandelen en zelfs kan testen of de "spreiding" van de gegevens (heterogeniteit) verandert op basis van de duur van de studie, een techniek die een location–scale model wordt genoemd.

Geval 3: De Recidive-puzzel (Het verstrengelde web)
Het derde geval is het lastigste. Het kijkt naar studies over jeugd delinquentie en mentale gezondheid. Het probleem hier is dat veel studies meerdere resultaten rapporteren voor dezelfde groep kinderen (bijv. agressie, pesten en diefstal). Dit creëert een "verstrengeld web" van gegevens waarbij de resultaten niet onafhankelijk van elkaar zijn. Als je dit negeert, denk je misschien dat je meer bewijs hebt dan je in werkelijkheid hebt. De auteurs laten zien hoe JASP dit kan ontwarren met behulp van multilevel modellen (die de hiërarchie in de gegevens afhandelen), multivariate modellen (die rekening houden met de correlatie tussen verschillende soorten criminaliteit) en cluster-robust standard errors (die fungeren als een vangnet om ervoor te zorgen dat de wiskunde niet wordt misleid door de onderlinge verbanden). In dit specifieke geval vond de software, zelfs na het ontwarren van het web, een statistisch significant verschil: jongeren met mentale gezondheidsstoornissen hadden een ander recidivepercentage (gepoolde effectgrootte $d=0,36$, 95% BI [0,16, 0,56]).

Waarom dit ertoe doet

De paper laat niet alleen een mooie interface zien; de auteurs betogen dat geavanceerde statistische methoden niet achter een muur van computercode opgesloten zouden moeten blijven. Door deze instrumenten in JASP te integreren, suggereren de auteurs dat onderzoekers, docenten en studenten zich nu kunnen concentreren op het interpreteren van de wetenschap in plaats van op het debuggen van de code. De software genereert de code op de achtergrond, dus als je wilt leren, kun je zien hoe het gebeurt, maar als je alleen het antwoord wilt, kun je gewoon op "Run" klikken.

De auteurs zijn voorzichtig om te vermelden dat hoewel deze module een enorm gebied bestrijkt — van basisplots tot complexe multilevel modellen — het een werk in uitvoering is. Ze vermelden dat sommige functies, zoals netwerk-meta-analyse, gepland zijn voor de toekomst. Maar voor nu hebben ze succesvol aangetoond dat een gratis, open-source tool de rigoureuze, state-of-the-art methoden kan afhandelen die nodig zijn om wetenschappelijke bewijslast te synthetiseren. Ze beweren niet dat ze elk probleem in de wetenschap hebben opgelost, maar ze hebben de superbibliothecaris een veel betere gereedschapskist gegeven, een die iedereen kan oppakken en gebruiken om de waarheid in de ruis te vinden.