How accurate are Bayes factor-based null hypothesis tests? A simulation study
Deze simulatiestudie valideert de nauwkeurigheid van op de Bayesfactor gebaseerde nulhypothesetests in veelvoorkomende psychologische designs met behulp van de brms- en bridgesampling-pakketten, waarbij wordt aangetoond dat schattingen betrouwbaar zijn wanneer er geen algoritmische waarschuwingen worden gegeven, maar dat ze genegeerd moeten worden wanneer dergelijke waarschuwingen verschijnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen: bewijst een nieuwe aanwijzing echt dat je verdachte schuldig is, of is het gewoon een toevalstreffer? In de wereld van de wetenschap, vooral in vakgebieden zoals de psychologie en de taalkunde, staan onderzoekers vaak voor precies dezelfde vraag. Ze hebben data, en ze hebben twee concurrerende verhalen: één waarin een specifiek effect bestaat (het "schuldige" verhaal) en één waarin er niets aan de hand is (het "onschuldige" verhaal). Om te beslissen welk verhaal beter is, gebruiken wetenschappers een wiskundig hulpmiddel genaamd een Bayesfactor. Beschouw de Bayesfactor als een superprecieze weegschaal die het gewicht van het bewijs afweegt. Als de weegschaal zwaar doorslaat naar het "schuldige" verhaal, voelt de onderzoeker zich zelfverzekerd; als de weegschaal in evenwicht blijft, weet hij dat het bewijs zwak is.
Het berekenen van het exacte gewicht op zo'n weegschaal is echter alsovergelijkbaar met het proberen te tellen van elk individueel zandkorreltje op een strand terwijl je op een bewegende boot staat. Het is wiskundig gezien onmogelijk om dit perfect te doen, dus gebruiken wetenschappers slimme computeraanpakken om een benadering te krijgen. De grote zorg is: hoe dicht ligt die benadering bij de waarheid? Als de gok van de computer ernaast zit, kan de detective een onschuldige veroordelen of een schuldige vrij laten gaan. Dit is precies het probleem dat wordt aangepakt in een nieuwe studie door Daniel J. Schad en Martin Modrák. Zij wilden weten of de populaire computertools die wetenschappers gebruiken om deze Bayesfactoren te wegen, daadwerkelijk accuraat zijn, of dat ze stiekem defect zijn op een manier die tot verkeerde conclusies kan leiden.
Om dit te testen, keken de auteurs niet alleen naar echte data; ze bouwden een "simulatie-laboratorium". Stel je voor dat ze duizenden nep-experimenten creëerden waarvan ze de uitkomst vooraf al kenden. Ze genereerden nepdata met een specifieke set regels, en vroegen de computertools vervolgens om de Bayesfactor te berekenen om te zien of de conclusie van het hulpmiddel overeenkwam met de waarheid die ze vooraf hadden geplaatst. Ze richtten zich op drie zeer veelvoorkomende typen experimentele ontwerpen die worden gebruikt in de psychologie en de taalkunde: een eenvoudig 2x2-ontwerp, een ontwerp waarbij proefpersonen en items worden gemengd (zoals verschillende mensen die verschillende woorden lezen), en een complexere versie van die mix.
De resultaten waren een verhaal van twee zeer verschillende uitkomsten, afhankelijk van een klein detail: een waarschuwingsmelding. Wanneer de computerprogramma's hun berekeningen uitvoerden en geen waarschuwingsmelding gaven, waren de Bayesfactoren spot-on. De weegschaal was perfect gekalibreerd; de schatting van het hulpmiddel kwam bijna exact overeen met de waarheid. Het was alsof de schaal van de detective perfect werkte en elke keer een betrouwbaar oordeel gaf.
Echter, het verhaal veranderde drastisch wanneer de software wel een waarschuwing gaf. In de simulaties waar de computer zei: "Hé, ik heb moeite met het schatten van dit getal," werden de resultaten onbetrouwbaar. De Bayesfactoren waren niet langer accuraat; ze waren bevooroordeeld en extreem variabel. Soms overdreef het hulpmiddel het bewijs, waardoor een zwak effect sterk leek (een "liberale" bias), en op andere momenten werd een echt effect juist onderschat, waardoor het leek alsof er niets aan de hand was (een "conservatieve" bias). De auteurs ontdekten dat de computer in deze waarschuwingsgevallen in feite aan het gokken was met veel ruis, en dat de resultaten niet vertrouwd konden worden.
Interessant genoeg probeerden de auteurs dit te verhelpen door de computer harder te laten werken—door meer berekeningsstappen uit te voeren (van 10.000 naar 40.000 iteraties). Hoewel dit een klein beetje hielp, stopte het de waarschuwingen niet en loste het de bias niet volledig op. De studie suggereert dat het probleem niet alleen gaat over het doen van meer wiskunde; het gaat erom dat de vorm van de data te ingewikkeld is voor de huidige shortcuts om er soepel mee om te gaan.
Dus, wat betekent dit voor de toekomst van de wetenschap? De auteurs concluderen dat Bayesfactoren voor de geteste veelvoorkomende experimentele ontwerpen een geweldig hulpmiddel zijn—maar alleen als de computer stil blijft. Als de software een waarschuwing geeft, moeten de onderzoekers stoppen en het resultaat niet vertrouwen. Het is een beetje zoals autorijden: als het "Check Engine"-lampje uit is, kun je met vertrouwen rijden. Maar als dat lampje knippert, moet je niet gewoon de waarschuwing negeren en doorrijden met hoge snelheid; je moet aan de kant gaan staan en het probleem oplossen voordat je de snelheidsmeter weer vertrouwt. De studie dient als een cruciale herinnering dat in het hoogstaande spel van wetenschappelijke ontdekkingen, het letten op de waarschuwingssignalen van de computer net zo belangrijk is als de data zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.