The dangers of using three-number summaries to estimate unknown standard deviations: sensitivity analyses and some possible improvements incorporating shape
Dit artikel toont aan dat driegetal-samenvattingen onvoldoende zijn voor het betrouwbaar schatten van standaarddeviaties in meta-analyses, wat leidt tot potentieel ongeldige inferenties, en stelt een sensitiviteitsanalyse-raamwerk voor naast een nieuwe op de geschaalde Beta-verdeling gebaseerde estimator die informatie over de datavorm incorporeert om de nauwkeurigheid te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen over de lengte van een groep mensen. Je hebt niet de lijst met de lengte van elke persoon. In plaats daarvan heb je slechts een klein briefje van drie regels gekregen van een getuige. Dit briefje vertelt je drie dingen:
- De lengte van de kleinste persoon.
- De lengte van de persoon precies in het midden (de mediaan).
- De lengte van de langste persoon.
Of, misschien geeft het briefje je alleen de middelste persoon en de "middelste 50%" (het bereik tussen de 25e en 75e percentielen).
Het Probleem: De "Normale" Valstrik
Jarenlang hebben onderzoekers geprobeerd de gemiddelde lengte en de spreiding (standaarddeviatie) van de hele groep te raden met behulp van slechts deze drie getallen. De meesten van hen hebben hiervoor een "magische formule" gebruikt die ervan uitgaat dat ieders lengte een perfecte, symmetrische klokcurve volgt (een normale verdeling).
Dit artikel betoogt dat het gebruiken van deze formule gelijk staat aan het proberen te raden van de vorm van een wolk door alleen naar de schaduw ervan te kijken. Als de wolk eigenlijk een platte pannenkoek, een grillige berg of een U-vormige vallei is, zal de "klokcurve"-formule je een volkomen fout antwoord geven.
De auteurs laten zien dat zelfs als de drie getallen er perfect symmetrisch uitzien, de werkelijke data erachter op tientallen verschillende manieren gevormd kan zijn.
- De Uniforme Valstrik: Stel je een klaslokaal voor waar elke student exact dezelfde lengte heeft. De "spreiding" is nul. Maar als je de standaardformule gebruikt op de min/max/mediaan, kan het je vertellen dat de studenten enorm variëren.
- De U-vormige Valstrik: Stel je een kamer voor vol met zeer kleine mensen en zeer grote mensen, maar bijna niemand in het midden. De standaardformule zou kunnen denken dat iedereen gemiddeld is, waardoor de extreme spreiding volledig wordt gemist.
Het Gevaar: Waarom het Ertoe Doet
Waarom is het fout inschatten van de "spreiding" belangrijk? Denk aan het richten van een kanon.
- Als je de spreiding kleiner inschat dan deze werkelijk is, vliegt je kanonsbal (je statistische toets) te ver. Je denkt misschien dat je een "wonderkuur" of een "enorm verschil" hebt ontdekt, terwijl het slechts ruis is. Je claimt een resultaat te hebben dat significant is, terwijl dat niet zo is.
- Als je de spreiding groter inschat dan deze werkelijk is, valt je kanonsbal te kort. Je mist misschien een echte ontdekking omdat je denkt dat de data te chaotisch is om te vertrouwen.
Het artikel laat zien dat door deze drie-getallen-samenvattingen te gebruiken zonder de vorm te controleren, onderzoekers vaak blind vuren, wat leidt tot foutieve conclusies.
De Oplossing: Gevoeligheidsanalyse (Het "Wat als?" Spel)
In plaats van één formule te kiezen en te hopen, stellen de auteurs voor om een spel van "Wat als?" te spelen, genaamd een Gevoeligheidsanalyse.
Stel je voor dat je een chef bent die een soep proeft. In plaats van alleen het zoutgehalte te raden, proef je de soep uitgaande van tomatensoep, dan kippensoep, en dan groentesoep.
- Als de soep ongeacht je aanname zout smaakt, kun je er zeker van zijn.
- Als het zoutgehalte sterk verandert afhankelijk van of je uitgaat van tomaten- of kippensoep, weet je dat je niet genoeg informatie hebt.
De auteurs bieden een nieuw hulpmiddel (een webapp) waarmee onderzoekers dit "Wat als?" spel kunnen spelen. Ze testen de data tegen veel verschillende vormen (klokcurves, U-vormen, scheve heuvels) om te zien welke vormen zelfs maar mogelijk zijn gegeven de drie getallen. Dit helpt onderzoekers om te zeggen: "We kunnen het niet met zekerheid zeggen, maar het antwoord ligt waarschijnlijk tussen X en Y," in plaats van één enkel, potentieel fout getal te geven.
De Nieuwe Truc: Gebruik de "Hekken" (Populatiegrenzen)
Soms kennen onderzoekers de "hekken" van de data.
- Voorbeeld: Als je de leeftijd van volwassenen in een studie onderzoekt, weet je dat de minimumleeftijd 18 is en de maximumleeftijd 100. Niemand is 5 of 150.
- Voorbeeld: Als je een toetsresultaat onderzoekt van 0 tot 100, weet je dat de grenzen 0 en 100 zijn.
Het artikel introduceert een nieuwe methode met behulp van een Geschaalde Beta-verdeling. Denk aan dit als een flexibele rubberen band. Als je de hekken kent (het minimum en maximum), kun je deze rubberen band aanpassen aan de drie getallen die je hebt. Omdat de rubberen band weet dat hij niet voorbij de hekken kan gaan, kan hij de "spreiding" veel nauwkeuriger raden dan de oude methoden, die beweren dat de data zich in de eeuwigheid kan voortzetten.
De Kern van het Verhaal
Het artikel sluit af met drie eenvoudige regels voor onderzoekers:
- Raad de spreiding niet als je slechts drie getallen hebt. Als dat kan, analyseer dan de medianen direct in plaats van te proberen ze om te zetten naar gemiddelden.
- Speel het "Wat als?" spel. Controleer voordat je publiceert of je antwoord drastisch verandert als je aanneemt dat de data een heuvel, een vallei of een rechte lijn is. Als dat zo is, geef dan de onzekerheid toe.
- Gebruik de hekken. Als je de absolute minimum- en maximumwaarden weet (zoals leeftijdsgrenzen of toetsgrenzen), gebruik ze dan! De nieuwe methode die deze limieten gebruikt, is veel beter in het raden van de spreiding dan de oude methoden.
Kortom: Drie getallen zijn niet genoeg om het hele verhaal te vertellen. Proberen deze in een enkel antwoord te dwingen is gevaarlijk. Verken in plaats daarvan de mogelijkheden, controleer de vorm en wees eerlijk over de onzekerheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.