Applied Statistics Requires Scientific Context

Dit artikel betoogt dat de toepassing en interpretatie van statistische methoden onlosmakelijk verbonden zijn met wetenschappelijke context, en pleit daarom voor het verlaten van universele significantiedrempels ten gunste van een zorgvuldige afweging van fundamentele en kwantificeerbare contextuele factoren.

De kern

Statistiek zonder Context is als een Kaart zonder Straatnamen

Stel je voor dat statistiek een superkrachtige GPS is. Deze GPS kan je vertellen hoe waarschijnlijk het is dat je op de juiste plek bent, of dat een nieuwe route sneller is dan de oude. Maar hier is het probleem: een GPS werkt alleen goed als je weet waar je bent, waarom je reist en wat de risico's zijn van de weg die je kiest.

Dit is precies wat het artikel van Ashley Naimi wil zeggen: Statistiek werkt niet in een vacuüm. Je kunt niet zomaar een getal (zoals een p-waarde) uitrekenen en zeggen: "Klaar, het is waar!" zonder te kijken naar de echte wereld waar die cijfers vandaan komen.

Hier is een simpele uitleg van de belangrijkste punten, met een paar creatieve vergelijkingen.

1. De Twee Soorten "Context"

De auteur zegt dat mensen vaak vergeten dat "context" twee dingen betekent:

• De onzichtbare regels: Dit zijn de achtergrondveronderstellingen. Denk hieraan als de fundering van een huis. Als je de fundering niet controleert (bijvoorbeeld: is het land stabiel? Zijn de materialen goed?), dan maakt het niet uit hoe mooi de dakpannen zijn (de statistische berekening). Als de fundering scheef staat, stort het hele huis in.
• De meetbare details: Dit zijn dingen zoals hoe groot de groep mensen is of hoe groot het effect is. Dit is meer als de afmetingen van de kamers.

Het artikel waarschuwt: als je alleen naar de kamers kijkt (de cijfers) en vergeet dat de fundering misschien rot is (de wetenschappelijke context), ben je in de problemen.

2. De P-waarde is geen Vuurwerk, maar een Afstandsmeter

Vaak wordt de p-waarde gezien als een lichtje dat aangeeft: "Ja, dit is waar!" of "Nee, dit is niet waar!". Naimi zegt dat dit verkeerd is.

Stel je voor dat je een afstandsmeter hebt. Je meet hoe ver je huidige data afstaat van een "ideale wereld" waarin er geen effect is (de nulhypothese).

• Als de afstand klein is, zeggen we: "Het lijkt wel alsof er niets gebeurt."
• Als de afstand groot is, zeggen we: "Hé, er is iets raars aan de hand!"

Maar hier is de valkuil: Die "ideale wereld" (de fundering) moet perfect zijn. Als je meetinstrumenten niet goed zijn kalibreren, of als je proefpersonen niet goed gemengd zijn, dan is die afstandsmeter kapot. Je kunt dan een enorme afstand meten, maar niet omdat er een nieuw effect is, maar omdat je meetlat scheef staat.

3. Twee Verhalen: Aspirine vs. Gevaarlijke Medicijnen

Om dit duidelijk te maken, gebruikt de auteur twee voorbeelden die als nachtmerrie en droom kunnen worden gezien:

Verhaal A: Aspirine voor zwangerschap (De "Veilige" Route)
Stel, je wilt weten of een goedkoop, veilig middel (aspirine) helpt tegen miskramen.

• Het risico: Als je denkt dat het werkt, terwijl het niet werkt (een fout), is dat jammer, maar niet dodelijk. Mensen nemen het toch al.
• De strategie: Je kunt hier een iets ruimer toetsingscriterium gebruiken. Het is alsof je bij het kopen van een nieuwe fiets een beetje meer risico neemt; als hij niet werkt, is het niet het einde van de wereld. Je kunt met minder mensen testen en toch een antwoord krijgen.

Verhaal B: Een nieuwe, krachtige medicijn (De "Gevaarlijke" Route)
Nu stel je je een nieuw medicijn voor tegen een ernstige ziekte, maar het heeft zware bijwerkingen (zoals hartproblemen of kanker).

• Het risico: Als je denkt dat dit medicijn werkt, terwijl het niet werkt, en mensen gaan het slikken, kunnen ze ernstig ziek worden of sterven.
• De strategie: Hier moet je extreem voorzichtig zijn. Je mag geen enkele fout maken. Je moet een heel hoge standaard hanteren (een heel lage p-waarde). Het is alsof je een luchthavenbeveiliging hebt: je wilt geen enkele onbekende persoon doorlaten, zelfs als dat betekent dat je 100 onschuldige mensen moet controleren.

De les: Je kunt niet voor beide situaties dezelfde "standaard" gebruiken. De wetenschap moet bepalen hoe streng de regels zijn, niet de statistiek.

4. Waarom de "Super-Strikte" Regels in de Fysica en Genetica Wél Werken

Je vraagt je misschien af: "Waarom gebruiken wetenschappers in de deeltjesfysica (zoals bij het vinden van het Higgs-boson) of in genetica wel zulke extreem strenge regels?"

Het is niet alleen omdat ze "strakke cijfers" gebruiken. Het is omdat ze een gigantisch veiligheidsnet hebben gebouwd.

• In de deeltjesfysica bouwen ze jarenlang aan hun apparatuur, testen ze alles, en laten ze onafhankelijke teams dezelfde data controleren voordat ze iets "ontdekken".
• Ze gebruiken die strenge regels pas op het allerlaatste moment, na al die andere checks.

Het is alsof je een gouden medaille wilt winnen. Je kunt niet alleen zeggen "Ik heb de snelste tijd". Je moet eerst controleren: zat je op de juiste baan? Was de wind niet te hard? Was de startpistool goed? Was er geen doping? Pas als alles klopt, telt die tijd. De strenge statistische regel is slechts het laatste slot op de deur, niet de enige beveiliging.

5. De Conclusie: Er is geen "Korte Koppie"

De auteur concludeert dat we moeten stoppen met het idee dat er één universele regel is voor alle wetenschap (zoals "alles moet onder de 0,05 zijn").

Statistiek is geen automatische machine die antwoorden spitst. Het is meer zoals koken.

• Je kunt een recept volgen (de statistische methode).
• Maar je moet weten of je verse ingrediënten hebt (de data kwaliteit).
• Je moet weten of je voor een hongerig kind of een fijnproever kookt (de wetenschappelijke context).
• En je moet weten of het gerecht gezond of ongezond is voor de gasten (de risico's).

Als je blindelings het recept volgt zonder naar de ingrediënten of de gasten te kijken, krijg je misschien een gerecht dat er mooi uitziet, maar dat niemand kan eten.

Kortom:
Wetenschappers moeten hun eigen "informatie" gebruiken. Ze moeten nadenken over de context, de risico's en de kwaliteit van hun data. Er is geen magische knop of een "koninklijke weg" die je automatisch naar de waarheid brengt. Je moet zelf de weg vinden, met een goed kompas en een scherp oog voor de omgeving.

Technische samenvatting

Probleemstelling

Het artikel adresseert een langdurige spanning binnen de wetenschappelijke gemeenschap over de rol van "wetenschappelijke context" bij de toepassing van statistische methoden en de interpretatie van resultaten. Hoewel de term "wetenschappelijke context" vaak wordt aangehaald, is deze vaag en ongedefinieerd, wat leidt tot ambiguïteit in statistische hervormingsdiscussies.

De kern van het probleem is dat statistische methoden (zoals p-waarden en significantietrsholds) vaak worden toegepast als mechanische, contextloze tools. Er bestaat een misvatting dat het vaststellen van een universele drempelwaarde (bijv. $p < 0,05$) voldoende is voor geldige wetenschappelijke inferentie. Naimi betoogt dat dit een valkuil is: zonder diepgaande kennis van de onderliggende wetenschappelijke aannames en de specifieke context van het onderzoek, kunnen statistische tools leiden tot ongeldige conclusies, ongeacht hoe strikt de numerieke drempels zijn.

Methodologie en Theoretisch Kader

Naimi gebruikt een combinatie van theoretische analyse en casestudies om haar argument te onderbouwen:

1. Geometrische interpretatie van de p-waarde:
   De auteur hanteert een recent ontwikkeld raamwerk waarin de p-waarde wordt gedefinieerd als een maat voor divergentie (afstand) tussen de geobserveerde data ($z$) en een "modelmanifold" ($M$).

   • De set $M$ bestaat niet alleen uit de nulhypothese ($H_0$), maar uit een conjunctie van alle aannames die nodig zijn om het model te laten gelden (bijv. randomisatie, blinding, verlies bij follow-up dat volledig willekeurig is, etc.).
   • De p-waarde meet dus de onverenigbaarheid tussen de data en het hele model, niet alleen de testhypothese. Als de p-waarde laag is, kan dit betekenen dat de hypothese fout is, maar ook dat een van de andere aannames in $M$ (de context) niet klopt.

2. Twee interpretaties:

   • Neo-Fisheriaans: De p-waarde als een continu maatstaf van bewijs (divergentie).
   • Neyman-Pearson: De p-waarde als een beslissingscriterium (verwerpen of niet verwerpen van $M$) gebaseerd op een vooraf vastgestelde foutmarge ($\alpha$).

3. Casestudies:
   De auteur analyseert twee gerandomiseerde gecontroleerde trials (RCT's) om te illustreren hoe context de keuze voor statistische strategieën beïnvloedt:

   • EAGeR Trial (Aspirine en zwangerschapsverlies): Een studie met lage risico's en een lange geschiedenis van klinisch gebruik, wat een hogere tolerantie voor Type I-fouten (vals-positieven) rechtvaardigt.
   • Tofacitinib Trial (Ankyloserende spondylitis): Een studie met een nieuw medicijn en ernstige bijwerkingen (kanker, infecties), wat een zeer lage tolerantie voor Type I-fouten vereist.

4. Vergelijking met succesvolle velden:
   Analyse van Genoomwijd Associatieonderzoek (GWAS) en High Energy Particle Physics (HEP), waar zeer lage significantiedrempels ($5 \times 10^{-8}$ en $5\sigma$) succesvol zijn, maar alleen omdat ze worden ondersteund door uitgebreide validatieprocedures.

Belangrijkste Bijdragen en Resultaten

1. De onvolledigheid van "data-gebaseerde context"
Naimi onderscheidt twee soorten context:

• Substantiële context: De fundamentele, vaak onzichtbare aannames over de werkelijkheid (bijv. of blinding echt werkte, of er geen systematische meetfouten zijn).
• Kwantificeerbare context: Output van datafuncties (bijv. effectgrootte, steekproefomvang).
  De auteur betoogt dat het reduceren van context tot alleen effectgroottes of steekproefgrootte ontoereikend is voor robuuste inferentie. De geldigheid van de statistiek hangt af van de eerste categorie (de substantiële aannames).

2. De valkuil van het aanpassen van drempels zonder validatie
In het voorbeeld van de tofacitinib-trial wordt aangetoond dat het verlagen van de significantiedrempel (bijv. van 0,05 naar 0,001) het probleem van mogelijke "functionele onblinding" (waarbij patiënten door bijwerkingen weten welke groep ze in zitten) niet oplost. Als de verwachtingseffecten (placebo-effect door onblinding) de fysiologische effecten overschaduwen, leidt een strengere test slechts tot sterkere bewijzen voor het verkeerde hypothese (een Type III-fout).

3. De rol van validatie in GWAS en HEP
De succesvolle toepassing van extreem lage drempels in GWAS en deeltjesfysica wordt niet toegeschreven aan de drempels zelf, maar aan de "validatie-gauntlet" die eraan voorafgaat en hen omringt. Dit omvat:

• Rigoureuze kwaliteitscontrole en imputatie.
• Het uitsluiten van alternatieve verklaringen (confounding, meetfouten).
• Replicatie over onafhankelijke cohorts en methoden.
• Blinde analyseprotocollen.
  Zonder deze contextuele validatie zouden de lage drempels nutteloos zijn.

4. Afwijzing van universele drempels
Het artikel concludeert dat het streven naar een universele significantiedrempel voor alle wetenschappen moet worden opgegeven. Er is geen "koninklijke weg" (geen mechanische oplossing) voor statistische induktie.

Significantie en Conclusie

De belangrijkste boodschap van het artikel is dat statistische geldigheid inherent afhankelijk is van wetenschappelijke context.

• Geen mechanische oplossing: Er bestaat geen checklist of algoritme dat de noodzaak van "informed judgement" (geïnformeerd oordeel) vervangt. Statistiek moet worden gezien als een onderdeel van een bredere synthese van ontologische, epistemologische en axiologische overwegingen.
• Vervanging van de focus: In plaats van te focussen op het veranderen van de p-waarde drempels (de "reforme" van de statistiek), moeten onderzoekers zich richten op het begrijpen en valideren van de aannames in het model ($M$) die specifiek zijn voor hun onderzoeksgebied.
• Aanbeveling: De wetenschap moet zich bewegen naar domeinspecifieke richtlijnen (zoals CONSORT, STRATOS) die als "cognitieve dwangmiddelen" dienen, maar uiteindelijk moet de onderzoeker de nuance van de context begrijpen om de geldigheid van hun inferentie te waarborgen.

Kortom: Statistische tools zijn onmisbaar, maar hun toepassing en interpretatie vereisen een diepgaand begrip van de wetenschappelijke realiteit die ze proberen te modelleren. Zonder deze context is statistische inferentie een lege formaliteit.