📊 statistics

Statistical Compatibility, Refutational Information, and Acceptability

Dit artikel presenteert een interpretatief kader voor frequentistische P-waarden en S-waarden als gradaties van compatibiliteit en weerleggende informatie binnen een beschrijvend perspectief, waarbij de uiteindelijke acceptatie van een model niet alleen afhangt van de data, maar ook van contextuele factoren en de morele verantwoordelijkheid van de analist.

Oorspronkelijke auteurs: Alessandro Rovetta

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alessandro Rovetta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Gidsje voor Statistiek: Waarom een "Kleine P-waarde" geen Einde van de Wereld is

Stel je voor dat statistiek een soort rechter is die moet oordelen over een verdachte (een hypothese). In de traditionele wereld van statistiek wordt vaak gezegd: "Als de verdachte een heel klein kansje heeft om onschuldig te zijn, dan is hij schuldig."

Alessandro Rovetta zegt in dit artikel: "Wacht even, dat is niet helemaal juist. We moeten de taal en de logica van die rechter iets aanpassen."

Hier zijn de belangrijkste punten, vertaald naar begrijpelijke beelden:

1. De "Fictionele Wereld" (Het Model)

Stel je voor dat je een bordspel speelt met heel strikte regels. In dit spel is het model.

De regels zijn vastgelegd (de aannames).
Je hebt een specifieke theorie over hoe het spel verloopt (de hypothese).
Als je de regels volgt, kun je berekenen hoe vaak bepaalde uitkomsten zouden moeten vallen.

Rovetta zegt: Een P-waarde vertelt je alleen hoe goed je huidige uitkomst past bij de regels van dit specifieke spel. Het zegt niets over of de regels zelf waar zijn in het echte leven. Het is alsof je zegt: "In dit bordspel is het heel onwaarschijnlijk om 10 keer achter elkaar een 6 te gooien." Dat is waar, maar het betekent niet dat de dobbelsteen gebroken is; het kan gewoon toeval zijn.

2. "Onverenigbaarheid" is een gevaarlijk woord

Veel mensen zeggen: "De data zijn onverenigbaar met de theorie."
Rovetta waarschuwt hier voor. Het woord "onverenigbaar" klinkt alsof twee dingen elkaar volledig uitsluiten, alsof ze niet naast elkaar kunnen bestaan.

De analogie: Stel je voor dat je een regenjas draagt en het regent. Dat is "verenigbaar". Maar als je een zonnebril draagt en het regent, is dat misschien "ongebruikelijk", maar het is niet onmogelijk.
Een kleine P-waarde betekent alleen dat iets ongebruikelijk is binnen de regels van het spel, niet dat het onmogelijk is. Het woord "onverenigbaar" suggereert een logische fout, terwijl het vaak gewoon een zeldzame gebeurtenis is.

3. De S-waarde: Het "Muntstuk" van de informatie

In plaats van alleen naar de P-waarde te kijken (die soms verwarrend is), introduceert Rovetta de S-waarde.

De analogie: Stel je voor dat je een muntstuk gooit.
- Als je 1 keer kop gooit, is dat niet zo spannend.
- Als je 10 keer achter elkaar kop gooit, denk je: "Hé, dit muntstuk is misschien oneerlijk!"
De S-waarde vertelt je hoeveel "informatie" je hebt verzameld om te denken dat het muntstuk oneerlijk is. Het is als het aantal keer dat je het muntstuk moet gooien om tot die conclusie te komen.
- Een S-waarde van 3 betekent: "Dit is alsof je 3 keer achter elkaar kop gooit."
- Een S-waarde van 10 betekent: "Dit is alsof je 10 keer achter elkaar kop gooit."
Dit maakt het makkelijker om te zien of iets echt opmerkelijk is, zonder in de valkuil van de P-waarde te trappen.

4. De Rechter moet ook kijken naar de "Kosten" (Acceptabiliteit)

Dit is misschien wel het belangrijkste punt. Een kleine P-waarde (of een hoge S-waarde) betekent niet automatisch dat je de theorie moet verwerpen. Je moet kijken naar de context.

De analogie: Stel je bent een arts.
- Scenario A: Een patiënt krijgt een nieuwe pil en krijgt een lichte hoofdpijn. De statistiek zegt: "Dit is zeldzaam als de pil niets doet." Moet je de pil verbieden? Misschien niet, als de hoofdpijn heel mild is en de pil levensreddend is voor andere ziektes.
- Scenario B: Dezelfde patiënt krijgt een ernstige allergische reactie. Dezelfde statistiek (zeldzaam als de pil niets doet). Moet je de pil verbieden? Ja, absoluut! De "kosten" van een fout zijn hier veel hoger.

Rovetta zegt: De statistiek geeft je alleen de informatie (hoe zeldzaam is dit?). Maar jij, de onderzoeker, moet beslissen of de theorie nog steeds acceptabel is. Dat hangt af van wat er gebeurt als je een fout maakt. Is het erg? Of niet erg?

5. Verassing vs. Gelovig worden

Soms wordt de S-waarde "surprisal" (verassing) genoemd. Rovetta maakt een belangrijk onderscheid:

Frequentistische verrassing: "Wow, dit gebeurde zelden in mijn spelletje." (Je verandert je geloof niet per se).
Bayesiaanse verrassing: "Wow, dit gebeurde zelden, dus ik moet mijn geloof in de theorie aanpassen."

Rovetta waarschuwt: In de frequentistische wereld (het spelletje) zeggen we alleen: "Dit is een rare uitkomst." We zeggen niet direct: "De theorie is fout." Dat laatste is een beslissing die je buiten het spel moet nemen, gebaseerd op alle andere feiten die je kent.

6. De Grootte van de Studie

Tot slot zegt Rovetta:

Eén enkel onderzoek moet niet proberen om de "ultieme waarheid" te vinden of een definitief oordeel te vellen. Het moet gewoon duidelijk vertellen: "Dit is wat we zagen, en dit is hoe goed het past bij onze theorie."
De grote puzzel: Pas als je duizenden onderzoeken samenbrengt (zoals in een meta-analyse), kun je pas echt zeggen of een theorie "acceptabel" is voor de wereld.

Samenvatting in één zin:

Statistiek is geen magische knop die "Waar" of "Onwaar" aangeeft; het is een weegschaal die aangeeft hoe zeldzaam een uitkomst is binnen een bepaald verhaal, en het is aan de mens (de onderzoeker) om te beslissen of dat verhaal nog steeds bruikbaar is, afhankelijk van wat er op het spel staat.

Titel: Statistische Compatibiliteit, Refutatoire Informatie en Aanvaardbaarheid

Auteur: Alessandro Rovetta (ICAMSS, Italië)

1. Het Probleem

Het artikel adresseert de fundamentele misinterpretaties en conceptuele verwarring rondom frequentistische statistische maatstaven, met name de P-waarde en de S-waarde (surprisal). De kernproblemen zijn:

De "Incompatibiliteits" valkuil: De taal van "incompatibiliteit" (onverenigbaarheid) tussen data en een model wordt vaak gebruikt om kleine P-waarden te beschrijven. Dit suggereert een logische onmogelijkheid of strikte inconsistentie, terwijl frequentistische modellen per definitie een "fictieve wereld" zijn waarin alle uitkomsten binnen het bereik van de verdeling mogelijk zijn.
De Inversie-fout: Er bestaat een risico dat P-waarden worden geïnterpreteerd als de waarschijnlijkheid dat de hypothese onwaar is (een Bayesiaanse interpretatie), in plaats van de waarschijnlijkheid van de data onder de hypothese.
Vervaging van grenzen: Het gebruik van gradaties in termen als "incompatibiliteit" creëert een conceptueel hybride dat zowel gradueel als dichotoom is, wat leidt tot overmoedige conclusies.
Ontbrekende context: Frequentistische maatstaven worden vaak losgekoppeld van de praktische context, zoals subject-specifieke kennis, data-kwaliteit, en de consequenties van beslissingen (verliesfuncties).

2. Methodologie en Theoretisch Kader

Rovetta hanteert een beschrijvend frequentistisch perspectief, gebaseerd op het werk van Greenland, Cox en Hinkley. De methodologische aanpak omvat:

Ideale Werelden: Statistische analyse wordt geframeerd binnen "ideale, kleine fictieve werelden" gedefinieerd door een set aannames ( $A$ ) en een specifieke doelhypothese ( $H_i$ ). Binnen deze wereld wordt het model $A + H_i$ voorlopig als waar aangenomen.
Definitie van P-waarden: De P-waarde wordt strikt gedefinieerd als de waarschijnlijkheid om, onder het model $A + H_i$ , een statistisch resultaat te verkrijgen dat ten minste even extreem is als het waargenomen resultaat.
Conceptuele Scheiding: Het artikel maakt een scherpe scheiding tussen:
1. Model-gebaseerde beschrijving: Wat zegt het model over de data? (Interne logica).
2. Praktische aanvaardbaarheid: Is het model bruikbaar voor een specifiek doel in de realiteit? (Externe oordeelsvorming).
Linguïstische Analyse: Er wordt een analyse uitgevoerd van de taalgebruik (o.a. via PubMed-data) om te tonen dat termen als "significant" vaak gradueel worden gebruikt, terwijl "niet-significant" of "incompatibel" vaak als een absolute negatie wordt opgevat, wat tot verwarring leidt.

3. Belangrijkste Bijdragen

A. Herdefinitie van P-waarden als Maatstaf voor Compatibiliteit

De auteur pleit ervoor om P-waarden te interpreteren als een gegradeerde index van compatibiliteit tussen het waargenomen resultaat en de voorspellingen van het model.

Een hoge P-waarde betekent hoge compatibiliteit (typisch resultaat).
Een lage P-waarde betekent lage compatibiliteit (atypisch resultaat), maar niet logische onmogelijkheid.
De term "incompatibiliteit" wordt afgeraden vanwege de etymologische lading van "totaal conflict" en het risico op logische inversie.

B. S-waarden als Refutatoire Informatie

De S-waarde ( $s = -\log_2 p$ ) wordt herinterpreteerd als een maatstaf voor refutatoire informatie (in bits) tegen de aanvaardbaarheid van een hypothese, niet tegen de waarheid van het model zelf.

Additiviteit: In tegenstelling tot P-waarden, behouden S-waarden informatie op een additieve schaal. Een verschil van 1 bit vertegenwoordigt altijd dezelfde hoeveelheid extra informatie, ongeacht de locatie op de schaal.
Intuïtieve Benchmark: S-waarden kunnen worden vertaald naar een fysiek experiment (bijv. het aantal keren dat je een munt opgooit en steeds "kop" krijgt), wat de zeldzaamheid van een resultaat in een begrijpelijke context plaatst.

C. Het Concept van "Aanvaardbaarheid" (Acceptability)

Het artikel introduceert een cruciale stap buiten het statistische model: de oordeelsvorming over aanvaardbaarheid.

Een model is "aanvaardbaar" als het bruikbaar is voor een specifiek doel, rekening houdend met:
- Data-model compatibiliteit.
- Onderwerpspecifieke kennis en causaliteit.
- Data-kwaliteit.
- Verliesfuncties: De consequenties van fouten (bijv. in de geneeskunde weegt het risico op een ernstige bijwerking zwaarder dan een lichte hoofdpijn).
De beslissing om een model te verwerpen is dus geen puur statistisch feit, maar een menselijk oordeel beïnvloed door competentie, intenties en morele waarden van de analist.

D. Distinctie tussen Soorten "Verrassing" (Surprise)

Het artikel onderscheidt drie concepten van verrassing:

Shannon-type (Frequentistisch): Een maatstaf voor hoe onwaarschijnlijk een uitkomst is binnen een vastgesteld model (geen geloofsupdate).
Bayesiaanse Verrassing: Een maatstaf voor hoe sterk een observatie prior-geloof moet bijstellen.
Alledaagse Verrassing: Een psychologische reactie op een ongebruikelijk evenement.
De auteur waarschuwt dat het gebruik van "Shannon-verrassing" in toegepaste velden het risico op de inversie-fout vergroot en pleit voor voorzichtigheid met deze terminologie.

4. Resultaten en Conclusies

Taalgebruik: Het gebruik van termen als "graduele incompatibiliteit" wordt afgeraden; "graduele compatibiliteit" is conceptueel veiliger en nauwkeuriger.
Interpretatie van S-waarden: S-waarden moeten worden gezien als een specifieke vorm van informatie die bijdraagt aan een breder oordeel over aanvaardbaarheid, niet als een definitief bewijs tegen de waarheid van een hypothese.
Contextafhankelijkheid: Er bestaat geen universele schaal voor het verwerpen van hypotheses. Dezelfde hoeveelheid refutatoire informatie kan leiden tot verschillende beslissingen afhankelijk van de verliesfunctie (bijv. medicinale veiligheid vs. mildere symptomen).
Rol van de Analist: De evaluatie van aanvaardbaarheid is een actief menselijk proces, niet een passief resultaat van een berekening.

5. Significatie en Implicaties

Dit artikel heeft belangrijke implicaties voor de statistische praktijk, vooral in de geneeskunde en epidemiologie:

Voorzichtigheid in Conclusies: Het bepleit een verschuiving van het zoeken naar "statistische significantie" naar het beschrijven van de relatie tussen data en model, en het expliciet maken van de contextuele oordelen over aanvaardbaarheid.
Evidentie Synthese: Voor individuele studies, vooral die zonder uitgebreide context, is het doel transparante beschrijvingen van data-model relaties te bieden, in plaats van te proberen definitieve beslissingen te nemen. Dit ondersteunt de cumulatieve aard van wetenschappelijke inferentie (bijv. in meta-analyses).
Verantwoordelijkheid: Het legt de verantwoordelijkheid bij de analist om de beperkingen van frequentistische maatstaven te erkennen en deze te integreren met domeinkennis en ethische overwegingen.

Kortom, Rovetta biedt een raamwerk dat frequentistische statistiek "ontmythologiseert" door te benadrukken dat P- en S-waarden slechts beschrijvende maatstaven zijn binnen een fictief model, en dat de daadwerkelijke wetenschappelijke en praktische waarde ligt in het menselijke oordeel over de aanvaardbaarheid van dat model in de realiteit.