📊 statistics

Sensitivity Analysis for False Discovery Rate Estimation with Published p-Values

Dit artikel biedt gesloten uitdrukkingen voor de bias en variantie van schattingen van de false discovery rate onder onzekere publicatiebias, waarmee een gevoeligheidsanalyse mogelijk wordt gemaakt voor gepubliceerde p-waarden.

Oorspronkelijke auteurs: Tianyu Cao, Sangyoon Yi, Joshua Habiger

Gepubliceerd 2026-03-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianyu Cao, Sangyoon Yi, Joshua Habiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek binnenloopt, maar je mag alleen boeken lezen die een felrode sticker hebben: "Dit is bewezen!". De bibliothecaris (de wetenschap) heeft deze stickers alleen op boeken geplakt die een p-waarde kleiner dan 0,05 hadden. Alles wat niet zo spannend was, is in de schuine kast verdwenen.

Nu wil je weten: Hoeveel van die rode stickers zijn eigenlijk nep? Ofwel: hoeveel van deze "bewezen" ontdekkingen zijn eigenlijk toeval? Dit noemen onderzoekers de False Discovery Rate (FDR).

Het probleem is dat we vaak alleen die rode stickers zien, maar niet weten hoe de bibliothecaris precies beslist welke boeken hij op de plank zet. Misschien plakt hij stickers alleen op boeken met een p-waarde van 0,04, maar negeert hij die van 0,06. Of misschien is hij nog selectiever en plakt hij stickers alleen op boeken met een p-waarde van 0,01.

Dit artikel van Cao, Yi en Habiger is als het ware een detective-gids die uitlegt hoe je de waarheid kunt achterhalen, zelfs als je niet precies weet welke regels de bibliothecaris hanteert.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Selectie-Bias"

Stel je voor dat je een visnet gebruikt om vissen te vangen. Je wilt weten hoeveel vissen in de hele oceaan er eigenlijk zijn. Maar je gebruikt een net met heel grote gaten. Je vangt alleen de grote vissen (de "significante" resultaten).

Als je nu rekent op basis van alleen je vangst, denk je misschien dat er alleen maar grote vissen in de oceaan zitten.
Maar als je net te groot is, mis je de kleine vissen. Je schatting is dan verkeerd.

In de wetenschap gebeurt dit met "p-waarden". Als onderzoekers alleen resultaten publiceren die "statistisch significant" zijn (p < 0,05), zien we een vertekend beeld. De auteurs van dit artikel zeggen: "We moeten een manier vinden om te rekenen met dit vertekende beeld, en we moeten weten hoe fout onze berekening is als we de regels van het net niet helemaal goed begrijpen."

2. De Oplossing: Een "Sensitiviteits-Test"

De auteurs hebben een wiskundige formule bedacht. In plaats van één antwoord te geven ("Het is 15% nep"), zeggen ze: "Laten we eens kijken wat er gebeurt als we verschillende veronderstellingen doen over hoe het net werkt."

Ze gebruiken een analogie met een kompas:

Stel je wilt weten hoe ver je bent van een stad.
Je hebt een kompas, maar je weet niet of het kompas een beetje scheef staat (door magnetische storingen).
In plaats van één afstand te noemen, zeggen de auteurs: "Als het kompas 5 graden scheef staat, ben je 10 km verder. Als het 10 graden scheef staat, ben je 15 km verder."
Zo kunnen beleidsmakers en onderzoekers zien: "Oké, als onze veronderstelling over de publicatieregels een beetje fout is, verandert ons antwoord dan enorm, of blijft het stabiel?"

3. De Formules: De "Rekenmachine voor Twijfel"

De kern van het artikel zijn formules die twee dingen berekenen:

De Bias (De Verrassing): Hoe ver zit onze schatting van de waarheid af? Soms is onze schatting te optimistisch (we denken dat er minder nep-resultaten zijn dan er echt zijn), en soms te pessimistisch.
De Variatie (De Onzekerheid): Hoeveel kan het antwoord schommelen als we een beetje meer of minder data hebben?

De auteurs tonen aan dat als je de regels van het "net" (de publicatiebias) verkeerd inschat, je antwoord kan schommelen.

Voorbeeld: Als je denkt dat alleen boeken met een p-waarde van 0,01 worden gepubliceerd, maar in werkelijkheid worden ook boeken van 0,04 gepubliceerd, dan is je berekening over de nep-resultaten misschien te laag.

4. Wat betekent dit voor de echte wereld?

De auteurs testen hun theorie op twee echte situaties:

Psychologie: Ze keken naar een groot project waarbij studies werden herhaald. Ze ontdekten dat hun formules precies voorspelden waarom de oorspronkelijke schattingen afweken van de echte resultaten.
Medische tijdschriften: Ze keken naar duizenden medische artikelen. Ze lieten zien dat als je aannames over de selectie verandert (bijvoorbeeld: "Misschien worden alleen de allerbeste resultaten gepubliceerd"), het aantal nep-resultaten (FDR) drastisch kan stijgen of dalen.

De Grootste Les

Het belangrijkste punt van dit artikel is niet dat ze een nieuw kompas hebben uitgevonden, maar dat ze een handleiding hebben geschreven voor als je kompas misschien niet perfect is.

Voor beleidsmakers en onderzoekers betekent dit:

"Stop met het geven van één enkel getal als antwoord op de vraag 'Hoe betrouwbaar is deze wetenschap?'. Geef in plaats daarvan een bereik van antwoorden, gebaseerd op verschillende scenario's van hoe de wetenschap selecteert wat er gepubliceerd wordt."

Het is alsof je een weersvoorspelling geeft: "Het is 20 graden, maar als de wind uit het noorden komt, wordt het 15 graden, en als hij uit het zuiden komt, 25 graden." Zo kunnen mensen zich beter voorbereiden op de onzekerheid in de wetenschap.

Kortom: Dit artikel geeft ons de tools om eerlijk te zeggen: "We weten niet precies hoe de selectie werkt, maar hier is een berekening die laat zien hoe groot de foutmarge is, afhankelijk van wat we wel of niet weten."

Probleemstelling

Er is een groeiende interesse in het schatten van de False Discovery Rate (FDR) op basis van gepubliceerde p-waarden, vaak afkomstig uit abstracts van medische tijdschriften of psychologische studies. Een fundamenteel probleem bij deze benadering is de aanwezigheid van publicatiebias: wetenschappelijke tijdschriften publiceren resultaten vaker als ze statistisch significant zijn (bijv. $p < 0.05$ ).

De huidige methoden voor FDR-schatting maken vaak specifieke aannames over het selectiemechanisme (bijvoorbeeld dat alleen $p < 0.05$ wordt gepubliceerd). Er is echter weinig formeel onderzoek gedaan naar hoe de misspecificatie van dit selectiemodel de bias (systematische fout) en variantie van de FDR-schatting beïnvloedt. Als het aangenomen selectiemodel niet overeenkomt met de werkelijkheid, kunnen FDR-schattingen misleidend zijn (te optimistisch of te conservatief). De auteurs willen deze onzekerheid kwantificeren en een methode bieden om de gevoeligheid van schattingen te analyseren.

Methodologie

De auteurs ontwikkelen een theoretisch kader om de eigenschappen van een bestaande FDR-schatting te analyseren onder willekeurige selectiemodellen.

Modellen:
- P-waarde mengselmodel: P-waarden worden gemodelleerd als een mengsel van null-hypothese ( $H_0$ ) en alternatieve hypothese ( $H_1$ ). Onder $H_0$ zijn p-waarden uniform verdeeld; onder $H_1$ volgen ze een verdeling die neigt naar kleinere waarden (bijv. Beta-verdeling).
- Selectie Kans Model (SPM): Een functie $\mu(p)$ die de kans beschrijft dat een p-waarde wordt geselecteerd (gepubliceerd). De auteurs definiëren dit als een niet-stijgende functie, waarbij kleinere p-waarden een hogere selectiekans hebben. Ze beschouwen zowel stapfuncties (bijv. $p < 0.05$ ) als continue functies (bijv. gebaseerd op Beta-verdelingen).
Post-selectie FDR Definitie:
De auteurs definiëren de Post-Selectie FDR als de verwachte proportie van valse ontdekkingen onder de geselecteerde (gepubliceerde) resultaten. Dit wordt wiskundig gelinkt aan een conditionele waarschijnlijkheid: $FDR = Pr(H_i=0 | \delta_i=1, P_i \leq \alpha)$ , waarbij $\delta_i=1$ staat voor selectie.
Schatting:
Ze gebruiken een aangepaste versie van de bekende Storey-schatting voor de proportie van null-hypothese ( $\pi_0$ ). De gepubliceerde p-waarden $p_i$ worden eerst aangepast naar $p'_i = p_i / \alpha$ . Vervolgens wordt de schatter $\hat{\pi}_0$ toegepast op deze aangepaste waarden.
Afleiding van Bias en Variantie:
Het kernpunt van de paper is het afleiden van gesloten vormen (closed-form expressions) voor de bias en variantie van deze schatter onder een willekeurig SPM.
- Bias: De auteurs tonen aan dat de bias afhangt van de discrepantie tussen het gebruikte kalibratiemodel en het werkelijke selectiemodel. Ze leiden formules af voor specifieke gevallen, zoals stapfuncties en continue Beta-achtige selectiemodellen.
- Variantie: Voor grote steekproefgroottes wordt een asymptotische benadering voor de variantie afgeleid op basis van een multivariate normale benadering van de multinomiale verdeling.

Belangrijkste Bijdragen

Generalisatie van Bias-analyse: Het artikel biedt de eerste algemene, gesloten uitdrukkingen voor de bias en variantie van een FDR-schatting wanneer het selectiemodel mogelijk verkeerd is gespecificeerd.
Ontmaskering van Bias-richting: De analyse toont aan dat de bias niet altijd positief is (zoals vaak wordt aangenomen bij de Storey-schatting). Afhankelijk van het selectiemodel kan de bias negatief zijn, wat leidt tot een onderschatting van de FDR.
Sensitiviteitsanalyse Framework: De afgeleide formules stellen onderzoekers in staat om een sensitiviteitsanalyse uit te voeren. In plaats van één puntsschatting te geven, kunnen onderzoekers een reeks FDR-schattingen rapporteren over een spectrum van mogelijke selectiemodellen (bijv. variërend in hoe streng de publicatiekans is voor p-waarden net onder de drempel).
Validatie: De theoretische resultaten worden gevalideerd met behulp van de Open Science Collaboration (2015) replicatiestudie, waar zowel originele als gerepliceerde p-waarden beschikbaar waren om de "gouden standaard" te vergelijken met de schattingen op basis van geselecteerde data.

Resultaten

Invloed van het Selectiemodel:
- Als het aangenomen selectiemodel correct is, gedraagt de schatter zich zoals verwacht (positieve bias die afneemt met toenemende power).
- Bij misspecificatie kan de bias negatief worden. Dit gebeurt bijvoorbeeld wanneer p-waarden die veel kleiner zijn dan 0.05 (bijv. $p < 0.025$ ) veel waarschijnlijker worden gepubliceerd dan p-waarden net onder de drempel (bijv. $0.025 < p < 0.05$ ). In dit geval wordt de FDR vaak ondergeschat.
Empirische Validatie:
- Toepassing op de data van Johnson et al. (2017) (psychologie replicatiestudie) toonde aan dat de afgeleide bias-formules de discrepanties tussen de schattingen op basis van alleen gepubliceerde data en de "gouden standaard" (met replicatie-data) nauwkeurig voorspellen.
- Toepassing op data van Jager en Leek (2014) (medische abstracts) illustreerde hoe de FDR-schatting varieert afhankelijk van de aannames over $\rho$ (de relatieve selectiekans voor p-waarden in verschillende intervallen). Een verandering in het aangenomen selectiemodel kon leiden tot aanzienlijk verschillende gecorrigeerde FDR-schattingen.
Richting van de Bias: De bias is niet monotoon in de tuning-parameter $\lambda$ wanneer het selectiemodel verkeerd is. Bij hoge prior-kansen op de null-hypothese ( $\pi_0$ ) en lage power is het risico op een sterke negatieve bias (onderschatting van FDR) het grootst.

Significantie

Deze paper is van groot belang voor de wetenschappelijke integriteit en het beleid rondom reproduceerbaarheid:

Realistische Beoordeling: Het toont aan dat FDR-schattingen op basis van geselecteerde data kwetsbaar zijn voor modelaannames. Een enkele schatting zonder context is vaak onvoldoende.
Beleidsvorming: De voorgestelde sensitiviteitsanalyse biedt beleidsmakers en onderzoekers een instrument om de robuustheid van hun conclusies te testen. Ze kunnen rapporteren hoe de geschatte FDR verandert onder verschillende redelijke scenario's voor publicatiebias.
Toekomstige Richting: Het werk legt de basis voor het ontwikkelen van meer geavanceerde schatters (zoals Maximum Likelihood) die ook robuust kunnen worden geanalyseerd bij misspecificatie van het selectiemodel.

Kortom, het artikel transformeert de aanpak van FDR-schatting van een "punt-estimator" naar een gevoeligheidsanalyse, waardoor onderzoekers beter kunnen inschatten hoe de onbekende selectieprocessen in de wetenschappelijke literatuur hun resultaten beïnvloeden.