Mixture priors for replication studies

Probleemstelling

De integriteit en geloofwaardigheid van wetenschappelijk onderzoek staan onder druk door de zogenoemde "replicatiecrisis", waarbij veel gepubliceerde bevindingen niet kunnen worden gerepliceerd. Een centrale uitdaging is het kwantificeren van de mate waarin een replicatiestudie het oorspronkelijke resultaat bevestigt. Bestaande methoden, zoals meta-analyse, gaan vaak uit van uitwisselbaarheid tussen studies, wat ongeschikt kan zijn wanneer men specifiek de geloofwaardigheid van een eerdere bevinding test (aangezien studies onder verschillende standaarden en met verschillende bias-risico's worden uitgevoerd).

Traditionele Bayesiaanse benaderingen, zoals het gebruik van de posterior van de oorspronkelijke studie als prior voor de replicatie, lopen het risico op conflicten als er heterogeniteit bestaat tussen de studies. Andere methoden, zoals power priors en hiërarchische modellen, bieden oplossingen, maar kunnen complex zijn in interpretatie of berekening. Er is behoefte aan een intuïtieve, flexibele Bayesiaanse methode die historische data (oorspronkelijke studie) adaptief kan "lenen" of volledig kan verwerpen afhankelijk van de overeenkomst met de nieuwe data.

Methodologie

De auteurs stellen een nieuwe Bayesiaanse aanpak voor gebaseerd op mixture priors (mengpriors). De kernidee is om een prior te construeren voor de replicatieanalyse die bestaat uit een mengsel van twee componenten:

1. Een informatieve component: De posteriorverdeling gebaseerd op de data van de oorspronkelijke studie ($\hat{\theta}_o$).
2. Een niet-informatieve component: Een robuuste prior (bijvoorbeeld een eenheidsinformatie-prior) die weinig tot geen informatie uit de oorspronkelijke studie overneemt.

De prior voor het effectgrootte-parameter $\theta$ wordt gedefinieerd als:
$$\pi(\theta | \hat{\theta}_o, \omega) = \omega \cdot N(\theta | \hat{\theta}_o, \sigma^2_o) + (1 - \omega) \cdot N(\theta | \mu, \tau^2)$$
Waarbij $\omega$ de mengweeg (mixing weight) is ($0 \leq \omega \leq 1$).

• $\omega = 1$: Volledige pooling (volledig vertrouwen in de oorspronkelijke studie).
• $\omega = 0$: Volledige verwaarlozing van de oorspronkelijke studie (alleen replicatiedata).
• $0 < \omega < 1$: Een compromis tussen beide.

De auteurs presenteren twee strategieën voor het bepalen van $\omega$:

1. Vaste weging: $\omega$ wordt vastgesteld op een vooraf bepaald waarde (bijv. gebaseerd op expertkennis of Empirical Bayes).
2. Stochastische weging: Er wordt een priorverdeling (bijv. een Beta-verdeling) op $\omega$ zelf geplaatst, waardoor onzekerheid over de mate van overeenkomst expliciet wordt gemodelleerd.

Hypothese-toetsing en Bayes-factoren:
Binnen dit kader worden Bayes-factoren afgeleid om formele hypothesen te testen:

• Overeenkomst: Testen of $\omega = 1$ (studies zijn consistent) versus $\omega = 0$ (studies zijn in conflict).
• Effectgrootte: Testen of er een effect is ($H_1: \theta \neq 0$) versus geen effect ($H_0: \theta = 0$), waarbij de prior voor $\theta$ onder $H_1$ de mixture prior is.

De auteurs tonen aan dat de posteriorverdeling analytisch oplosbaar blijft (een mengsel van normale verdelingen) en dat de Bayes-factoren gesloten vormen hebben.

Toepassing en Resultaten

De methode wordt geïllustreerd met data uit het "Many Labs 3" project, specifiek een replicatie van het "moral credentialing"-experiment (Monin & Miller, 2001). Drie directe replicaties werden geanalyseerd:

1. Replicatie 1 & 2: Toonden effectgroottes die consistent waren met de oorspronkelijke studie.
2. Replicatie 3: Toonde een tegengesteld effect (negatief), wat in conflict was met de oorspronkelijke bevinding.
3. Gepoolde replicatie: Een samenvoeging van de drie.

Belangrijkste bevindingen:

• Adaptiviteit: De mixture prior past zich automatisch aan. Bij overeenkomst (Replicatie 1 & 2) wordt de posterior versmald (hoge precisie) door informatie te lenen van de oorspronkelijke studie. Bij conflict (Replicatie 3) wordt de oorspronkelijke studie bijna volledig verwaarloosd ($\omega \to 0$), waardoor de posterior breed blijft en centraal ligt bij de replicatiedata.
• Vergelijking met andere methoden: In vergelijking met power priors en hiërarchische modellen presteerde de mixture prior efficiënter.
  • Bij overeenkomst leverde de mixture prior de smalste 95% HPDI's op (tot 45% smaller dan alleen replicatiedata).
  • Bij conflict leverde de mixture prior de breedste interval op (meer conservatief dan hiërarchische modellen die soms nog te veel naar de oorspronkelijke studie "trekken" door heterogeniteitsschattingen).
• Bayes-factoren: De analyse toonde substantiële bewijskracht voor een effect in de eerste twee replicaties en de gepoolde data, maar sterk bewijs voor geen effect in de derde replicatie.
• Asymptotisch gedrag: De auteurs tonen aan dat de Bayes-factoren consistent zijn wanneer de standaardfouten van zowel de oorspronkelijke als de replicatiestudie naar nul gaan.

Bijdragen en Significatie

De belangrijkste bijdragen van dit werk zijn:

1. Nieuwe Methodologie: Introductie van een intuïtief mixture prior-kader specifiek voor replicatiestudies, dat de spanning tussen het "lenen" van historische data en het vermijden van bias bij conflicterende data oplost.
2. Flexibiliteit: De mogelijkheid om zowel vaste als stochastische wegingen te gebruiken, waardoor onderzoekers onzekerheid over de vergelijkbaarheid van studies kunnen modelleren.
3. Formele Toetsing: Het bieden van een coherent raamwerk voor Bayesiaanse hypothese-toetsing (via Bayes-factoren) voor zowel de effectgrootte als de mate van overeenkomst tussen studies.
4. Praktische Implementatie: De auteurs hebben een open-source R-pakket genaamd repmix ontwikkeld dat de volledige methodologie implementeert, waardoor het direct toepasbaar is voor andere onderzoekers.
5. Vergelijkend Voordeel: De methode wordt gepresenteerd als een computatieel efficiënter en intuïtiever alternatief voor power priors (geen last van zware normalisatieconstanten) en hiërarchische modellen (minder complexe prior-specificatie voor heterogeniteit).

Conclusie:
De mixture prior-benadering biedt een robuust en interpreteerbaar instrument voor de wetenschappelijke gemeenschap om de geloofwaardigheid van replicatiestudies te beoordelen. Het stelt onderzoekers in staat om data adaptief te combineren, waarbij de mate van vertrouwen in historische data wordt bepaald door de empirische overeenkomst met de nieuwe data, in plaats van door starre aannames.