Directional replicability: when can the factor of two be omitted

Technische Samenvatting: Directionele Reploceerbaarheid: Wanneer kan de factor twee worden weggelaten

Probleemstelling
Het artikel behandelt de statistische uitdaging van het beoordelen van directionele repliceerbaarheid over $n$ onafhankelijke studies. In tegenstelling tot standaard repliceerbaarheid, die enkel vereist dat een effect aanwezig is in ten minste $r$ studies ongeacht het teken, vereist directionele repliceerbaarheid dat ten minste $r$ studies effecten van het zelfde teken vertonen (allemaal positief of allemaal negatief).

Formeel, laat $\theta = (\theta_1, \dots, \theta_n)$ de vector van ware effectgroottes zijn. De auteurs definiëren $n_+$ als het aantal positieve effecten en $n_-$ als het aantal negatieve effecten. Het doel is om de nulhypothese $H_{r/n}: n_+ < r \land n_- < r$ te testen. Het verwerpen van deze hypothese staat toe om te concluderen dat er ten minste $r$ effecten van hetzelfde teken zijn ($n_+ \ge r \lor n_- \ge r$).

De standaardbenadering, volgend op Owen (2009), behandelt $H_{r/n}$ als de intersectie van twee unilaterale hypothesen: $H^+_{r/n}: n_+ < r$ en $H^-_{r/n}: n_- < r$. Om de familie-brede foutenrate (family-wise error rate) te beheersen, combineert de standaardprocedure de $p$-waarden voor deze twee unilaterale testen en vermenigvuldigt de kleinste met 2 (i.e., $p_{r/n} = 2 \min\{p^+_{r/n}, p^-_{r/n}\}$) om rekening te houden met het testen van meerdere richtingen. De centrale vraag van dit werk is of deze multiplicatieve correctiefactor van 2 altijd noodzakelijk is.

Methodologie
De auteurs gaan uit van onafhankelijke normale schatters $T_i \sim N(\theta_i, 1)$ voor de effectgroottes. Zij maken gebruik van de Bonferroni partiële conjunctie methode om $p$-waarden voor de unilaterale hypothesen te construeren.

• Voor de positieve richting ($H^+_{r/n}$) is de $p$-waarde $p^+_{r/n} = (n-r+1)p_{(r)}$, waarbij $p_{(r)}$ de $r$-de kleinste $p$-waarde is van de individuele studies.
• Voor de negatieve richting ($H^-_{r/n}$) is de $p$-waarde $p^-_{r/n} = (n-r+1)q_{(r)}$, waarbij $q_{(r)}$ de $r$-de kleinste $p$-waarde is voor de negatieve richting.

Het artikel onderzoekt de geldigheid van de ongecorrigeerde statistiek $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ als een geldige $p$-waarde voor de intersectiehypothese $H_{r/n}$ onder specifieke condities.

Belangrijkste bijdragen en resultaten

1. Voldoende voorwaarde voor het weglaten van de factor twee (Stelling 1):
   De primaire theoretische bijdrage is Stelling 1, die vaststelt dat de factor 2 onnodig is wanneer $r$ voldoende groot is ten opzichte van $n$. Specifiek, als $(n+1)/2 < r \le n$, dan is $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ een geldige $p$-waarde voor $H_{r/n}$ op significantieniveau $\alpha$.

   • Mechanisme: Het bewijs toont aan dat onder de conditie $r > (n+1)/2$, de gebeurtenissen die leiden tot Type I-fouten voor de positieve en negatieve richtingen disjunct zijn. Bijgevolg is de kans op het verwerpen van de nulhypothese onder de slechtst denkbare parameterconfiguratie niet groter dan $\alpha$ zonder de verdubbelingscorrectie.

2. Noodzaak van correctie voor kleine $r$ (Sectie 3):
   De auteurs leveren een tegenvoorbeeld dat aantoont dat voor kleinere waarden van $r$ (specifiek $2 \le r \le (n+1)/2$), de ongecorrigeerde statistiek kan leiden tot Type I-foutentatjes die $\alpha$ overschrijden.

   • In dit regime is het mogelijk om een "discordante" parameterconfiguratie te hebben waarbij er gelijktijdig $r-1$ sterke positieve effecten en $r-1$ sterke negatieve effecten zijn. In dergelijke gevallen zijn de gebeurtenissen die leiden tot verwerping in beide richtingen niet disjunct, en overschrijdt de kans op een Type I-fout het nominale niveau als de factor 2 wordt weggelaten.
   • Numerieke simulaties (Figuur 1) illustreren dat voor $n=20$ en $\alpha=0,1$, de Type I-fout de $\alpha$ overschrijdt voor $r \in \{2, \dots, 7\}$, maar gecontroleerd blijft voor $r \in \{8, 9, 10\}$, zelfs als de strikte conditie $r > (n+1)/2$ (d.w.z. $r > 10,5$) niet wordt gehaald. Dit suggereert dat de conditie in Stelling 1 voldoende maar niet noodzakelijk is.

3. Data-adaptieve selectie van $r$:
   Het artikel beschrijft een sequentiële testprocedure voor situaties waarin $r$ niet vooraf gespecificeerd is. Door geneste hypothesen $H_{k/n}, H_{(k+1)/n}, \dots, H_{n/n}$ te testen beginnend vanaf $k = \lceil(n+2)/2\rceil$, kan men een $(1-\alpha)$ ondergrens van het betrouwbaarheidsinterval afleiden voor het maximale aantal effecten van hetzelfde teken.

4. Extensie naar andere combinerende functies:
   De auteurs merken op dat hoewel het bewijs steunt op de Bonferroni-methode, het resultaat waarschijnlijk ook geldt voor andere combinerende functies die onafhankelijkheid veronderstellen, zoals de Šidák-correctie, de Simes-methode en de Fisher-combinerende functie, hoewel dit verdere verificatie vereist.

Betekenis en claims
Het artikel claimt de state-of-the-art methodologie voor directionele repliceerbaarheidsanalyse te verfijnen. Door de conditie $(n+1)/2 < r \le n$ te identificeren, tonen de auteurs aan dat onderzoekers veilig de conservatieve "factor twee" correctie kunnen weglaten in scenario's waarin het vereiste aantal repliceerbare effecten ($r$) een meerderheid vormt van de totale studies ($n$). Deze weglating verhoogt de statistische kracht zonder de Type I-fout te verhogen.

Het werk behandelt ook de kwestie van Type III-fout (het afleiden van het verkeerde teken). De auteurs stellen dat de procedure in Stelling 1 de Type III-fout controleert, wat valide post-hoc inferentie van het teken van de gerepliceerde effecten mogelijk maakt (positief als $p^+_{r/n} < p^-_{r/n}$, negatief anders).

Ten slotte erkent het artikel dat hoewel het zich op een enkele hypothese richt, veel toepassingen betrekking hebben op meerdere kenmerken (features). Het suggereert dat de voorgestelde logica geïntegreerd kan worden met bestaande filteringmethoden (bijv. Wang et al., 2022), maar laat de vraag of de factor 2 kan worden verwijderd in de context van testen met meerdere kenmerken als een open probleem voor toekomstig onderzoek.