When Is a Relevance Threshold Statistically Resolvable? Minimax Limits for Effect Classification

Technische Samenvatting: "Wanneer is een relevantiedrempel statistisch oplosbaar?"

Probleemstelling
Het artikel behandelt de fundamentele discrepantie tussen statistische precisie en wetenschappelijke relevantie. In reguliere statistische modellen krimpt de steekproefonzekerheid met een snelheid van $n^{-1/2}$, waardoor steeds kleinere afwijkingen van een punt-nul mogelijk worden gedetecteerd naarmate de steekproefomvang ($n$) groeit. Wetenschappelijke belangrijkheid wordt echter vaak gedefinieerd door een drempelwaarde $\Delta_n$ (de kleinste effectgrootte van belang) waaronder een effect als verwaarloosbaar wordt beschouwd. Dit creëert een "relatieve-snelheidsprobleem": naarmate er meer informatie accumuleert, kan de wetenschappelijke drempel $\Delta_n$ krimpen, vast blijven staan of variëren met een andere snelheid dan de statistische foutenschaal $s_n \sim n^{-1/2}$. De centrale vraag is: onder welke voorwaarden kan een statistische procedure consistent onderscheid maken tussen wetenschappelijk verwaarloosbare effecten ($|\theta| \le \Delta_n$) en wetenschappelijk betekenisvolle effecten ($|\theta| > \Delta_n$)?

Methodologie en Raamwerk
De auteur maakt gebruik van een minimax decision-theoretic raamwerk gecombineerd met lokale asymptotische theorie.

1. Relevantie-Resolutie-Index: De kernmaat is gedefinieerd als $\lambda_n = \sqrt{n I_0} \Delta_n$, waarbij $I_0$ de Fisher-informatie is bij $\theta=0$. Deze index meet de wetenschappelijke drempel in eenheden van statistische fout.
2. Scheiding van Klassen: Het probleem wordt geformuleerd als het onderscheiden van twee gescheiden parameterklassen:
   • Verwaarloosbaar: $N_n(\varepsilon) = \{ \theta : |\theta| \le (1-\varepsilon)\Delta_n \}$
   • Betekenisvol: $M_n(\varepsilon) = \{ \theta : |\theta| \ge (1+\varepsilon)\Delta_n \}$
     waarbij $\varepsilon \in (0,1)$ een buffer biedt om de exacte grens te vermijden.
3. Risicometriek: De prestaties van een classifier $\phi_n$ worden gemeten door de worst-case som van Type I- en Type II-fouten: $R_n(\phi_n) = \sup_{\theta \in N_n} E_\theta[\phi_n] + \sup_{\theta \in M_n} E_\theta[1-\phi_n]$. Het doel is om de minimax-risico $R^*_n$ te karakteriseren.
4. Asymptotische Regimes: De analyse categoriseert het gedrag op basis van de limiet van $\lambda_n$ wanneer $n \to \infty$:
   • Subkritisch: $\lambda_n \to 0$
   • Kritisch: $\lambda_n \to \kappa \in (0, \infty)$
   • Superkritisch: $\lambda_n \to \infty$

Belangrijkste Bijdragen en Resultaten

1. Minimax Ondergrenzen en Faseovergangen
Het artikel stelt een minimax ondergrens vast voor het classificatierisico. Wanneer $\lambda_n \to \kappa$, voldoet het limiterende risico aan:
$$\liminf_{n \to \infty} R^*_n \ge 2\{1 - \Phi(\varepsilon \kappa)\}$$

• Subkritisch regime ($\kappa = 0$): De ondergrens nadert 1. De experimenten voor verwaarloosbare en betekenisvolle effecten versmelten (totale variatieafstand $\to 0$). Geen enkele procedure kan beter presteren dan een triviale constante beslisregel; consistente classificatie is informatie-theoretisch onmogelijk.
• Kritisch regime ($\kappa \in (0, \infty)$): Het probleem convergeert naar een niet-degenerat Gaussian-shift experiment. Het artikel leidt de exacte minimax-regel af voor dit limiterende samengestelde probleem.
  • De optimale afkapwaarde $c^*$ voldoet aan een specifieke transcendente vergelijking met hyperbolische cosinusfuncties.
  • Wanneer $\kappa \downarrow 0$, convergeert de optimale afkapwaarde naar 1 statistische fouteenheid ($c^* \to 1$), en niet naar de instortende wetenschappelijke grens.
  • Het optimale risico verbetert ten opzichte van het triviale risico met de orde $\kappa^2$, terwijl een eenvoudige regel die exact op de wetenschappelijke grens drempelt ($|\hat{\theta}| > \Delta_n$) slechts verbetert met de orde $\kappa^3$.
  • Wanneer $\kappa \to \infty$, wordt de eenvoudige wetenschappelijke-grensregel asymptotisch minimax.
• Superkritisch regime ($\kappa \to \infty$): Consistente classificatie is haalbaar indien een "Uniform Resolution Condition" geldt (d.w.z. de fout van de estimator is uniform strak ten opzichte van de schaal). Voor reguliere estimators waar $\Delta_n = d n^{-\gamma}$, is de kritische snelheid $\gamma = 1/2$. Als $\gamma > 1/2$, is resolutie onmogelijk; als $\gamma < 1/2$, is het consistent oplosbaar.

2. Asymmetrische en Bewegende Regio's
Het artikel toont aan dat de scalaire index $\lambda_n$ onvoldoende is voor asymmetrische of bewegende relevantieregio's $R_n = [-\Delta_{L,n}, \Delta_{U,n}]$. De oplosbaarheid wordt beheerst door de gestandaardiseerde afstanden tot de onderste en bovenste grenzen ($d_{L,n}$ en $d_{U,n}$), in plaats van door de totale breedte alleen. Als grenzen met verschillende snelheden bewegen, kan één zijde onopgelost blijven, zelfs als de totale breedte een hoge resolutie suggereert.

3. Significantie-verzadiging in Heterogene Populaties
Het artikel analyseert het gedrag van punt-nul testen over een populatie van heterogene ware effecten $\Theta \sim G$.

• Verzadigingslimiet: Naarmate de informatie toeneemt, convergeert de proportie statistisch significante bevindingen die wetenschappelijk verwaarloosbaar zijn naar een waarde die bepaald wordt door de populatiemassa van niet-nul effecten binnen de relevantieregio, in plaats van door het significantieniveau $\alpha$.
• Niet-monotoon Selectiviteit: Het artikel identificeert een fenomeen van "significantie-verzadiging" waarbij punt-nul significantie niet monotoon toeneemt in zijn vermogen om relevante effecten te selecteren. Bij zeer lage informatie wordt significantie gedreven door ruis; bij zeer hoge informatie detecteert het bijna alle niet-nul effecten (inclus inclusief verwaarloosbare effecten). Bijgevolg kan er een intermediair informatieniveau zijn waar punt-nul significantie het meest selectief is voor wetenschappelijk relevante effecten (het minimaliseren van het "aandeel irrelevante ontdekkingen").

Betekenis en Claims
Het artikel stelt expliciet dat het geen nieuwe equivalentietest of een nieuwe methode voor het berekenen van p-waarden voorstelt. De betekenis ligt in plaats daarvan in:

1. Karakterisering van Oplosbaarheid: Het definieert de precieze informatie-theoretische limieten van wanneer een wetenschappelijke relevantiedrempel statistisch van nul onderscheiden kan worden.
2. Unificatie van Schalen: Het koppelt effectgrootte, statistische power, lokale asymptotische theorie en minimax decision theory via een gemeenschappelijke informatie-schaal ($\lambda_n$).
3. Verheldering van Groot-Steekproef Gedrag: Het lost de schijnbare paradox op dat het vergroten van de steekproefomvang weliswaar de schatting verbetert, maar niet noodzakelijkerwijs de bekwaamheid om "substantieel" van "verwaarloosbaar" te onderscheiden als de drempelwaarde te snel krimpt.
4. Optimale Beslisregels: Het biedt de exacte minimax-classifier voor het kritische regime, waarbij wordt aangetoond dat optimale beslissingsgrenzen de wetenschappelijke drempel niet lineair volgen nabij de onopgeloste rand, maar stabiliseren op één statistische fouteenheid.

Het raamwerk benadrukt dat statistisch bewijs een afstand is gemeten in eenheden van onzekerheid, terwijl wetenschappelijke relevantie een afstand is gemeten vanaf een substantiele grens. Een geldige inferentiële analyse moet de zichtbaarheid van beide schalen behouden.