Minimally Discrete and Minimally Randomized p-Values

1. Probleemstelling

In statistische hypothetetoetsing, meta-analyse en meervoudige toetsing worden p-waarden vaak gebruikt als invoer. De standaardtheorie veronderstelt dat p-waarden onder de nulhypothese ($H_0$) uniform verdeeld zijn over het interval $[0, 1]$. Echter, wanneer de onderliggende data een discrete verdeling hebben (bijvoorbeeld binomiale of Poisson-data), is het vaak onmogelijk om een toetsingsfunctie te definiëren die exact het gewenste significantieniveau $\alpha$ bereikt zonder randomisatie.

Dit leidt tot drie gangbare benaderingen, die elk nadelen hebben:

1. Natuurlijke p-waarden (Natural p-values): $p(x) = P_0(T(X) \geq T(x))$. Deze zijn geldig (conservatief), maar kunnen sterk afwijken van de uniforme verdeling, wat leidt tot conservatieve downstream-methoden (minder power).
2. Mid-p-waarden: $p(x) = P_0(T(X) > T(x)) + 0.5 P_0(T(X) = T(x))$. Deze zijn minder conservatief dan natuurlijke p-waarden en voldoen aan een convexe orde-relatie ten opzichte van een uniforme verdeling, maar zijn nog steeds niet perfect uniform.
3. Geraandomiseerde p-waarden (Randomized p-values): Hierbij wordt een extra uniforme variabele $U$ gebruikt om exact uniformiteit te garanderen onder $H_0$. Het nadeel is dat deze variabele onnodige variatie introduceert, wat de reproduceerbaarheid van de resultaten vermindert (als $U$ niet wordt geregenereerd, is de kans op dezelfde p-waarde in een replicatie 0).

De kernproblematiek is dat bestaande methoden ofwel te conservatief zijn (verlies van power) ofwel te veel variatie introduceren door randomisatie. Er is een behoefte aan p-waarden die de "discrete effecten" minimaliseren zonder de geldigheid te schaden.

2. Methodologie

De auteurs introduceren een nieuw raamwerk gebaseerd op het concept van "minimale discretie" en "minimale randomisatie".

• Minimaal Discrete (MD) Testfuncties:
  In plaats van te vertrouwen op een toetsingsstatistiek $T(X)$ die meerdere waarden van $X$ kan samenvoegen tot dezelfde waarde (wat leidt tot grote "sprongen" in de p-waarde), definiëren de auteurs een bijectieve rangschikking $R: \mathcal{X} \to \mathbb{N}$ (van de steun naar de positieve gehele getallen).
  Een testfunctie is minimaal discrete (MD) als deze $X$ rangschikt via $R$ in plaats van via $T$, zolang de rangschikking consistent blijft met de oorspronkelijke toetsingsstatistiek (d.w.z. als $T(x) \geq T(y)$, dan is $R(x) \leq R(y)$).
  Door elke unieke observatie $x$ een unieke rang toe te wijzen, wordt de steun van de p-waarde gemaximaliseerd (minimale discretie), wat de "sprongen" in de verdeling minimaliseert.

• Minimaal Geraandomiseerde (MR) p-waarden:
  Voor geraandomiseerde p-waarden wordt dezelfde MD-rangschikking $R$ gebruikt. Omdat $R$ uniek is voor elke $x$, is de kans $P_0(R(X) = R(x))$ kleiner dan of gelijk aan $P_0(T(X) = T(x))$.
  De geraandomiseerde p-waarde wordt berekend als:
  $$P^{MR}(x, u) = P_0(R(X) < R(x)) + u \cdot P_0(R(X) = R(x))$$
  Omdat de kans op een "tie" (gelijkheid) kleiner is bij $R$ dan bij $T$, is de variatie die wordt geïntroduceerd door de extra variabele $U$ minimaal.

• Orde-theoretische Vergelijkingen:
  De auteurs gebruiken stochastische orde (voor natuurlijke p-waarden) en convexe orde (voor mid-p-waarden) om de nieuwe methoden te vergelijken met traditionele methoden. Ze bewijzen dat de nieuwe methoden de oude domineren in de zin dat ze dichter bij de ideale uniforme verdeling liggen.

3. Belangrijkste Bijdragen en Resultaten

Het artikel presenteert drie hoofdstellingen (Theorema 1, 2 en 3) die de superioriteit van de nieuwe methoden formaliseren:

1. Voor Natuurlijke p-waarden (Theorema 1):

   • Resultaat: Minimale Discrete (MD) natuurlijke p-waarden domineren traditionele natuurlijke p-waarden in de stochastische orde.
   • Betekenis: $P^{MD}(X, 1)$ is stochastisch kleiner dan of gelijk aan de traditionele $P^T(X, 1)$. Dit betekent dat MD-p-waarden meer power bieden voor downstream-toetsen (zoals Benjamini-Hochberg), terwijl ze nog steeds geldig blijven (ze zijn stochastisch groter dan of gelijk aan een uniforme verdeling, dus het type I-foutenrisico wordt niet overschreden).

2. Voor Geraandomiseerde p-waarden (Theorema 2):

   • Resultaat: Minimale Geraandomiseerde (MR) p-waarden zijn evenredig uniform verdeeld onder $H_0$ als traditionele geraandomiseerde p-waarden. Echter, als $T$ een toereikende statistiek is, is de variantie van de MR-p-waarde (geconditioneerd op $X$) kleiner dan die van de traditionele versie.
   • Betekenis: De variatie die voortkomt uit het genereren van de extra variabele $U$ wordt geminimaliseerd. Dit verbetert de reproduceerbaarheid van de p-waarden zonder in te boeten aan de geldigheid of power.

3. Voor Mid-p-waarden (Theorema 3):

   • Resultaat: MD mid-p-waarden domineren traditionele mid-p-waarden in de convexe orde.
   • Betekenis: Voor elke convexe functie $h$, geldt $E[h(P^{MD})] \leq E[h(P^T)] \leq E[h(U)]$. Dit betekent dat de verdeling van de MD mid-p-waarde "dichter" bij de uniforme verdeling ligt dan die van de traditionele mid-p-waarde. Dit leidt tot scherpere ongelijkheden in downstream-methoden.

Illustratie:
In een voorbeeld met binomiale data (5 Bernoulli-trials) tonen de auteurs aan dat een traditionele Likelihood Ratio Test (LRT) slechts 6 steunpunten heeft voor de p-waarde, terwijl de MD-versie 32 steunpunten heeft (één voor elke mogelijke uitkomst). De CDF van de MD-p-waarde ligt dichter bij de diagonale lijn (uniforme verdeling) dan die van de traditionele p-waarde.

4. Significantie en Toepassingen

De resultaten van dit artikel hebben belangrijke implicaties voor diverse statistische domeinen:

• Meervoudige Hypothetoetsing (MHT):
  Methodes zoals de Benjamini-Hochberg procedure (FDR-controle) zijn vaak conservatief bij discrete data. Het gebruik van MD-natuurlijke p-waarden kan de power van deze procedures verhogen terwijl de controle op de FDR behouden blijft.
• Meta-analyse:
  Veel meta-analyse methoden (zoals Fisher's methode) zijn gebaseerd op aannames over de verdeling van p-waarden. Voor mid-p-waarden zijn bestaande ongelijkheden (bijv. voor de verdeling van $-2 \sum \log(P_i)$) vaak conservatief. De scherpere convexe orde-resultaten voor MD mid-p-waarden leiden tot minder conservatieve en nauwkeurigere meta-analyse methoden.
• E-values en Bayes Factoren:
  De methoden kunnen worden gebruikt om mid-p-waarden om te zetten naar geldige E-values of Bayes Factoren met minder verlies aan informatie.
• Theoretische Standaard:
  Het artikel stelt een "gouden standaard" vast voor het omgaan met discrete data. Het toont aan dat men niet verplicht is te kiezen tussen conservatisme en hoge variatie; door slimme rangschikking (MD/MR) kan men het beste van beide werelden benaderen.

Conclusie:
Habiger en Rudra tonen aan dat door het minimaliseren van de discretie in de rangschikking van data (MD) en het minimaliseren van de variatie door randomisatie (MR), men p-waarden kan construeren die statistisch superieur zijn aan traditionele methoden. Ze bieden meer power, betere reproduceerbaarheid en scherpere theoretische grenzen, terwijl ze de geldigheid van de inferentie volledig behouden.