Technische Samenvatting: Kalibratie zonder Labels in Meervoudige Toetsing

Probleemstelling

Grootschalige hypothesetoetsing streeft er vaak naar om probabilistische claims te leveren over individuele hypothesen, zoals het schatten van de lokale false discovery rate (lfdr) via empirische Bayes-methoden. Er bestaat echter een kritieke kloof in de interpretatie van deze scores: een gerapporteerde score $g(p)$ is alleen betekenbaar als deze gekalibreerd is, wat betekent dat onder de toetsen waaraan een score $g(p)$ is toegekend, de nulhypothese exact met kans $g(p)$ waar is.

In standaard supervised learning wordt kalibratie beoordeeld met behulp van grondwaarheid-labels. In meervoudige toetsing zijn de "labels" (of de nulhypothese waar of onwaar is) niet geobserveerd. Bijgevolg kunnen standaard kalibratiediagnostieken niet direct worden toegepast. Hoewel de empirische Bayes-traditie erkent dat de distributie van toetsstatistieken structurele informatie bevat, is er beperkt werk verricht naar het formeel beoordelen of afdwingen van kalibratie in afwezigheid van grondwaarheid, met name onder model-misspecificatie.

Methodologie

De auteurs herformuleren meervoudige toetsing als een stochastisch gesuperviseerd binair classificatieprobleem. Zij behandelen de $p$-waarden als covariaten en de ongeobserveerde waarheid van de nulhypothese als een binaire label $Y_i \in \{0, 1\}$. Het doel is om de regressiefunctie $lfdr(p) = P(Y=1|p)$ te schatten.

1. Constructie van Pseudo-Labels

Om de kloof te overbruggen die wordt veroorzaakt door ontbrekende labels, construeren de auteurs pseudo-labels afgeleid van de tussenruimtes (spacings) van geordende $p$-waarden. Laat $p_{(1)} \le \dots \le p_{(m)}$ de geordende $p$-waarden zijn en $\hat{\pi}_{null}$ een schatting van de proportie ware nulls. Het pseudo-label voor de $i$-de observatie wordt gedefinieerd als:
$$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_i-1)})$$
waarbij $R_i$ de rang van $p_i$ is.

De theoretische rechtvaardiging rust op de asymptotische eigenschappen van de tussenruimtes van orde-statistieken (Pyke, 1965). Wanneer $m \to \infty$, voldoen deze pseudo-labels aan een regressiemodel met multiplicatieve exponentiële fouten: $\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$, waarbij $E_i \sim \text{Exp}(1)$. Cruciaal is dat de verwachting $E[\tilde{Y}_i | p_i]$ de ware $lfdr(p_i)$ benadert, waardoor pseudo-labels als directe vervanging kunnen dienen voor ware labels in standaard kalibratietools.

2. Isotonische Kalibratie en Equivalentie

De auteurs stellen voor om monotoniciteit af te dwingen (kleinere $p$-waarden moeten leiden tot kleinere foutkansen) via isotonische regressie op de pseudo-labels. Zij demonstreren dat drie verschillende methodologische benaderingen exact dezelfde estimator opleveren:

1. Isotonische Regressie: Het minimaliseren van de kwadratische fout tussen de voorspeller en de pseudo-labels (Pool Adjacent Violators Algorithm).
2. Maximum Likelihood: Het minimaliseren van de negatieve log-pseudolikelihood afgeleid van het exponentiële foutmodel (equivalent aan het minimaliseren van de Itakura–Saito afstand).
3. Nietparametrische Empirische Bayes: Het schatten van de marginale dichtheid van $p$-waarden met behulp van de Grenander-estimator (de MLE voor een niet-stijgende dichtheid) en het toepassen van de regel van Bayes.

De resulterende estimator, aangeduid als $\widehat{lfdr}^\uparrow$, is een stapfunctie die aangrenzende $p$-waarden groepeert in intervallen waar de schatting van de lokale False Discovery Proportion (FDP) monotoon is.

3. Beoordeling en Diagnostiek

Het framework maakt het mogelijk om adaptieve gesuperviseerde kalibratiediagnostieken toe te passen op meervoudige toetsing:

• Betrouwbaarheidsdiagrammen (Reliability Diagrams): Door de pseudo-labels te segmenteren (binning), kan men de gemiddelde voorspelde score uitzetten tegen de empirische frequentie van "ware nulls" (geschat via pseudo-labels).
• Brier Regret: De auteurs definiëren een eind-steekproef-grens op de Brier regret (het excessieve Brier-score ten opzichte van de beste monotone voorspeller) voor hun isotonische estimator.

Belangrijkste Bijdragen

1. Pseudo-Label Constructie: Het artikel introduceert een methode om regressiedoelen te genereren uit $p$-waarde tussenruimtes die de $lfdr$ als hun conditionele verwachting hebben. Dit ontsluit het volledige instrumentarium van gesuperviseerde kalibratie (bijv. betrouwbaarheidsdiagrammen, isotonische kalibratie) voor meervoudige toetsing zonder grondwaarheid.
2. Theoretische Unificatie: De auteurs bewijzen dat isotonische kalibratie op pseudo-labels, maximum likelihood schatting onder een exponentieel foutmodel, en nietparametrische empirische Bayes schatting (via de Grenander-estimator) wiskundig equivalent zijn.
3. Eind-Steekproef Garanties: Zij stellen een eind-steekproef-grens vast op de Brier regret van de isotonische estimator. Deze grens verdwijnt wanneer $m \to \infty$, zelfs als de ware $lfdr$ niet monotoon is, mits de empirische CDF uniform convergeert. Dit resultaat blijft overeind ongeacht of de monotoniciteitsaanname strikt waar is, aangezien de estimator de isotoniseerde $lfdr$ target (de $L_2$-projectie van de ware $lfdr$ op de klasse van monotone functies).
4. Empirisch Bewijs van Miskalibratie: Door middel van simulaties en analyse van echte data tonen de auteurs aan dat standaard foutmaten, specifiek de q-waarde, ernstig misgekalibreerd kunnen zijn en soms slechter presteren dan ruwe $p$-waarden.

Resultaten

Simulatiestudies

De auteurs vergeleken de Brier regret van drie voorspellers: ruwe $p$-waarden, Storeys $q$-waarden, en hun isotonische estimator ($\widehat{lfdr}^\uparrow$).

• Convergentie: De regret van $\widehat{lfdr}^\uparrow$ nam gestaag af met het aantal toetsen $m$, waarbij een polynomiale convergentie werd bereikt.
• Stagnatie: De regret voor $p$-waarden bleef vlak (aangezien zij de identiteitsfunctie zijn), en de regret voor $q$-waarden bleef in de meeste scenario's aanzienlijk hoger dan die van de isotonische estimator.
• Robuustheid: Zelfs in scenario's waar de ware $lfdr$ niet-monotoon was (schending van de vormrestrictie), convergeerde de isotonische estimator naar de isotoniseerde $lfdr$, waarbij de regret ten opzichte van de beste monotone voorspeller verdween.

Toepassing op Echte Data

De methode werd toegepast op een dataset van $\approx 27.000$ $t$-statistieken uit de cognitieve neurowetenschap en experimentele psychologie (Szucs en Ioannidis, 2017).

• Kalibratiecontrole: Betrouwbaarheidsdiagrammen toonden aan dat zowel ruwe $p$-waarden als $q$-waarden ernstig misgekalibreerd waren (punten week significant af van de diagonaal $y=x$).
• Prestaties: De isotonische estimator $\widehat{lfdr}^\uparrow$ produceerde scores die dicht bij de diagonaal lagen, wat suggereert dat de gekalibreerde scores geïnterpreteerd kunnen worden als geldige lokale waarschijnlijkheidsclaims voor individuele studies.

Betekenis en Claims

Het artikel betoogt dat kalibratie een primaire inferentiële doelstelling moet zijn in grootschalige hypothesetoetsing, onderscheidend van louter veelvuldigheidscorrectie. Door meervoudige toetsing te behandelen als een classificatieprobleem met verborgen labels, laten de auteurs zien dat betekenisvolle foutkansen vastgesteld kunnen worden, zelfs zonder grondwaarheid.

De betekenis van het werk ligt in:

• Interpreteerbaarheid: Het biedt een weg om scores te interpreteren als gekalibreerde waarschijnlijkheden, zelfs onder model-misspecificatie, aangezien kalibratie een eigenschap is van de score zelf en niet van het generatieve model.
• Methodologische Brug: Het importeert succesvol instrumenten uit de probabilistische voorspelling en supervised learning (specifiek isotonische kalibratie en betrouwbaarheidsdiagrammen) naar het domein van meervoudige toetsing.
• Kritisch Inzicht: De empirische bevinding dat populaire maten zoals de $q$-waarde slecht gekalibreerd kunnen zijn, daagt de aanname uit dat standaard FDR-gebaseerde maten inherent betrouwbaar zijn voor de beoordeling van individuele hypothesen.

De auteurs blijven bescheiden over beperkingen en merken op dat hun theorie steunt op de aanname dat $p$-waarden onder de nul uniform verdeeld zijn. Zij identificeren de constructie van soortgelijke pseudo-labels voor niet-uniforme null-distributies (zoals $z$-scores of hoog-dimensionale statistieken) als een open vraag voor toekomstig onderzoek.