Improving the adjusted Benjamini--Hochberg method using e-values in knockoff-assisted variable selection

1. Probleemstelling

Het artikel adresseert het probleem van variabele selectie in lineaire regressiemodellen met een groot aantal covariaten ($m$) ten opzichte van het aantal observaties ($n$), specifiek in het regime waar $n \ge 2m$. Het doel is om de relevante variabelen (waarbij de regressiecoëfficiënt $\beta_j \neq 0$) te identificeren terwijl de False Discovery Rate (FDR) wordt gecontroleerd.

De uitdagingen zijn:

• Afhankelijkheid: Klassieke methoden zoals de Benjamini-Hochberg (BH) procedure zijn niet direct toepasbaar omdat de teststatistieken op basis van de OLS-schatters ($\hat{\beta}$) vaak complexe afhankelijkheidsstructuren vertonen.
• Beperkingen van bestaande methoden:
  • De Knockoff-filter (Barber & Candès, 2014) is een krachtige, p-waarde-vrije methode die FDR controleert, maar kan conservatief zijn bij zwakke signalen, een klein aantal echte signalen of een lage doel-FDR.
  • De Bonferroni-Benjamini-Hochberg (Bon-BH) methode (Sarkar & Tang, 2023) combineert knockoffs met p-waarden en presteert beter dan de knockoff-filter in bepaalde scenario's, maar wordt gezien als een specifiek, "extreem" geval van een bredere klasse van methoden.

2. Methodologie

De auteurs introduceren een nieuw raamwerk dat knockoff-assisted variabele selectie combineert met e-waarden (e-values) en p-naar-e calibratie.

Kernconcepten:

• Knockoff-functie: Net als bij Barber en Candès wordt een knockoff-matrix $\tilde{X}$ geconstrueerd om twee sets schatters voor de coëfficiënten te genereren: $\hat{\beta}^{(1)}$ en $\hat{\beta}^{(2)}$.
• Tweestaps-procedure:
  1. Eerste stap: Berekening van p-waarden $P^{(1)}$ gebaseerd op $\hat{\beta}^{(1)}$.
  2. Tweede stap: Berekening van p-waarden $P^{(2)}$ gebaseerd op $\hat{\beta}^{(2)}$.
• E-waarden als gewichten: In plaats van de eerste set p-waarden direct te gebruiken voor screening (zoals bij Bon-BH), worden deze getransformeerd naar e-waarden ($S^{(1)}$) via een p-naar-e calibrator $g(\cdot)$. Een e-waarde is een niet-negatieve stochastische variabele met een verwachtingswaarde $\le 1$ onder de nulhypothese.
• Gewogen BH-procedure: De e-waarden $S^{(1)}$ fungeren als gewichten voor de tweede set p-waarden $P^{(2)}$. De procedure test de hypotheses door de verhouding $P^{(2)}_j / S^{(1)}_j$ te gebruiken in een aangepaste BH-procedure.

De drie voorgestelde methoden:

1. Methode 1 (Ep-BH): Een niet-genormaliseerde e-waarde gewogen BH-procedure. De aangepaste p-waarden zijn $\tilde{P}_j = P^{(2)}_j / S^{(1)}_j$. Dit biedt exacte FDR-controle in eindige steekproeven.
2. Methode 2 (Adaptieve Ep-BH): Een adaptieve versie die de proportie van ware nulhypothesen ($\pi_0$) schat (via de tweede set p-waarden) en dit gebruikt om de drempel te verlagen, waardoor de power toeneemt.
3. Methode 3 (Adaptieve Gewogen BH): Hier worden de e-waarden genormaliseerd zodat ze optellen tot $m$ (dus $W_j = m S^{(1)}_j / \sum S^{(1)}_k$). Deze gewichten worden gebruikt in een adaptieve gewogen BH-procedure met een geschatte $\pi_0$.

Calibratoren:
De auteurs benadrukken het gebruik van begrensde calibratoren (bounded calibrators) in plaats van de "all-or-nothing" calibrator die de Bon-BH methode genereert. Ze stellen een continue, begrensde calibrator voor:
$$g_2(t) = C(1 - t^a)$$
waarbij $C$ en $a$ zodanig gekozen zijn dat de calibrator geldig is. Dit zorgt voor stabiliteit en vermijdt extreme waarden die de variantie kunnen opblazen.

3. Belangrijkste Bijdragen

• Unificatie van methoden: Het artikel toont aan dat de bestaande Bon-BH methode van Sarkar en Tang een speciaal geval is van hun algemene raamwerk, corresponderend met een specifieke, extreme "all-or-nothing" calibrator.
• Nieuwe procedure: Introductie van een flexibeler raamwerk dat gebruikmaakt van begrensde e-waarden als gewichten, wat leidt tot drie nieuwe procedures (M1, M2, M3).
• Theoretische garanties: Bewijs van FDR-controle voor de voorgestelde methoden. Methode 1 biedt exacte controle, terwijl Methoden 2 en 3 asymptotische controle bieden.
• Verbeterde prestaties: De methoden zijn ontworpen om de power te vergroten ten opzichte van de knockoff-filter en de Bon-BH methode, vooral in scenario's met zwakke signalen en lage FDR-doelen.

4. Resultaten

Simulatiestudies:
De auteurs vergeleken hun methoden (M3, M4, M5) met de originele knockoff-filter (M0) en de Bon-BH methoden (M1, M2) onder verschillende condities (verschillende $n, m, k$, signaalsterkte $\gamma$, en correlatie $\rho$).

• FDR-controle: Alle methoden hielden de FDR onder de nominale niveaus ($\alpha = 0.05$ en $0.1$). Methode 3 (M3) toonde de strengste controle.
• Power: De voorgestelde methoden (vooral M3, M4, M5) vertoonden aanzienlijk hogere power dan de knockoff-filter (M0) en de Bon-BH methoden, vooral bij:
  • Lage signaalsterkte.
  • Een klein aantal echte signalen (sparsiteit).
  • Lage doel-FDR niveaus.
• Robuustheid: De methoden bleven stabiel bij toenemende multicollineariteit, hoewel de absolute power daalde voor alle methoden.

Toepassing op HIV-1 Data:
De methoden werden toegepast op een real-world dataset over HIV-1 drugresistentie (protease-inhibitors).

• Doel: Identificatie van mutaties die geassocieerd zijn met drugresistentie.
• Resultaat: De voorgestelde methoden (M3-M5) detecteerden meer mutaties dan de knockoff-filter (die bij $\alpha=0.05$ geen enkele significante positie vond) en de Bon-BH methoden.
• Validatie: De gevonden mutaties werden vergeleken met een bestaand biologisch panel (TSM). De nieuwe methoden vonden zowel bekende mutaties (blauwe balken) als nieuwe, biologisch plausibele ontdekkingen (oranje balken), wat aantoont dat ze effectiever zijn in het vinden van waardevolle signalen zonder de FDR te schenden.

5. Significatie en Conclusie

Dit artikel biedt een significante doorbraak in het veld van multiple testing voor variabele selectie. Door e-waarden te integreren als gewichten in een knockoff-assisted raamwerk, slagen de auteurs erin om de beperkingen van de bestaande knockoff-filter en de Bon-BH methode te overwinnen.

De belangrijkste implicaties zijn:

1. Theoretische verfijning: Het tonen dat Bon-BH een suboptimaal geval is van een bredere klasse van calibratie-methoden.
2. Praktische verbetering: De voorgestelde methoden bieden een robuustere en krachtigere oplossing voor real-world problemen waar signalen vaak zwak en schaars zijn (zoals in genomics).
3. Flexibiliteit: Het gebruik van continue, begrensde calibratoren maakt de methoden minder gevoelig voor extreme waarden en beter toepasbaar in diverse scenario's.

Kortom, de auteurs stellen dat voor problemen met weinig en zwakke signalen (een veelvoorkomend scenario in de praktijk), de voorgestelde e-value gewogen methoden de voorkeur moeten krijgen boven de traditionele knockoff-filter.