Technische Samenvatting: Een Semi-Supervised Framework voor Diverse Scenario's van Multiple Hypothesis Testing

Probleemstelling

Standaard procedures voor multiple testing rapporteren doorgaans een lijst met ontdekkingen (vermoedelijke valse nulhypothesen) gebaseerd uitsluitend op $p$-waarden of testscores, met als doel foutenpercentages zoals de False Discovery Rate (FDR) of False Discovery Exceedance (FDX) te controleren. Hoewel recent onderzoek zich heeft gericht op het benutten van zijinformatie ($x_i$) om de power te verbeteren door middel van wegen of her-scoren van hypothesen, kampen bestaande methoden met aanzienlijke beperkingen:

1. Computationele Onhaalbaarheid: Veel state-of-the-art semi-supervised methoden (bijv. Adaptive Knockoffs, AdaPT-varianten) vertrouwen op iteratieve pruning-strategieën die computationeel prohibitief zijn voor grootschalige datasets (bijv. peptide detectie in proteomics).
2. Gebrek aan Flexibiliteit: Gebruikers moeten vaak specifieke machine learning-modellen of foutcontrolemechanismen (FDR versus FDX) vooraf selecteren; het post-hoc selecteren van een methode op basis van resultaten kan de foutcontrole in gevaar brengen.
3. Finite-Sample Garanties: Veel methoden die integratie van zijinformatie bieden, geven slechts asymptotische foutcontrole, of missen finite-sample FDX-controle.
4. Scenario Compatibiliteit: Weinig methoden kunnen zowel $p$-waarde-gebaseerde als competitie-gebaseerde (bijv. target-decoy) testing frameworks naadloos afhandelen terwijl ze rigoureuze foutcontrole behouden.

Methodologie: RESET

De auteurs stellen RESET voor (REscoring via Estimating and Training), een algemeen semi-supervised framework ontworpen om finite-sample FDR of FDX te controleren in zowel competitie-gebaseerde als $p$-waarde-gebaseerde settings.

Kernmechanisme

RESET werkt door de data te splitsen in trainings- en schattingssets om het leren van een scoringfunctie te ontkoppelen van de schatting van de foutenrate:

1. Data Transformatie: In de $p$-waarde setting worden $p$-waarden omgezet in een competitie-achtig formaat met labels ($L_i \in \{+1, -1\}$) en winnende scores ($W_i$) met behulp van een mirroring functie. In de competitie setting bezitten hypotheses van nature target/decoy scores en labels.
2. Data Splitting: De set van "decoy wins" (hypothesen waar de nulhypothese schijnbaar wint) wordt willekeurig gesplitst in:
   • Training Decoys: Gebruikt om een semi-supervised machine learning model te trainen.
   • Estimating Decoys: Gereserveerd voor het schatten van het aantal foutieve ontdekkingen.
   • Pseudo-Targets: De unie van alle target wins en estimating decoys.
3. Semi-Supervised Learning (Het "Ensemble"): Een door de gebruiker gekozen semi-supervised model (of een ensemble daarvan) wordt getraind om onderscheid te maken tussen de training decoys (negatieve klasse) en de pseudo-targets (positieve klasse, die een mengeling is van ware en valse nullen). Het model geeft een her-scored set waarden ($\tilde{W}$) die bedoeld is om valse nullen beter te rangschikken.
4. Foutcontrole: De training decoys worden weggegooid. De oorspronkelijke labels van de resterende pseudo-targets worden onthuld. De her-scored hypotheses worden vervolgens verwerkt met standaard step-up of step-down procedures:
   • FDR Controle: Selective SeqStep+ (SSS+).
   • FDX Controle: FDP-stepdown (FDP-SD).

RESET Ensemble

Om de uitdaging van modelselectie aan te pakken, introduceren de auteurs RESET Ensemble. Deze implementatie:

• Selecteert automatisch het best presterende classificatiealgoritme uit een bibliotheek (Random Forest, Generalized Additive Models, en diverse neurale netwerken) met behulp van cross-validatie op de trainingsdata.
• Maakt gebruik van een $K$-fold schema waarbij elke hypothese wordt gescoord door een model dat niet op die hypothese is getraind, wat overfitting voorkomt.
• Werkt zonder dat de gebruiker vooraf de optimale modelselectie hoeft te specificeren, waardoor de garanties voor foutcontrole die door data-afhankelijke modelselectie in gevaar kunnen worden gebracht, behouden blijven.

Theoretische Garanties

Het artikel stelt vast dat RESET finite-sample FDR en FDX controleert onder Assumption 1: Gegeven de scores, zijinformatie en valse nul-labels, zijn de ware nul-labels onafhankelijke $\pm 1$ random variabelen met $P(L_i=1) \leq c_0$.

• Lemma 1 bewijst dat zelfs na de data-splitting en machine learning stappen, de labels van de ware nullen in de estimating set conditioneel onafhankelijk blijven, wat voldoet aan de vereisten voor SSS+ en FDP-SD.
• Het framework is aangetoond robuust te zijn tegen niet-identieke distributies van ware nul-labels, een versoepeling van de assumpties die vereist zijn voor eerder werk.

Belangrijkste Bijdragen

1. Verenigd Framework: RESET is toepasbaar op zowel competitie-gebaseerde (bijv. knockoff filters, target-decoy competitie) als $p$-waarde-gebaseerde multiple testing scenario's.
2. Finite-Sample FDX Controle: Naar beste weten van de auteurs is RESET de eerste methode die finite-sample FDX controle biedt in de $p$-waarde setting met zijinformatie, en biedt het een flexibele aanpak voor FDX in competitie settings. (Opmerking: Een gerelateerde methode, CLAW, werd tijdens de review geïdentificeerd, maar controleert alleen FDR).
3. Computationele Efficiëntie: Door het iteratieve proces van label-onthulling van Adaptive Knockoffs en AdaPT te vermijden, bereikt RESET significante versnellingen (ordes van grootte in sommige gevallen).
4. Geautomatiseerde Modelselectie: De "Ensemble" aanpak neemt de last van handmatige modelselectie weg bij de gebruiker, terwijl de statistische validiteit behouden blijft.
5. Theoretische Rigor: Het artikel biedt bewijzen voor finite-sample FDR en FDX controle onder versoepelde onafhankelijkheidsassumpties, inclus\nsluitend een nieuw bewijs voor FDX controle met niet-identieke ware nul-labels.

Resultaten

De auteurs evalueren RESET via simulaties en real-world datasets:

Simulatiestudies

• Variabele Selectie (Competitie Setting): In simulaties met lineaire en logistische modellen met variërende dimensies en zijinformatie-structuren, toonde RESET Ensemble consequent competitieve of superieure power aan vergeleken met Adaptive Knockoffs (AdaKO) en de standaard Knockoff Filter (KO). Het excelleerde met name in hoog-dimensionale settings en wanneer de zijinformatie complex was.
• P-waarde Setting: Vergeleken met AdaPT, AdaFDR, ZAP en anderen, bereikte RESET Ensemble vergelijkbare of hogere power over diverse configuraties van zijinformatie (geometrisch, hoog-dimensionaal en afhankelijke data). Het toonde robuustheid aan bij lokale afhankelijkheden waar sommige asymptotische methoden faalden.

Real Data Applicaties

• Peptide Detectie (Proteomics):
  • Snelheid: Op de HEK293 dataset voltooide de RESET Ensemble de analyse in ~17,7 minuten. In contrast hiermee werden de varianten van Adaptive Knockoffs geschat op dagen (bijv. AdaKO GAM: ~1,07 dag; AdaKO RF: ~846 dagen).
  • Power: Op de PRIDE-20 dataset ontdekte RESET Ensemble meer peptiden dan zowel de standaard Target-Decoy Competition (TDC) als AdaKO met zijn standaard GAM filter. Het was vergelijkbaar met de krachtigste AdaKO variant (RF), maar vele malen sneller.
• Genomics en Andere Domeinen: Over 10 echte datasets (RNA-seq, microbiome, fMRI, eQTL) rangschikte RESET Ensemble consequent bij de top performers wat betreft het aantal ontdekkingen, waarbij het vaak AdaPT varianten en AdaFDR overtrof of evenaarde.

Betekenis en Claims

Het artikel claimt dat RESET een praktisch, snel en statistisch rigoureus alternatief biedt voor bestaande semi-supervised multiple testing methoden.

• Veelzijdigheid: Het overbrugt uniek de kloof tussen $p$-waarde en competitie-gebaseerde testing, en ondersteunt zowel FDR als FDX controle met finite-sample garanties.
• Schaalbaarheid: Het lost de computationele bottleneck op van iteratieve methoden zoals Adaptive Knockoffs, waardoor semi-supervised multiple testing haalbaar wordt voor enorme datasets (bijv. proteomics).
• Gebruiksvriendelijkheid: Door modelselectie te automatiseren via de Ensemble aanpak, elimineert het de noodzaak voor gebruikers om complexe hyperparameters af te stemmen of specifieke algoritmen te kiezen, wat het risico op suboptimale keuzes vermindert.
• Beperkingen: De auteurs merken bescheiden op dat de power van RESET afhangt van de informatieve waarde van de zijinformatie; als covariaten niet-informatief zijn, zal RESET mogelijk niet beter presteren dan baselines die geen zijinformatie gebruiken. Daarnaast introduceert de willekeurige splitting van decoys variabiliteit in de ontdekkingslijst, hoewel de auteurs suggereren dat dit marginaal is ten opzichte van de data-randomiteit en gemitigeerd kan worden via e-waarde derandomisering (hoewel dit een verlies aan power met zich meebrengt).

Het werk positioneert RESET als een robuust instrument voor moderne high-throughput wetenschappelijke ontdekking, met name in velden zoals proteomics en genomics waar grootschalige multiple hypothesis testing met hulpdata cruciaal is.