Two-Stage Multiple Test Procedures Controlling False Discovery Rate with auxiliary variable and their Application to Set4Delta Mutant Data

Probleemstelling

In de statistische analyse van grote datasets, zoals genexpressiestudies, is het uitvoeren van multiple hypothesis testing (het testen van duizenden hypotheses tegelijk) een uitdaging. Traditionele methoden om de False Discovery Rate (FDR) te controleren, zoals die van Storey of Efron, vertrouwen vaak uitsluitend op de $p$-waarden van de primaire variabele (bijvoorbeeld log-fold changes).

Echter, onderzoekers beschikken vaak over aanvullende informatie (covariaten of "hulpvariabelen") die relevant zijn voor de betrouwbaarheid van de testresultaten. Bestaande methoden die gebruikmaken van deze covariaten (zoals AdaFDR of IHW) maken vaak strenge aannames over de verdeling van de $p$-waarden onder de nulhypothese. Bijvoorbeeld:

1. De $p$-waarden moeten uniform verdeeld zijn, ongeacht de waarde van de covariaat.
2. Of ze moeten een "spiegel-eigenschap" (mirroring property) vertonen (symmetrie rond 0,5).

In veel realistische scenario's, zoals in de Set4$\Delta$-mutant data, zijn deze aannames niet geldig. De afhankelijkheid tussen de primaire variabele (log-fold change) en de hulpvariabele (bijvoorbeeld de standaardafwijking van de replicaten) is complex en niet noodzakelijk symmetrisch. Het negeren van deze afhankelijkheid leidt tot een verlies aan statistische power (minder echte ontdekkingen) of een gebrek aan controle over de FDR.

Methodologie

De auteurs stellen twee nieuwe tweestapsprocedures voor die een copula-methode gebruiken om de gezamenlijke verdeling van de primaire en hulpvariabele te modelleren, zonder de restrictieve aannames van eerdere methoden.

1. Data en Variabelen:

• Primaire variabele ($\beta$): De log-fold change van genexpressie.
• Hulpvariabele ($y$): De standaardafwijking van de log-fold change over experimentele replicaten. Een hoge standaardafwijking duidt op meer variabiliteit en minder betrouwbaarheid.
• Randverdelingen: De auteurs schatten de marginale verdelingen van beide variabelen afzonderlijk (de nulverdeling van $\beta$ als een mengsel van normale verdelingen, en de verdeling van $y$ via een empirische CDF).

2. Copula-Modellering:
In plaats van de $p$-waarden direct te wegen, modelleren ze de gezamenlijke verdeling van de $p$-waarden ($p_1$ voor de hulpvariabele en $p_2$ voor de primaire variabele) met behulp van een copula. Dit maakt het mogelijk om de complexe afhankelijkheidsstructuur tussen de variabelen vast te leggen zonder specifieke vormaannames.

3. Twee Nieuwe Procedures:
De auteurs introduceren twee varianten voor het controleren van de FDR:

• Two-Stage FDR(H) (Hard Thresholding):

  • Dit is een filtermethode. Er wordt een drempelwaarde $\gamma_1$ vastgesteld voor de $p$-waarde van de hulpvariabele ($p_1$).
  • Als $p_1 > \gamma_1$, wordt het gen direct afgewezen (niet getest op significantie van de primaire variabele).
  • Alleen als $p_1 \leq \gamma_1$, wordt de significantie van de primaire variabele ($p_2$) getoetst.
  • De gezamenlijke $p$-waarde wordt berekend via de copula-functie $C(\gamma_1, p_2)$.
  • Kenmerk: Strikt filteren; als je de eerste drempel niet haalt, is er geen kans op ontdekking, ongeacht hoe sterk het signaal is.

• Two-Stage FDR(S) (Soft Thresholding):

  • Deze methode filtert niet strikt, maar past de beslissingsregel voor de primaire variabele zachtjes aan op basis van de hulpvariabele.
  • De gezamenlijke $p$-waarde wordt gedefinieerd als de conditionele verdeling: $p^S_i = P(P_2 \leq p_2 | P_1 = p_1)$.
  • Dit betekent dat de drempel voor significantie van de primaire variabele verschuift afhankelijk van de waarde van de hulpvariabele. Genen met een lage standaardafwijking (betrouwbare data) krijgen een gunstiger beoordeling dan genen met hoge variabiliteit.
  • Kenmerk: Geen harde afwijzing in stap 1; de rejectieregio is niet rechthoekig maar gebogen, wat de afhankelijkheid tussen variabelen volledig benut.

4. Theoretische Onderbouwing:
De auteurs bewijzen (via Lemma 1 en Theorema 3.1/3.2) dat de geaggregeerde $p$-waarden voor beide methoden uniform verdeeld zijn onder de nulhypothese, mits de copula correct is gespecificeerd. Dit garandeert dat de FDR correct wordt gecontroleerd.

Belangrijkste Resultaten

1. Simulatiestudies:

• De auteurs simuleerden datasets met 8.000 genen en varieerden de sterkte van de afhankelijkheid (Kendall's $\tau$) en het effectgrootte ($\mu$).
• FDR-controle: Zowel de voorgestelde methoden (H en S) als bestaande methoden (locfdr, Storey, IHW) hielden de FDR onder controle, maar de bestaande covariante-geassisteerde methoden faalden soms bij sterke afhankelijkheden.
• Statistische Power (TPR): De twee-staps methoden (vooral Two-Stage FDR(S)) toonden een aanzienlijk hogere True Positive Rate (TPR) dan traditionele één-staps methoden en andere covariante-methoden. Ze konden meer echte alternatieve hypotheses detecteren zonder de FDR te laten exploderen.
• Robuustheid: Zelfs bij een verkeerde keuze van de copula (misspecification), behielden de methoden een goede FDR-controle en presteerden ze beter dan concurrenten.

2. Toepassing op Set4$\Delta$-Mutant Data:

• Context: Analyse van gistgenen die verschillend tot expressie komen bij een mutatie in het Set4-gen onder oxidatieve stress.
• Resultaat:
  • Eén-staps methoden (locfdr, Storey) identificeerden respectievelijk 249 en 424 genen.
  • Two-Stage FDR(H) identificeerde 485 genen.
  • Two-Stage FDR(S) identificeerde 582 genen, het hoogste aantal.
• Biologische Validatie: De extra genen die door Two-Stage FDR(S) werden gevonden, bleken biologisch relevant. Ze omvatten een verrijking van genen gerelateerd aan stressrespons en celwandonderhoud.
• HXT Genfamilie: Een cruciale bevinding was dat Two-Stage FDR(S) alle genen van de HXT-familie (hexose-transporters) identificeerde, terwijl andere methoden slechts een deel daarvan vonden. Deze genen spelen een sleutelrol in de aanpassing van de cel aan zuurstoftekort (hypoxie).

Bijdragen en Significantie

1. Flexibiliteit in Modellering: De paper breekt met de traditionele aannames van uniforme $p$-waarden of spiegel-symmetrie. Door copula's te gebruiken, kunnen onderzoekers elke vorm van afhankelijkheid tussen een primaire variabele en een hulpvariabele modelleren.
2. Verbeterde Power: De methoden tonen aan dat het gebruik van aanvullende informatie (zoals variabiliteit in replicaten) de statistische power aanzienlijk kan verhogen zonder de foutcontrole (FDR) te compromitteren.
3. Twee Strategische Benaderingen: Het onderscheid tussen "Hard" (filteren) en "Soft" (aanpassen) thresholding biedt onderzoekers de keuze tussen een strikte kwaliteitscontrole en een meer nuanceerde, continue aanpassing van de testcriteria.
4. Biologische Impact: De toepassing op de Set4$\Delta$-data demonstreert dat deze statistische methoden direct leiden tot nieuwe biologische inzichten (zoals de volledige identificatie van de HXT-genfamilie), wat de reproduceerbaarheid en betrouwbaarheid van genexpressiestudies verbetert.

Kortom, dit artikel biedt een robuust statistisch raamwerk dat de integratie van externe kennis in multiple testing-procedures mogelijk maakt, wat leidt tot meer accurate en krachtige ontdekkingen in de bio-informatica en daarbuiten.