Nonparametric methods controlling the median of the false discovery proportion

1. Il Problema e il Contesto

Nella ricerca moderna, specialmente in campi come la sicurezza alimentare (es. test di non-inferiorità o equivalenza per OGM), la tossicologia e l'analisi genomica, si affrontano spesso problemi di test multipli di ipotesi con una caratteristica specifica:

• Ipotesi a priori: L'utente si aspetta che la maggior parte delle ipotesi nulle sia falsa (o, più precisamente, che i parametri veri cadano in una specifica direzione o intervallo, come $|\theta| < \delta$ o $\theta > \delta$).
• Obiettivo: L'obiettivo non è solo controllare l'errore, ma corroborare statisticamente l'aspettativa che la maggior parte delle ipotesi sia falsa, identificando quanti parametri rientrano effettivamente in quell'intervallo o direzione.
• Limiti degli approcci esistenti: I metodi classici per il controllo del False Discovery Rate (FDR, media della proporzione di falsi scoperti) o del Familywise Error Rate (FWER) possono essere eccessivamente conservativi in questi scenari specifici, specialmente quando si utilizzano test a due code invece che a una coda, o quando si richiede una validità in campioni finiti senza forti assunzioni distribuzionali.

Il paper si concentra sul controllo della mediana della proporzione di falsi scoperti (mFDP), definita come la frazione di scoperte errate tra le ipotesi rifiutate. Controllare la mediana ($P(FDP \le \gamma) \ge 0.5$) è spesso più potente e appropriato rispetto al controllo della media (FDR) quando ci si aspetta un alto numero di ipotesi alternative vere.

2. Metodologia Proposta

L'autore propone un approccio non parametrico (o semiparametrico) che sfrutta una proprietà di simmetria delle statistiche di test.

Assunzione Chiave (Assunzione 2)

Il metodo si basa sull'assunzione che il vettore delle statistiche di test corrispondenti alle ipotesi vere ($N$), centrate rispetto ai loro valori attesi ($\mu_j$), sia simmetrico rispetto all'origine:
$$(T_j - \mu_j : j \in N) \stackrel{d}{=} (-(T_j - \mu_j) : j \in N)$$
Questa assunzione è soddisfatta, ad esempio, se le statistiche sono normali multivariate, ma vale anche per distribuzioni non normali in campioni finiti (es. modelli di posizione non parametrici o test di permutazione), purché la simmetria sia rispettata.

Stima Mediana Non distorta dell'FDP

Il cuore della metodologia è la costruzione di un stimatore mediana non distorto per il numero di falsi positivi ($V$) e, di conseguenza, per l'FDP.

• Test a una coda (Non-inferiorità): Per un soglia $t$, si definisce l'insieme delle ipotesi rifiutate $R(t) = \{j : T_j - \delta_j > t\}$. Lo stimatore per il numero di falsi positivi è $\tilde{V}(t) = R(t) \wedge R^-(t)$, dove $R^-(t) = \{j : T_j - \delta_j < -t\}$ è il numero di statistiche che cadono nella regione speculare (riflessa).
• Test di Equivalenza: Per ipotesi di non-equivalenza $H_j: |\mu_j| \ge \delta_j$, si rifiuta se $|T_j| < \delta_j - t$. Lo stimatore è analogo, confrontando il numero di rifiuti con il numero di statistiche che cadono nella regione "esterna" simmetrica $|T_j| > \delta_j + t$.

La proprietà di simmetria garantisce che, sotto l'ipotesi nulla, la probabilità che lo stimatore sottostimi il numero reale di falsi positivi sia al massimo 0.5. Quindi, $\tilde{FDP}(t)$ è un limite superiore con confidenza del 50% per l'FDP.

Procedura di Controllo mFDP

Il paper propone un algoritmo (Sezione 5.1) per selezionare un insieme di ipotesi da rifiutare in modo che la mediana dell'FDP sia controllata a un livello $\gamma$ (es. 0.1):

1. Si calcola lo stimatore $\tilde{FDP}(t)$ per diverse soglie $t$.
2. Si identifica la soglia $s^+$ tale che $\tilde{FDP}(s^+) \le \gamma$ e che massimizza il numero di rifiuti.
3. Si rifiutano tutte le ipotesi con statistiche oltre questa soglia.
4. Teoremi di Validità: Vengono dimostrati teoremi (5.1 e 5.2) che garantiscono il controllo dell'mFDP in campioni finiti (con alcune condizioni di indipendenza) e asintoticamente (senza condizioni di indipendenza forti), anche quando la maggior parte delle ipotesi è falsa.

3. Contributi Chiave

1. Potenza Superiore in Scenari Specifici: Il metodo è progettato specificamente per situazioni in cui ci si aspetta a priori che la maggior parte delle ipotesi sia falsa. In questi casi, supera in potenza i metodi esistenti basati su permutazioni (come SAM e SAM+CT) e i metodi di controllo del FDR classici.
2. Validità Non Parametrica: Non richiede assunzioni sulla distribuzione esatta delle statistiche (es. normalità), ma solo sulla simmetria della distribuzione congiunta delle statistiche nulle. Questo lo rende robusto e applicabile a modelli complessi (es. GLM).
3. Efficienza Computazionale: A differenza dei metodi basati su permutazioni complete o closed testing (come SAM+CT), che hanno complessità esponenziale e sono limitati a piccoli $m$, il nuovo metodo ha una complessità lineare in $m$ (dopo l'ordinamento delle statistiche). Questo lo rende applicabile a problemi su larga scala.
4. Stimatori Admissibili: Viene dimostrato che gli stimatori proposti (in particolare una versione adattata $\tilde{V}'$ che gestisce i casi di parità tramite una moneta virtuale) sono admissibili, ovvero non possono essere uniformemente migliorati da altri stimatori validi.
5. Flessibilità: Il metodo può essere applicato sia a test direzionali (non-inferiorità) che a test di equivalenza.

4. Risultati Sperimentali

Il paper presenta simulazioni e un'analisi di dati reali:

• Simulazioni (Sezione 6.1): Confrontando lo stimatore proposto con il metodo SAM (Significance Analysis of Microarrays) e SAM+CT, i risultati mostrano che il nuovo metodo produce stime dell'FDP mediamente più basse (quindi più potenti) quando la proporzione di ipotesi vere ($\pi_0$) è bassa (es. $\pi_0 = 0.1$), che è lo scenario target.
• Controllo della Potenza (Sezione 6.2): Nella simulazione del controllo mFDP, il metodo proposto supera in potenza il metodo di Romano-Wolf (stepdown FDX), il metodo di Benjamini-Hochberg (che controlla la media) e la procedura flessibile di Hemerik et al. (2024), specialmente quando il numero di ipotesi false è elevato.
• Analisi Dati Reali (Sezione 6.3): Applicazione a un dataset sulle vendite immobiliari di Ames (Iowa). Il metodo è stato usato per testare se i coefficienti di regressione fossero significativamente maggiori di -0.1. Il metodo proposto ha rifiutato 30 su 31 ipotesi, mentre il metodo Benjamini-Hochberg ne ha rifiutate 29. In una versione con campione ridotto ($n=100$), il metodo proposto ha mantenuto una potenza superiore (27 rifiuti vs 16 di BH).

5. Significato e Implicazioni

Questo lavoro rappresenta un avanzamento significativo nella statistica inferenziale per test multipli, specialmente in contesti applicativi dove:

• L'obiettivo è dimostrare l'equivalenza o la non-inferiorità di molti parametri (es. sicurezza di prodotti, bioequivalenza).
• Si dispone di una forte aspettativa a priori che la maggior parte degli effetti sia reale.
• È necessario un controllo rigoroso degli errori (validità in campioni finiti) senza assumere distribuzioni parametriche complesse.

La capacità di controllare la mediana dell'FDP invece della media offre un compromesso ottimale tra conservatorismo (FWER) e potenza (FDR), garantendo che in almeno il 50% dei casi (o in una ripetizione del processo), la proporzione di errori sia bassa. L'implementazione nel pacchetto R mFDP rende questi metodi immediatamente accessibili alla comunità statistica e scientifica.