Confidence envelopes for the false discoveries with heterogeneous data

1. Problema e Motivazione

Il lavoro si colloca nel contesto dell'inferenza selettiva e del testing multiplo. L'obiettivo principale è fornire all'utente "buste di confidenza" (confidence envelopes) per il numero di falsi positivi (False Discoveries - FD) quando si seleziona un sottoinsieme arbitrario di ipotesi nulle basandosi sui dati.

• Contesto attuale: Esistono metodi consolidati (es. Genovese 2006, Goeman 2011, Blanchard 2020) che costruiscono queste buste di confidenza garantendo un controllo simultaneo su tutti i possibili sottoinsiemi di selezione. Tuttavia, la maggior parte di questi metodi assume un caso omogeneo: tutti i p-value sotto l'ipotesi nulla seguono una distribuzione uniforme su $[0, 1]$.
• La sfida: In molte applicazioni reali (es. dati discreti, test esatti come Fisher, dati eterogenei), i p-value sotto l'ipotesi nulla non sono uniformi, ma hanno distribuzioni discrete o eterogenee (diverse per ogni ipotesi).
• Conseguenza: Applicare metodi omogenei a dati eterogenei porta a una perdita di potenza (conservativismo eccessivo). Le buste di confidenza sovrastimano il numero di falsi positivi, rendendo le procedure meno informative e meno utili per la selezione delle scoperte.

2. Metodologia

Gli autori propongono un approccio che integra le distribuzioni note dei p-value (eterogeneità) direttamente nella costruzione delle buste di confidenza, mantenendo la validità statistica.

A. Formalismo e Ipotesi

• Si assume che per ogni ipotesi nulla $H_i$, la funzione di distribuzione cumulativa (CDF) del p-value $p_i$ sia nota o limitata superiormente da una funzione nota $F_i$ (Assunzione 3). Questo permette di sfruttare la conoscenza della distribuzione esatta (es. binomiale) invece di assumere il caso peggiore (uniforme).
• Si assume l'indipendenza dei p-value sotto l'ipotesi nulla.

B. Strumenti Teorici Chiave

Il paper unifica e estende due framework principali:

1. Procedura di Inversione (Inversion Procedure): Basata su test locali. Se si ha una famiglia di test locali $\phi_A$ che controllano l'errore di Tipo I per ogni sottoinsieme di ipotesi $A$, si può derivare una busta di confidenza massimizzando l'intersezione tra un insieme di selezione $S$ e gli insiemi $A$ non rifiutati.
2. Tasso di Errore Congiunto (JER - Joint Error Rate): Basato su "famiglie di riferimento". Si controlla la probabilità che il numero di falsi positivi in una famiglia di regioni predefinite superi una soglia. Le buste di confidenza sono poi ottenute per interpolazione.

C. Nuovi Strumenti Matematici

Per gestire l'eterogeneità, gli autori introducono o adattano disuguaglianze di concentrazione:

• Disuguaglianza di Bretagnolle: Un'analogia eterogenea della disuguaglianza DKW (Dvoretzky-Kiefer-Wolfowitz). Utilizza la media delle CDF individuali ($\bar{F}$) invece di un limite uniforme, offrendo stime più precise.
• Disuguaglianza Simes Eterogenea: Derivata da procedure di controllo FDR adattate all'eterogeneità (Döhler 2018). Definisce soglie dinamiche basate sulle distribuzioni specifiche $F_i$.

D. Shortcut Computazionali

Un contributo metodologico cruciale è lo sviluppo di shortcut (scorciatoie) efficienti per calcolare le buste di confidenza.

• Calcolare la procedura di inversione esatta è NP-difficile.
• Gli autori dimostrano che per test locali basati su disuguaglianze di concentrazione (come Simes o DKW/Bretagnolle), è possibile derivare formule chiuse o algoritmi polinomiali (spesso $O(m^2 \log m)$ o $O(m^3)$) che coincidono con la procedura di inversione nel caso omogeneo e forniscono stime superiori (over-estimator) per il numero di ipotesi nulle ($m_0$) nel caso eterogeneo.
• Questi over-estimatori di $m_0$ vengono poi inseriti nelle procedure JER adattive, rendendole più potenti.

3. Contributi Principali

1. Generalizzazione all'Eterogeneità: Estensione dei metodi di buste di confidenza (JER e Inversione) al caso in cui i p-value hanno distribuzioni nulle note ma non uniformi.
2. Nuove Disuguaglianze di Concentrazione:
   • Raffinamento della disuguaglianza di Bretagnolle per variabili super-uniformi eterogenee.
   • Introduzione di una nuova disuguaglianza di tipo Simes per dati eterogenei, derivata da procedure FDR adattive.
3. Algoritmi Efficienti e "Shortcut":
   • Dimostrazione che le procedure adattive basate su stime di $m_0$ (come quelle proposte in MBR2024) sono shortcut esatti per la procedura di inversione nel caso omogeneo.
   • Sviluppo di algoritmi per calcolare le buste di confidenza nel caso eterogeneo con complessità computazionale gestibile.
4. Unificazione Teorica: Collegamento formale tra le impostazioni "top-k", "k-FWER" e "deterministiche" nel contesto eterogeneo, mostrando l'equivalenza di certe costruzioni (es. le buste Simes omogenee e eterogenee).

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti numerici simulando dati binari (test esatti di Fisher) con diverse configurazioni di eterogeneità (diversi numeri di prove $n_i$ per ogni test).

• Confronto: Le nuove procedure eterogenee sono state confrontate con i loro equivalenti omogenei (DKW, Simes classico, Wellner).
• Risultati:
  • Maggiore Potenza: Le buste eterogenee forniscono limiti inferiori più alti per il numero di scoperte vere (True Positives) e limiti superiori più bassi per i falsi positivi, specialmente quando il segnale è forte o moderato.
  • Adattabilità: Le versioni adattive (che stimano $m_0$ dai dati) mostrano un guadagno di potenza significativo rispetto alle versioni non adattive.
  • Robustezza: In alcune regioni di p-value (p-value molto piccoli), i metodi omogenei possono essere leggermente migliori a causa di termini correttivi specifici, ma globalmente i metodi eterogenei sono meno conservativi e più informativi.
  • Figure 3 e 5: Mostrano chiaramente come le curve dei limiti inferiori per le scoperte vere siano superiori per i metodi eterogenei (Bretagnolle e Simes eterogeneo) rispetto ai metodi omogenei.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Colma un divario pratico: Fornisce strumenti statistici rigorosi per situazioni reali dove i dati sono discreti o eterogenei, evitando la perdita di potenza dovuta all'uso di approssimazioni uniformi.
• Migliora l'efficienza: Le nuove buste di confidenza permettono ai ricercatori di selezionare sottoinsiemi di ipotesi con una garanzia statistica più stretta (meno conservativa), portando a una migliore identificazione delle scoperte reali in campi come la genomica, l'analisi di espressione genica e la risonanza magnetica funzionale (fMRI).
• Fondamento Teorico: Offre una comprensione più profonda delle relazioni tra procedure di inversione, JER e disuguaglianze di concentrazione, fornendo shortcut esatti che validano e migliorano metodi precedenti.

In sintesi, il paper trasforma l'eterogeneità dei dati da un ostacolo che richiede conservativismo in un'opportunità per ottenere stime più precise e potenti del numero di falsi positivi nel testing multiplo.