Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

Sintesi Tecnica: Limiti Validi Ovunque sulle Proporzioni di Falsi Scoperte nell'Inferenza Conformale

Enunciato del Problema
Le applicazioni moderne dell'inferenza conformale, come il rilevamento di outlier e la selezione di candidati nella scoperta di farmaci, spesso comportano la selezione di campioni di test in base al fatto che le loro $p$-valori conformali siano inferiori a una soglia specifica. L'affidabilità di queste selezioni è quantificata dalla Proporzione di Falsi Scoperte (FDP), definita come la frazione di selezioni errate tra tutte le unità selezionate.

I metodi esistenti, come la procedura di Benjamini–Hochberg (BH), controllano principalmente il Tasso di Falsi Scoperte (FDR), che è il valore atteso della FDP su realizzazioni ripetute dei dati. Questo articolo identifica due limitazioni critiche nello stato dell'arte attuale:

1. Mancanza di Garanzie Realizzate: Controllare la FDP attesa non garantisce che la FDP su un dataset specifico sia piccola. La FDP realizzata può superare sostanzialmente il valore atteso, offrendo nessuna protezione istanza per istanza per i praticanti.
2. Inflexibilità alla Selezione Post Hoc: Le garanzie esistenti richiedono che il livello di significatività $\alpha$ sia fissato in anticipo. Se un praticante esamina i dati e aggiusta la soglia (ad esempio, per aumentare il numero di scoperte), il controllo dell'FDR viene invalidato.

Gli autori mirano a stabilire limiti superiori a campione finito e privi di distribuzione sulla FDP che valgano simultaneamente su tutte le possibili soglie di rifiuto $t \in [0, 1]$. Ciò consente una selezione arbitraria post hoc della soglia mantenendo rigorose garanzie statistiche.

Metodologia
Il nucleo del framework proposto si basa sulla distribuzione congiunta trattabile delle $p$-valori conformali "nulle" indotte dall'assunzione di scambiabilità.

1. Variabili Uniformi Conformali: Gli autori definiscono le variabili uniformi conformali $u_j$ come ranghi normalizzati dei punteggi di test rispetto a un set di calibrazione. Sotto scambiabilità, il vettore di queste variabili ammette una distribuzione congiunta nota $P_{n,m}$ che è indipendente dal meccanismo sottostante di generazione dei dati.
2. Costruzione dell'Inviluppo tramite Campionamento: Invece di affidarsi a disuguaglianze di concentrazione (come Dvoretzky–Kiefer–Wolfowitz) che producono limiti lineari conservativi, gli autori propongono di campionare dalla distribuzione congiunta $P_{n,m}$ per costruire un inviluppo ad alta probabilità per la funzione di distribuzione cumulativa (CDF) empirica delle $p$-valori nulle.
   • Definiscono una statistica riassuntiva $T(F)$ (ad esempio, statistiche di Kolmogorov–Smirnov, Higher-Criticism o Berk-Jones) applicata alla CDF empirica.
   • Generando $B$ campioni Monte Carlo da $P_{n,m}$, calcolano il quantile $(1-\delta)$ della statistica per determinare un cutoff $\hat{T}$.
   • Questo cutoff viene invertito per produrre una funzione inviluppo $G(t)$ tale che $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$.
3. Strategie di Raffinamento per il Rilevamento di Outlier: Per il rilevamento di outlier, dove il numero di vere nulle (inlier) è sconosciuto, gli autori integrano due tecniche di restringimento:
   • Auto-Raffinamento: Adattando una tecnica da [HSG19] per migliorare iterativamente il limite sul numero di falsi scoperte sfruttando la monotonia dell'insieme di selezione.
   • Restringimento della Proporzione di Nulle: Stimando un limite superiore sul numero di vere nulle ($m_0$) e costruendo l'inviluppo basato sulla distribuzione $P_{n,m_0}$ piuttosto che su $P_{n,m}$, riducendo significativamente il conservatorismo.
4. Applicazione alla Selezione Conformale: Per la selezione conformale (ad esempio, scoperta di farmaci), gli autori utilizzano $p$-valori conformali "oracolo" (che dipendono da esiti veri sconosciuti) per limitare il numero di falsi scoperte. Dimostrano che, sotto specifiche funzioni di punteggio monotone (ad esempio, punteggi troncati), il numero di falsi scoperte è limitato dalla CDF empirica di queste variabili oracolo, permettendo l'applicazione diretta del metodo dell'inviluppo simultaneo.

Contributi Chiave

1. Nuovi Limiti Superiori sulle CDF Empiriche: L'articolo stabilisce un nuovo limite superiore ad alta probabilità sulla CDF empirica delle variabili uniformi conformali. Sperimentalmente, questo limite è più stretto dei limiti esistenti basati su disuguaglianze di tipo DKW, in particolare adattandosi all'eteroschedasticità della CDF empirica (che varia con $t$).
2. Limiti Simultanei sulla FDP per il Rilevamento di Outlier: Gli autori sviluppano un metodo per limitare la FDP per il rilevamento di outlier simultaneamente su tutte le soglie. Ciò combina il limite CDF migliorato con le tecniche di auto-raffinamento e restringimento della proporzione di nulle.
3. Primi Limiti FDP a Campione Finito per la Selezione Conformale: L'articolo fornisce i primi limiti FDP a campione finito che valgono uniformemente su tutte le soglie di rifiuto per i problemi di selezione conformale.
4. Framework Generale: Il lavoro introduce un framework generale per derivare limiti ad alta probabilità su funzioni casuali campionando dalla distribuzione congiunta delle $p$-valori nulle, offrendo limiti più precisi rispetto agli approcci basati su disuguaglianze di concentrazione, pur preservando la validità a campione finito.

Risultati
Gli autori validano il loro framework attraverso esperimenti su dati sintetici e reali:

• Rilevamento di Outlier Sintetico: Esperimenti su modelli di mistura gaussiana dimostrano che i limiti FDP proposti (in particolare utilizzando la statistica Higher-Criticism Troncata) mantengono una copertura valida (superiore al 90% di confidenza target) su 100 repliche. I limiti risultano sostanzialmente meno conservativi dei limiti lineari di base, specialmente per piccole soglie di rifiuto. La combinazione di auto-raffinamento e restringimento della proporzione di nulle produce i limiti più precisi.
• Scoperta di Farmaci nel Mondo Reale: Utilizzando il dataset DAVIS per la previsione delle interazioni farmaco-target, il metodo viene applicato per selezionare candidati farmacologici promettenti. I risultati mostrano che il limite superiore simultaneo si colloca costantemente al di sopra della FDP vera su tutte le soglie di selezione nel 92% delle esecuzioni indipendenti.
• Adattività Post Hoc: L'articolo dimostra che i praticanti possono variare adattivamente la soglia di selezione (ad esempio, aumentando $\alpha$ per trovare più candidati) mentre il limite proposto rimane valido. Al contrario, gli aggiustamenti post hoc standard del livello BH falliscono nel limitare superiormente la FDP realizzata.

Significato e Affermazioni
L'articolo afferma di fornire una soluzione al problema della "FDP realizzata", offrendo ai praticanti garanzie istanza per istanza piuttosto che solo garanzie di caso medio. Abilitando una selezione arbitraria post hoc della soglia, il framework supporta un'esplorazione flessibile e guidata dai dati senza sacrificare il rigore statistico. Gli autori sottolineano che il loro approccio produce limiti "sostanzialmente meno conservativi" rispetto ai metodi esistenti, rendendo l'inferenza conformale più pratica per applicazioni ad alto rischio come la scoperta scientifica e lo screening medico, dove i costi di follow-up sono elevati. Il lavoro è presentato come una strategia unificata applicabile a qualsiasi problema in cui la distribuzione congiunta delle $p$-valori nulle può essere simulata, estendendosi oltre i specifici esempi di rilevamento di outlier e selezione conformale.