Sensitivity Analysis for False Discovery Rate Estimation with Published p-Values

1. Il Problema: Bias di Pubblicazione e Stima del FDR

Il lavoro affronta una sfida critica nella statistica moderna: la stima del Tasso di Falsi Positivi (False Discovery Rate - FDR) basata esclusivamente su p-value pubblicati.

• Contesto: Esiste un forte interesse nel valutare l'affidabilità della letteratura scientifica (es. psicologia, medicina) analizzando i p-value pubblicati. Tuttavia, la pubblicazione è soggetta a un bias di selezione (o bias di pubblicazione), dove solo i risultati statisticamente significativi (spesso $p < 0.05$) vengono pubblicati.
• La Critica: Gli stimatori FDR esistenti (es. Jager & Leek, 2014) devono assumere un modello di selezione specifico (es. "pubblicazione solo se $p < 0.05$"). Se questo modello di selezione è errato (misspecificato), le stime del FDR possono essere distorte (conservative o liberali), portando a conclusioni errate sulla riproducibilità della scienza.
• Il Gap: Mancano ricerche formali che quantifichino come la misspecificazione del modello di selezione influenzi la bias (distorsione) e la varianza degli stimatori FDR.

2. Metodologia e Modelli Teorici

Gli autori sviluppano un quadro teorico rigoroso per analizzare gli stimatori FDR in presenza di selezione.

• Modello di Mixture dei p-value: Si assume che i p-value provengano da una distribuzione mista:
  • $H_0$ (ipotesi nulla vera): $P \sim \text{Uniform}(0,1)$ con probabilità $\pi_0$.
  • $H_1$ (ipotesi nulla falsa): $P \sim F_1(t)$, dove i p-value tendono a essere più piccoli (modellati spesso con una distribuzione Beta).
• Modello di Probabilità di Selezione (SPM): Viene introdotto un modello formale $\mu(p)$ che descrive la probabilità che un p-value $p$ venga selezionato (pubblicato).
  • $\mu(p)$ è una funzione non crescente: p-value più grandi hanno meno probabilità di essere selezionati.
  • Esempi considerati: regole a gradino (es. $p < 0.05$), modelli continui (es. distribuzione Beta), e modelli che riflettono pratiche come il "p-hacking" o la distinzione tra test a una e due code.
• Stimatore FDR Post-Selezione: Gli autori si concentrano su uno stimatore semplice ma consolidato (Hung & Fithian, 2020), che aggiusta i p-value pubblicati ($p'_i = p_i / \alpha$) e applica uno stimatore dei momenti per stimare la proporzione di nulli veri ($\hat{\pi}_0$):
  $$\widehat{FDR} = \frac{1}{n'} \sum_{i=1}^{n'} \frac{\mathbb{I}(p'_i > \lambda)}{1 - \lambda}$$
  dove $\lambda$ è un parametro di taratura.

3. Contributi Chiave: Espressioni Chiusa per Bias e Varianza

Il contributo principale del paper è la derivazione di espressioni analitiche chiuse per il bias e la varianza dello stimatore FDR sotto modelli di selezione arbitrari.

• Bias: Viene derivata una formula generale (Teorema 4.1) che esprime il bias in funzione del modello di selezione $\mu(p)$, della proporzione di nulli $\pi_0$, della potenza del test e del parametro $\lambda$.
  • Risultato Sorprendente: Quando il modello di selezione assunto per l'aggiustamento dei p-value non corrisponde al modello di selezione reale, il bias può essere negativo (sottostima del FDR) e non necessariamente monotono rispetto a $\lambda$.
  • In scenari realistici (alta $\pi_0$, bassa potenza, selezione che favorisce fortemente p-value molto piccoli), lo stimatore tende a sottostimare drasticamente il FDR.
• Varianza: Viene fornita un'approssimazione asintotica della varianza (Teorema 4.2) basata sulla distribuzione normale multivariata, utile per grandi campioni.
• Analisi di Sensibilità: Le formule permettono di condurre un'analisi di sensibilità: invece di fornire una singola stima FDR basata su un'ipotesi di selezione rigida, è possibile calcolare l'intervallo di stime plausibili variando i parametri del modello di selezione.

4. Risultati e Validazione Empirica

Gli autori validano le loro teorie su due dataset reali:

1. Open Science Collaboration (2015) - Psicologia:

   • Utilizzando i dati di Johnson et al. (2017), che includono sia p-value originali che di replica (considerati "gold standard"), gli autori dimostrano che le loro formule di bias riescono a spiegare le discrepanze tra lo stimatore basato solo sui p-value originali e la stima reale.
   • Le stime corrette per il bias si allineano bene con i risultati del gold standard, confermando l'accuratezza delle espressioni teoriche.

2. Abstract di Riviste Mediche (Jager & Leek, 2014):

   • Applicando l'analisi di sensibilità a p-value estratti da abstract medici, mostrano come la stima del FDR vari drasticamente a seconda dell'assunzione sul modello di selezione (parametro $\rho$ nel modello a gradino).
   • Esempio: Se si assume che p-value $< 0.025$ siano 2.5 volte più probabili di essere pubblicati rispetto a quelli tra 0.025 e 0.05, la stima del FDR corretto aumenta significativamente rispetto all'assunzione standard di $p < 0.05$.

5. Significato e Implicazioni

• Per la Ricerca Scientifica: Il lavoro fornisce strumenti matematici per diagnosticare la salute dell'ecosistema scientifico. Dimostra che le stime FDR basate su p-value pubblicati sono intrinsecamente fragili se non si tiene conto della possibile misspecificazione del modello di selezione.
• Per i Policy Maker e Ricercatori: Invece di affidarsi a una singola stima puntuale, gli autori raccomandano di riportare un intervallo di stime FDR derivato da un'analisi di sensibilità su diversi modelli di selezione plausibili. Questo approccio offre una visione più onesta e robusta della riproducibilità.
• Contributo Metodologico: La capacità di calcolare il bias in forma chiusa per modelli parametrici comuni permette di correggere le stime o quantificare l'incertezza senza bisogno di dati di replica (che spesso non sono disponibili).

In sintesi, il paper trasforma la stima del FDR da un esercizio di assunzione di modelli rigidi a un processo di analisi di sensibilità, fornendo le basi teoriche per comprendere quanto le nostre conclusioni sulla "crisi della riproducibilità" dipendano dalle nostre ipotesi su come la scienza viene pubblicata.