Planning for gold: Hypothesis screening with split samples for valid powerful testing in matched observational studies

1. Il Problema

Gli studi osservazionali sono strumenti fondamentali per inferire effetti causali in assenza di esperimenti controllati. Tuttavia, sono spesso soggetti a bias da confondimento non misurato (hidden bias), ovvero variabili non osservate che influenzano sia l'assegnazione del trattamento che l'esito.
Quando un ricercatore deve testare un gran numero di ipotesi (es. molteplici esiti o outcome) in uno studio osservazionale, sorge un dilemma di progettazione:

• Come selezionare quali ipotesi testare nell'analisi finale per massimizzare la potenza statistica?
• Come farlo mantenendo la validità dell'inferenza e controllando il tasso di errore di famiglia (FWER), specialmente quando si deve tenere conto di un potenziale bias nascosto?

I metodi tradizionali (come la correzione di Bonferroni su tutto il campione) tendono a essere poco potenti quando il numero di ipotesi è elevato. L'uso di tecniche di "splitting" (divisione dei dati) è stato proposto in passato, ma spesso porta a una perdita di potenza dovuta alla riduzione della dimensione del campione, e le strategie esistenti per la selezione delle ipotesi sono spesso euristiche o limitate a casi specifici.

2. Metodologia Proposta

Gli autori propongono un metodo adattivo basato sulla divisione del campione (split-sample) e sull'utilizzo del valore di sensibilità (sensitivity value) per filtrare le ipotesi promettenti.

A. Divisione del Campione (Split-Sampling)

Il dataset viene diviso casualmente in due parti:

1. Campione di Pianificazione (Planning Sample): Utilizzato per esplorare i dati, stimare la robustezza delle ipotesi e selezionare quali outcome testare.
2. Campione di Analisi (Analysis Sample): Utilizzato esclusivamente per l'inferenza finale e il calcolo dei p-value, garantendo che la selezione non inflazioni il tasso di errore.

B. Il Valore di Sensibilità (Sensitivity Value)

Il cuore del metodo è l'uso del sensitivity value ($\Gamma^*$), definito come il livello minimo di confondimento non misurato necessario per rendere non significativo un effetto causale osservato. A differenza della "design sensitivity" (un concetto asintotico), il valore di sensibilità è una variabile casuale basata sul campione finito, rendendolo più adatto per la selezione in campioni reali.

C. Il Metodo "Sens-Val" (Metodo 2)

Il metodo proposto, chiamato Sens-Val, segue questi passaggi:

1. Calcolo nel campione di pianificazione: Per ogni outcome $l$, si calcola il valore di sensibilità trasformato $\kappa_{\alpha}^{plan}$.
2. Stima della variabilità: Si utilizzano tecniche di bootstrap sul campione di pianificazione per stimare la variabilità del valore di sensibilità ($\hat{\sigma}_F$). Questo è cruciale perché il valore di sensibilità è soggetto a variabilità campionaria.
3. Costruzione di Intervalli Predittivi: Si costruisce un intervallo predittivo per il valore di sensibilità che l'outcome avrebbe nel campione di analisi.
4. Selezione: Un outcome viene selezionato per il test finale se il suo intervallo predittivo suggerisce che il valore di sensibilità nel campione di analisi supererà una soglia di controllo del bias ($\Gamma_{con}$) stabilita dal ricercatore.
5. Test Finale: Gli outcome selezionati vengono testati nel campione di analisi con un livello di significatività corretto per mantenere il controllo del FWER.

Il metodo garantisce teoricamente che il tasso di errore di famiglia (FWER) sia controllato al livello $\alpha$, anche dopo la fase di screening.

3. Contributi Chiave

• Procedura Adattiva Potente: Il metodo supera l'approccio "Naïve" (selezione diretta basata solo sul p-value nel campione di pianificazione) e le correzioni Bonferroni su tutto il campione, specialmente in scenari con alto controllo del bias ($\Gamma$ elevato).
• Gestione della Variabilità Campionaria: A differenza di approcci precedenti che trattavano il valore di sensibilità come un parametro fisso, questo metodo ne stima esplicitamente la variabilità tramite bootstrap, permettendo di costruire intervalli predittivi più accurati.
• Teoria Asintotica e Correzioni di Ordine Superiore: Gli autori derivano un'espansione di Edgeworth per la distribuzione del valore di sensibilità, dimostrando che l'uso del bootstrap fornisce una precisione di ordine $O(I^{-1})$, superiore alla normale approssimazione centrale di ordine $O(I^{-1/2})$.
• Dimostrazione di Superiorità Teorica: Viene dimostrato che il metodo Sens-Val seleziona sempre un numero di outcome maggiore o uguale rispetto al metodo Naïve, garantendo una potenza superiore o equivalente.

4. Risultati

Simulazioni

Gli autori hanno condotto estensive simulazioni con diversi scenari (grandi campioni, piccoli campioni, diversi livelli di confondimento non misurato $\Gamma_{con}$):

• Potenza Superiore: Il metodo Sens-Val mostra una potenza significativamente superiore rispetto alla correzione di Bonferroni su tutto il campione e al metodo Naïve, specialmente quando il ricercatore è "cauto" e richiede un alto livello di controllo del bias (es. $\Gamma_{con} \ge 2.5$).
• Robustezza: Il metodo mantiene prestazioni competitive anche in campioni di dimensioni moderate.
• Confronto con l'Oracolo: In molti casi, la potenza del Sens-Val si avvicina a quella di un "oracolo" che conosce a priori quali sono gli effetti veri (non nulli), dimostrando l'efficacia del filtro di screening.

Applicazione Reale: Alluvioni in Bangladesh (1998)

Il metodo è stato applicato a uno studio osservazionale sugli impatti multidimensionali delle alluvioni del 1998 in Bangladesh (dati di del Ninno et al., 2001).

• Contesto: 757 famiglie, 93 outcome di interesse (cibo, salute, nutrizione, economia).
• Risultati: Il metodo Sens-Val ha identificato con successo effetti significativi su variabili critiche (es. aumento dei giorni di malattia, riduzione della produzione alimentare, aumento dell'uso di crediti per il cibo) anche a livelli di $\Gamma_{con}$ più elevati rispetto ai metodi tradizionali.
• Vantaggio: Ha rilevato discrepanze significative (es. sull'accesso all'acqua da tubewell per cucinare/lavarsi) che il metodo Naïve e il Bonferroni non hanno catturato allo stesso livello di controllo del bias, dimostrando una maggiore robustezza agli errori di confondimento.

5. Significato e Implicazioni

Questo lavoro risolve un problema aperto nella progettazione degli studi osservazionali: come bilanciare l'esplorazione dei dati con la necessità di inferenze valide e potenti in presenza di bias nascosti.

• Validità Scientifica: Fornisce un quadro rigoroso per l'uso dei dati di pianificazione senza compromettere l'integrità statistica dell'analisi finale.
• Efficienza: Permette di "pescare l'oro" (Planning for Gold) selezionando solo le ipotesi più robuste, risparmiando risorse e riducendo il problema della molteplicità senza sacrificare la potenza statistica.
• Flessibilità: Il metodo è flessibile e può essere adattato a diversi contesti, inclusi studi con matching completo (full matching) e diverse statistiche di test.

In sintesi, il paper introduce un metodo statistico avanzato che trasforma la divisione dei dati da un potenziale svantaggio (perdita di potenza) in un vantaggio strategico per identificare effetti causali robusti in studi osservazionali complessi.