A simple strategy for valid inference in target trial emulations

1. Enunciato del Problema

L'emulazione di un trial target è un quadro strutturato per l'inferenza causale che utilizza dati osservazionali, in cui i ricercatori specificano un trial randomizzato ipotetico (il "trial target") e tentano di replicarne il protocollo utilizzando dati del mondo reale. Sebbene questo approccio chiarisca le domande causali e riduca i bias (ad esempio, il bias del tempo immortale), affronta una sfida statistica critica: la natura iterativa della specifica del protocollo.

Nella pratica, gli investigatori raramente definiscono il protocollo del trial target a priori. Invece, affinano iterativamente il protocollo (criteri di eleggibilità, strategie di trattamento, esiti e modelli statistici) dopo aver ispezionato i dati osservazionali per garantire fattibilità e identificabilità. Ciò crea due principali minacce alla validità statistica:

1. Data Snooping/Inferenza Selettiva: Quando lo stesso dataset viene utilizzato sia per selezionare il protocollo (ad esempio, scegliendo un confronto specifico di trattamento o un esito basato su dimensioni dell'effetto preliminari) sia per stimare l'effetto, gli intervalli di confidenza convenzionali perdono le loro garanzie di copertura nominale. L'inferenza diventa distorta perché il modello è stato "sintonizzato" sul rumore specifico di quel dataset.
2. Tassi di Copertura Invalidi: La teoria statistica standard assume che il piano di analisi sia fissato prima dell'ispezione dei dati. Il raffinamento iterativo basato sulle caratteristiche dei dati (ad esempio, eliminare covariate a causa di problemi di convergenza, escludere sottogruppi con trattamenti rari o selezionare esiti con effetti osservati più grandi) gonfia i tassi di errore di Tipo I e invalida i valori p e gli intervalli di confidenza.

2. Metodologia: Split del Campione

Il documento propone una procedura di split del campione per disaccoppiare la selezione del protocollo dalla stima dell'effetto, garantendo un'inferenza statistica valida anche quando il protocollo è guidato dai dati.

La Procedura:

1. Split Casuale: Prima di qualsiasi analisi, il dataset viene diviso casualmente in due campioni indipendenti:
   • Il Campione di Specifica: Utilizzato per l'analisi esplorativa.
   • Il Campione di Emulazione: Utilizzato per la stima finale e l'inferenza.
2. Fase 1 (Specificazione): Gli investigatori utilizzano il Campione di Specifica per:
   • Valutare la disponibilità dei dati e le definizioni delle variabili.
   • Determinare l'identificabilità (ad esempio, verificando la presenza di confondimento non misurato).
   • Valutare la fattibilità (ad esempio, verificando le dimensioni del campione per trattamenti rari).
   • Selezionare il protocollo finale del trial target (elegibilità, strategie di trattamento, esiti) e lo stimatore/modello statistico specifico.
   • Crucialmente, tutte le decisioni riguardanti lo stimando causale e il piano di analisi sono finalizzate qui.
3. Fase 2 (Emulazione): Il protocollo finalizzato viene applicato al Campione di Emulazione (che non è mai stato visto durante la fase di selezione).
   • La stima dell'effetto e gli intervalli di confidenza sono calcolati strettamente su questo secondo campione.
   • Poiché il protocollo è fissato rispetto al Campione di Emulazione, l'inferenza statistica standard (ad esempio, intervalli di confidenza al 95%) mantiene le sue garanzie di copertura nominale.

Analogia: Gli autori paragonano questo processo al ciclo di sviluppo dei farmaci clinici, dove gli studi pilota/fase precoce (Campione di Specifica) informano la progettazione di un trial di Fase 3 (Campione di Emulazione), che viene poi analizzato in modo indipendente.

3. Contributi Chiave

• Risoluzione del Bias Iterativo: Il documento fornisce una soluzione semplice e pratica al problema della "selezione del protocollo dipendente dai dati". Dimostra che un'inferenza valida è possibile anche quando gli investigatori utilizzano i dati per affinare l'eleggibilità, le definizioni di trattamento e le specifiche del modello, a condizione che la stima finale avvenga su un campione tenuto da parte.
• Distinzione dagli Split di Machine Learning: Gli autori chiariscono che questo approccio differisce dal cross-fitting standard o dagli split training/validation/test nel machine learning. Nell'emulazione di un trial target, il primo split viene utilizzato per scegliere lo stimando e la struttura del protocollo stesso, non solo per adattare gli iperparametri del modello. Pertanto, il cross-fitting standard (che assume che la struttura del modello sia fissata) non è applicabile.
• Gestione della Segnalazione Selettiva: Il metodo mitiga il rischio di "scelta dello stimando" (selezionare il protocollo che produce i risultati più promettenti). Anche se gli investigatori esplorano più protocolli nel Campione di Specifica e scelgono quello con l'effetto più grande, l'inferenza finale sul Campione di Emulazione rimane non distorta riguardo a quella specifica scelta.
• Chiarimento delle Limitazioni: Il documento nota esplicitamente che, sebbene lo split del campione risolva la validità statistica (copertura), non risolve la validità clinica. Se il protocollo viene rivisto per una popolazione più facile da analizzare ma meno clinicamente rilevante, il risultato è ancora valido per quella specifica popolazione, ma potrebbe non rispondere alla domanda clinica originale.

4. Risultati e Giustificazione Teorica

Il documento sostiene teoricamente che lo split del campione ripristina la validità degli intervalli di confidenza in quattro scenari specifici in cui l'inferenza convenzionale sull'intero campione fallisce:

1. Vincoli di Fattibilità: Quando i protocolli sono rivisti in base alla disponibilità delle variabili (ad esempio, rimuovendo un esito non registrato nel database).
2. Vincoli di Identificabilità: Quando i protocolli sono rivisti perché mancano confonditori chiave (ad esempio, passando a un confronto di trattamento in cui il confondimento è meglio controllato).
3. Vincoli di Precisione/Fattibilità: Quando i sottogruppi sono esclusi a causa di trattamenti rari o quando problemi di convergenza del modello costringono a passare a assunzioni parametriche.
4. Segnalazione Selettiva: Quando gli investigatori esplorano più variazioni del protocollo e riportano solo quelle più "interessanti".

In tutti questi casi, poiché il processo di selezione è confinato al Campione di Specifica, il Campione di Stima agisce come un dataset "fresco" in cui il protocollo è di fatto pre-specificato. Pertanto, la probabilità di copertura degli intervalli di confidenza rimane al livello nominale (ad esempio, 95%).

5. Significato e Limitazioni

Significato:

• Collegamento tra Pratica e Teoria: Allinea la realtà della ricerca osservazionale (che è intrinsecamente iterativa) con i rigorosi requisiti dell'inferenza statistica.
• Trasparenza: Incoraggia un flusso di lavoro trasparente in cui gli investigatori devono documentare i risultati esplorativi e le scelte fatte nel Campione di Specifica, simile alla segnalazione dei risultati degli studi pilota.
• Accessibilità: A differenza di metodi complessi di inferenza adattiva (ad esempio, privacy differenziale o algoritmi di inferenza selettiva), lo split del campione è concettualmente semplice e facile da implementare utilizzando software statistico standard.

Limitazioni:

• Perdita di Potenza: Lo svantaggio principale è che solo una frazione dei dati (ad esempio, 80-90%) viene utilizzata per la stima finale, riducendo la potenza statistica. Gli autori suggeriscono che un piccolo Campione di Specifica (10-20%) è spesso sufficiente per la progettazione del protocollo.
• Nessun Cross-Fitting: Il cross-fitting standard non può essere utilizzato perché il "modello" che viene selezionato è l'intero protocollo causale, non solo un parametro di disturbo.
• Bias da Conoscenza Previa: Il metodo non protegge completamente contro il bias se gli investigatori hanno conoscenze pregresse dei dati da analisi precedenti (ad esempio, emulazioni precedenti di trial simili), poiché i dati "non visti" non sono realmente invisibili all'intuizione del ricercatore. Tuttavia, gli autori sostengono che questo bias è probabilmente inferiore al bias derivante dall'uso degli stessi dati due volte per selezione e stima.

Conclusione:
Il documento conclude che lo split del campione è una strategia robusta e semplice per garantire che le emulazioni di trial target producano inferenze statistiche valide, anche quando il protocollo è raffinato in base all'ispezione dei dati. Riflette lo standard aureo dello sviluppo dei trial randomizzati (dai piloti alla Fase 3) e dovrebbe essere adottato per prevenire l'inflazione dei tassi di falsi positivi nella ricerca sull'efficacia comparativa.