Scalable Counterfactual Risk Estimation for Rare Events in Longitudinal Data

Sintesi Tecnica: Stima del Rischio Controfattuale Scalabile per Eventi Rari in Dati Longitudinali

Definizione del Problema

Stimare l'effetto causale di trattamenti tempo-varianti su esiti di sopravvivenza in studi osservazionali su larga scala è computazionalmente proibitivo quando gli esiti sono rari. Gli approcci standard basati sulla g-formula, come gli stimatori Iterative Conditional Expectation (ICE) e Non-Iterative Conditional Expectation (NICE), richiedono l'adattamento di modelli di regressione ad ogni punto temporale su l'intero coorte. In contesti con eventi rari (ad esempio, il rischio di suicidio), ciò porta a un grave squilibrio delle classi, causando instabilità e una convergenza lenta nella regressione logistica. Inoltre, l'inferenza valida richiede tipicamente la stima della varianza tramite bootstrap, che comporta ripetute ricampionamenti e adattamenti di modelli, aumentando esponenzialmente il carico computazionale. In ambienti sicuri o con vincoli di memoria, l'elaborazione ripetuta di interi coorti longitudinali è spesso impraticabile.

Metodologia

Gli autori propongono una strategia di sottocampionamento e pesatura caso-controllo longitudinale basata su principi, progettata per ridurre i costi computazionali pur preservando la consistenza statistica. Il metodo è applicabile a una vasta classe di stimatori causali longitudinali, con un focus specifico sullo stimatore ICE.

Meccanismo Centrale:

1. Sottocampionamento Dipendente dall'Esito: Invece di analizzare l'intero coorte, il metodo mantiene tutti gli individui che sperimentano l'evento (casi) in ogni punto temporale $t$. I controlli (individui che rimangono privi dell'evento) vengono sottocampionati con un rapporto specifico $J_t$ (ad esempio, 5, 10 o 20 controlli per ogni caso).
2. Vincoli Longitudinali: A differenza dei design caso-controllo standard che operano localmente, questo approccio rispetta la struttura temporale dei dati longitudinali. Le decisioni di campionamento in un punto temporale impongono vincoli sui punti successivi a causa della sopravvivenza e della dipendenza intra-soggetto. Il metodo costruisce un dataset campionato coerente che tiene conto di queste dipendenze cross-temporali.
3. Pesatura per la Consistenza: Per garantire che il sottocampione fornisca stime consistenti del rischio controfattuale della popolazione totale, gli autori derivano pesi specifici ($w_t, m_t, \ell_t$) per i casi, i controlli campionati e gli individui censurati.
   • I pesi sono derivati equiparando il contributo ponderato totale atteso degli individui attraverso gruppi mutuamente esclusivi (ad esempio, coloro che muoiono al tempo $t$, coloro che sono censurati al tempo $t$ e coloro che sopravvivono).
   • Gli autori dimostrano che, in presenza di queste condizioni di bilanciamento, le equazioni di stima ponderate del sottocampione sono stimatori non distorti delle equazioni di stima a livello di popolazione.
4. Integrazione dell'Algoritmo: Lo schema di pesatura proposto è integrato nell'algoritmo ICE standard (Algoritmo 2). Ad ogni passaggio di iterazione a ritroso (da $T$ a 0), l'attuale punto temporale globale è trattato come un baseline locale, e i pesi appropriati vengono applicati all'adattamento dei modelli di aspettativa condizionata.

Gestione della Censura:
Il framework gestisce esplicitamente la censura amministrativa e la perdita al follow-up. Gli individui censurati sono inclusi nel sottocampione nei punti temporali precedenti alla loro censura, con pesi derivati per bilanciare il loro contributo rispetto a casi e controlli.

Contributi Chiave

• Framework Scalabile: Il documento introduce un framework di sottocampionamento generale che può essere applicato agli esistenti stimatori basati sulla g-formula (ICE e NICE) per ridurre drasticamente il carico computazionale in contesti di eventi rari.
• Consistenza Teorica: Gli autori forniscono una prova teorica (Teorema 1) dimostrando che lo stimatore di sottocampionamento proposto rimane consistente per il rischio controfattuale target $E(Y^g_T)$ sotto le standard assunzioni causali (consistenza, scambiabilità, positività), a condizione che le equazioni di bilanciamento dei pesi derivati siano soddisfatte.
• Schema di Pesatura Pratico: Il documento offre uno schema di pesatura concreto e flessibile che consente rapporti di campionamento variabili tra i punti temporali, adattandosi a scenari in cui i tassi di eventi cambiano durante la durata dello studio.

Risultati

Gli autori hanno valutato il metodo attraverso estese simulazioni e un'applicazione nel mondo reale.

Studi di Simulazione:

• Configurazione: Dati longitudinali simulati con $N=30.000$ individui su 6 punti temporali, con una bassa prevalenza di eventi (~1%).
• Efficienza Computazionale: L'approccio di sottocampionamento ha ottenuto una drastica riduzione del tempo di calcolo. Per la regressione logistica, il tempo di esecuzione totale è stato ridotto di circa il 60–70% (ad esempio, da ~11,8s a ~5,8s per NICE). Per modelli di machine learning più complessi (SuperLearner), la riduzione è stata ancora più pronunciata, passando da ~63 minuti a ~3–5 minuti.
• Performance Statistica: Le stime del rischio dal sottocampione erano comparabili a quelle del dataset completo. Aumentando il rapporto controllo-caso ($J$) da 5 a 20, l'errore standard è diminuito, avvicinandosi alle stime del campione completo. I boxplot delle medie bootstrap hanno mostrato che le versioni di sottocampionamento seguivano da vicino i risultati del dato completo.
• Robustezza: Il metodo è rimasto efficace in contesti di media prevalenza (~2,5% e ~6%), sebbene il vantaggio computazionale sia naturalmente diminuito all'aumentare del tasso di eventi.

Applicazione nel Mondo Reale:

• Dataset: Un coorte di 127.399 veterani statunitensi dimessi da ospedali psichiatrici, seguiti per il rischio di suicidio (331 eventi) durante cinque intervalli di 6 mesi.
• Performance: Lo stimatore ICE di sottocampionamento è stato eseguito in circa un quarto del tempo richiesto dalla versione con dati completi (5,73s vs 24,66s per ogni fit).
• Accuratezza: Le stime puntuali del rischio di suicidio sotto diverse strategie di trattamento (sempre trattati vs mai trattati) erano simili tra i due metodi. L'approccio di sottocampionamento ha mostrato errori standard leggermente più ampi al punto temporale finale, coerentemente con la riduzione della dimensione del campione, ma ha mantenuto la validità complessiva.

Significatività e Rivendicazioni

Il documento afferma che il metodo proposto offre un'alternativa scalabile alla stima del coorte completo per l'inferenza causale longitudinale in contesti di eventi rari. La sua primaria significatività risiede nel rendere applicabile l'inferenza causale rigorosa basata sulla g-formula a dataset massivi dove l'adattamento del campione completo è computazionalmente impraticabile, particolarmente quando è richiesto il campionamento bootstrap per l'inferenza.

Gli autori sottolineano che:

1. Il metodo preserva la consistenza senza richiedere nuove assunzioni di identificazione oltre a quelle della g-formula standard.
2. Allevia il collo di bottiglia computazionale causato dai ripetuti adattamenti di modelli su set di rischio altamente sbilanciati.
3. È flessibile, permettendo rapporti di campionamento adattivi e vari schemi di pesatura, purché le equazioni di bilanciamento siano soddisfatte.
4. L'approccio è particolarmente prezioso per analisi online o di routine dove i modelli devono essere rifittati frequentemente man mano che nuovi dati arrivano, poiché i risparmi di tempo cumulativi dal campionamento bootstrap sono sostanziali (ad esempio, riducendo un processo di bootstrap di 6,9 ore a 1,6 ore).

Il documento conclude che, sebbene il passaggio di sottocampionamento riduca il costo, esso non altera l'estimando target, rendendolo uno strumento pratico per i ricercatori che operano con dati longitudinali su larga scala con esiti rari.