Counterfactual Q Learning via the Linear Buckley James Method for Longitudinal Survival Data

Sintesi Tecnica: Q-Learning Controfattuale tramite il Metodo Lineare di Buckley–James per Dati di Sopravvivenza Longitudinali

Definizione del Problema
L'assistenza sanitaria personalizzata si affida sempre più a Regimi di Trattamento Dinamici (DTR) per ottimizzare le decisioni terapeutiche sequenziali basate sull'evoluzione delle condizioni del paziente. Tuttavia, una sfida significativa nell'applicare l'apprendimento per rinforzo (specificamente il Q-Learning) all'analisi della sopravvivenza è la prevalenza di dati censurati. Nei trial clinici, i tempi di sopravvivenza sono spesso incompleti a causa dell'abbandono dei pazienti o della conclusione dello studio (censura a destra). I framework standard di Q-Learning faticano con questa incompletezza perché richiedono stime precise dei premi (tempi di sopravvivenza) per apprendere le politiche ottimali. Sebbene il modello dei rischi proporzionali di Cox sia uno strumento comune per l'analisi della sopravvivenza, esso si basa sull'assunzione di rischi proporzionali e offre rapporti di rischio che possono essere controintuitivi per un confronto diretto degli esiti. Inoltre, gli esistenti metodi per gestire la censura nei DTR, come il weighting della probabilità inversa o i minimi quadrati pesati, potrebbero non facilitare adeguatamente il confronto diretto dei tempi di sopravvivenza imputati tra diverse strategie di trattamento sotto un framework controfattuale.

Metodologia
Gli autori propongono il framework Linear Buckley–James Q-Learning (BJ-Q), che integra il metodo di imputazione di Buckley–James con l'apprendimento per rinforzo per affrontare i dati di sopravvivenza censurati.

1. Struttura del Framework: Il metodo opera in un contesto longitudinale con $K$ punti decisionali. In ogni fase $k$, l'obiettivo è stimare la funzione Q, definita come il tempo di sopravvivenza cumulativo atteso dal punto $k$ in poi, data la storia del paziente e un trattamento specifico.
2. Imputazione di Buckley–James: Per gestire la censura a destra, il framework impiega l'estimatore di Buckley–James all'interno di un modello di Tempo di Guasto Accelerato (AFT). Per le osservazioni censurate, il tempo di sopravvivenza non osservato viene imputato utilizzando l'aspettativa condizionata del tempo di sopravvivenza dato i dati osservati e lo stato di censura.
   • Il tempo di sopravvivenza imputato $Y^*_{i,k}$ è calcolato come $\delta_{i,k}T_{i,k} + (1-\delta_{i,k})E[T_{i,k} | T_{i,k} > C_i, H_{i,k}]$.
   • L'aspettativa condizionata è approssimata utilizzando l'estimatore di Kaplan–Meier della distribuzione residua.
   • I coefficienti di regressione sono stimati iterativamente utilizzando un algoritmo simplex di Nelder–Mead per risolvere le equazioni di stima modificate, garantendo la convergenza nonostante la non-monotonicità della funzione obiettivo.
3. Q-Learning Ricorsivo: Il framework utilizza l'induzione a ritroso (backward induction).
   • Fase Finale ($K$): La funzione Q viene inizializzata utilizzando i tempi di sopravvivenza imputati tramite Buckley–James.
   • Fasi Intermedie ($k < K$): I pseudo-esiti vengono costruiti sommando il tempo di sopravvivenza imputato immediato alla fase $k$ con il valore Q massimo stimato dalla fase $k+1$. Viene quindi applicato un modello di regressione lineare a questi pseudo-esiti per stimare i parametri della funzione Q per la fase $k$.
4. Processo Decisionale Controfattuale: Per determinare il trattamento ottimale, il metodo valuta la funzione Q sotto assegnazioni di trattamento ipotetiche (controfattuali). La regola decisionale ottimale seleziona il trattamento che massimizza il valore Q stimato, confrontando efficacemente i potenziali esiti tra diverse strategie.

Contributi Chiave

• Integrazione di BJ e Q-Learning: Il documento introduce un framework innovativo che combina la robustezza del metodo di imputazione di Buckley–James con le capacità decisionali sequenziali del Q-Learning, specificamente progettato per dati di sopravvivenza censurati.
• Confronto Diretto delle Strategie: A differenza di alcuni metodi esistenti, questo approccio tiene esplicitamente conto delle osservazioni censurate, garantendo al contempo che i tempi di sopravvivenza imputati permettano confronti robusti e diretti tra diversi regimi di trattamento sotto un framework controfattuale.
• Gestione dell'Eterogeneità dell'Effetto del Trattamento: Il metodo è progettato per catturare e sfruttare l'eterogeneità dell'effetto del trattamento (ad esempio, come la dimensione del tumore modifichi l'efficacia del trattamento) per identificare strategie personalizzate ottimali.
• Estensione alla Doppia Censura: La metodologia nota che la componente di Buckley–James può essere estesa per gestire la doppia censura (sia a sinistra che a destra), ampliando la sua applicabilità a scenari di dati più complessi.

Risultati
Lo studio valuta il framework BJ-Q attraverso estesi studi di simulazione e un'applicazione nel mondo reale:

• Studi di Simulazione:
  • DTR a Singolo Stadio: Nelle simulazioni con il 50% di censura a destra e il 50% di dati mancanti, il BJ-Q ha prodotto costantemente stime dei valori Q strettamente allineate ai veri valori "oracle" attraverso diverse dimensioni campionarie ($n=100, 500, 1000$). Al contrario, il Q-Learning basato su Cox (Cox-Q) ha mostrato un bias persistente, in particolare nel catturare l'eterogeneità dell'effetto del trattamento.
  • Accuratezza Decisionale: Il BJ-Q ha raggiunto un'accuratezza decisionale del trattamento significativamente superiore rispetto al Cox-Q. Per $n=1000$, l'accuratezza mediana per il BJ-Q era 0,973, rispetto allo 0,770 del Cox-Q.
  • DTR a Due Stadi: In contesti multi-stadio, il BJ-Q ha mantenuto prestazioni robuste con accuratezze decisionali cumulative che hanno raggiunto 0,900 per $n=1000$. Il Cox-Q ha mostrato un miglioramento limitato all'aumentare della dimensione del campione, con un'accuratezza cumulativa che si è stagnata intorno a 0,506, evidenziando la sua incapacità di recuperare accuratamente la sopravvivenza totale sotto censura in complessi contesti longitudinali.
• Applicazione nel Mondo Reale (ACTG175): Il metodo è stato applicato al dataset del trial clinico HIV ACTG175, che presenta un alto tasso di censura (~75%). L'analisi ha confrontato la monoterapia (ddI) con la terapia combinata (AZT + ddI). Il framework BJ-Q ha imputato con successo i tempi di sopravvivenza censurati, rivelando che la terapia combinata produceva costantemente esiti di sopravvivenza superiori rispetto alla monoterapia. Le curve di Kaplan–Meier basate sui dati imputati hanno mostrato bande di confidenza più strette e una separazione più netta tra i gruppi di trattamento rispetto ai soli dati osservati.

Significatività e Rivendicazioni
Gli autori sostengono che il framework BJ-Q fornisca uno strumento principato e pratico per ottimizzare gli esiti di sopravvivenza in contesti clinici complessi dove i dati sono incompleti. La significatività del lavoro risiede nella sua capacità di:

1. Superare il Bias di Censura: Imputando i tempi censurati tramite le aspettative condizionate all'interno di un modello AFT, il metodo evita le assunzioni di rischi proporzionali e le difficoltà interpretative del modello di Cox.
2. Abilitare DTR Personalizzati: Facilita l'identificazione di regimi di trattamento dinamici ottimali che massimizzano il tempo di sopravvivenza atteso, anche quando gli esiti sono censurati.
3. Garantire Robustezza: Il metodo dimostra una prestazione superiore rispetto alle alternative basate su Cox sia in contesti a singolo stadio che multi-stadio, in particolare in scenari con eterogeneità dell'effetto del trattamento.

Gli autori mantengono una posizione modesta riguardo alle garanzie teoriche, notando che, sebbene il metodo sia previsto che converga alla decisione ottimale all'aumentare della dimensione del campione, la validità dipende dal comportamento dei residui di Kaplan–Meier e potrebbe richiedere ulteriori condizioni di regolarità riguardanti il meccanismo di censura. Riconoscono che l'implementazione attuale si affida all'estimatore di Kaplan–Kaufer per l'approssimazione dei residui e suggeriscono che lavori futuri potrebbero esplorare metodi di machine learning non parametrici (ad esempio, Random Survival Forests) per affrontare potenziali bias derivanti da una censura informativa. Inoltre, propongono di estendere il framework a spazi di covariate ad alta dimensionalità utilizzando metodi penalizzati.