Counterfactual Survival Q-learning via Buckley-James Boosting, with Applications to ACTG 175 and CALGB 8923

Sintesi Tecnica: Q-learning per la Sopravvivenza Controfattuale tramite il Boosting di Buckley–James

Definizione del Problema
Il documento affronta la sfida di stimare regimi di trattamento dinamico (DTR) ottimali da studi clinici randomizzati longitudinali in cui gli esiti sono tempi di sopravvivenza con censura a destra. Una difficoltà primaria in questo dominio è la presenza di dati di follow-up incompleti dovuti al dropout dei pazienti o alla censura amministrativa, il che complica la stima dei potenziali esiti. Inoltre, i metodi standard spesso si affidano all'ipotesi di rischi proporzionali (PH) (ad esempio, la regressione di Cox), che può non sussistere quando gli effetti delle covariate sono non lineari o quando i rapporti di rischio (hazard ratios) sono difficili da interpretare clinicamente. Gli approcci esistenti, come il Q-learning di Buckley–James (BJ) lineare, faticano a gestire le relazioni non lineari e possono presentare problemi di convergenza quando il vero meccanismo di generazione dei dati è complesso. Gli autori mirano a sviluppare un framework flessibile che eviti l'ipotesi PH, gestisca gli effetti non lineari delle covariate e fornisca una stima robusta delle funzioni Q specifiche per ogni stadio sotto censura.

Metodologia
Il metodo proposto, BJ Boost Q-learning, integra il Q-learning controfattuale con l'algoritmo di boosting di Buckley–James (BJ) all'interno di un framework di tempo di guasto accelerato (AFT).

1. Configurazione del Framework: Lo studio considera un trial sequenzialmente randomizzato con $K$ stadi decisionali. Utilizza la notazione dei potenziali esiti per definire le durate specifiche per stadio ($T_{i,k}$) e i tempi di sopravvivenza cumulativi. L'obiettivo è apprendere regole decisionali $d_k^*$ che massimizzino il tempo di sopravvivenza cumulativo atteso tramite la ricorsione a ritroso delle funzioni Q.
2. Boosting di Buckley–James per l'Imputazione: Per gestire gli esiti censurati a destra, il metodo impiega il boosting di BJ per imputare i tempi di sopravvivenza censurati. Invece di modellare le funzioni di rischio (hazard), esso modella direttamente la media condizionata del logaritmo trasformato del tempo di sopravvivenza.
   • Meccanismo di Imputazione: Per un dato stadio e braccio di trattamento, viene adattata una funzione di regressione $f_{k,a}(\cdot)$. Per le osservazioni censurate, la distribuzione dei residui viene stimata utilizzando l'estimatore di Kaplan–Meier. L'esito censurato viene imputato come il valore adattato più la media condizionata del residuo dato che esso superi il tempo osservato.
   • Base Learner Flessibili: Il documento implementa due strategie di boosting per stimare la funzione di regressione $f_{k,a}$:
     • BJ-LS: Utilizza i minimi quadrati componente per componente con raffinamento tramite twin boosting (Algoritmo 1).
     • BJ-Tree: Utilizza alberi di regressione (Algoritmo 2).
   • Processo Iterativo: L'imputazione e l'adattamento del modello vengono eseguiti iterativamente. La cross-validazione viene utilizzata all'interno di ogni stadio e braccio di trattamento per selezionare il numero di passi di boosting, con gli esiti imputati utilizzati per il punteggio (scoring) per tenere conto della censura.
3. Q-Learning a Ritroso (Backward Q-Learning): Una volta imputati gli esiti censurati, il metodo procede con la ricorsione a ritroso standard. Al $K$-esimo stadio finale, la funzione Q viene stimata direttamente dagli esiti imputati. Per gli stadi precedenti $k < K$, i pseudo-esiti vengono costruiti aggiungendo l'esito imputato dello stadio successivo al valore Q massimo stimato dello stadio successivo. Questi pseudo-esiti vengono poi regrediti sulla storia e sul trattamento corrente utilizzando gli stessi learner di boosting per stimare $Q_k$.
4. Identificabilità: L'approccio si basa sulle assunzioni standard per i trial sequenzialmente randomizzati: consistenza, randomizzazione sequenziale, positività e assenza di interferenza.

Contributi Chiave

• Framework Innovativo: Il documento introduce un framework di Q-learning controfattuale che combina il modello AFT con il boosting iterativo, specificamente progettato per dati di sopravvivenza censurati a destra.
• Flessibilità e Robustezza: Utilizzando base learner flessibili (minimi quadrati componente per componente e alberi di regressione) all'interno del framework BJ, il metodo cattura le interazioni non lineari tra covariate e trattamento senza fare affidamento sull'ipotesi di rischi proporzionali.
• Modellazione Diretta del Tempo: A differenza del Q-learning basato su Cox, che modella i rischi, questo approccio modella direttamente il tempo di sopravvivenza condizionato, fornendo contrasti di scala temporale clinicamente interpretabili.
• Implementazione Algoritmica: Gli autori forniscono algoritmi dettagliati (Algoritmi 1 e 2) per l'implementazione del twin boosting di BJ e del tree boosting di BJ con imputazione iterativa di Buckley–James.

Risultati
Le prestazioni del BJ Boost Q-learning sono state valutate attraverso studi di simulazione e applicazioni su dati reali.

• Studi di Simulazione:
  • Setting a Stadio Singolo: In un contesto con il 50% di censura ed effetti delle covariate non lineari, BJ-Tree ha ottenuto la massima accuratezza nelle decisioni di trattamento (mediana >91% per $n=1000$), superando significativamente il BJ-Q lineare e il Q-learning basato su Cox (mediana <45%). Anche BJ-LS ha performato bene, ma è stato leggermente meno accurato di BJ-Tree.
  • Setting a Due Stadi: In un contesto multistadio, gli errori di stima possono accumularsi. BJ-Tree ha mantenuto l'accuratezza più elevata (mediana >84%), mentre il Q-learning basato su Cox è stato scarsamente performante (mediana <20%). I risultati hanno evidenziato che i modelli non parametrici flessibili sono cruciali per catturare strutture complesse nei regimi multistadio.
• Applicazione ad ACTG 175 (Trial HIV):
  • Ha analizzato 2.139 pazienti confrontando la monoterapia con ddI rispetto alla terapia combinata AZT+ddI.
  • Sia BJ-LS che BJ-Tree hanno raccomandato fortemente la terapia combinata per la stragrande maggioranza dei partecipanti.
  • Le regole apprese hanno identificato covariate clinicamente interpretabili (ad esempio, punteggio Karnofsky, stato dei sintomi, uso pregresso di antiretrovirali) associate alle raccomandazioni di trattamento, in linea con la letteratura precedente.
• Applicazione a CALGB 8923 (Trial sulla Leucemia):
  • Ha analizzato un trial a due stadi (induzione e terapia post-remissione) con 388 partecipanti.
  • A differenza dei risultati di ACTG 175, i modelli Cox, BJ e BJ-LS hanno prodotto differenze accoppiate statisticamente significative a favore di un trattamento, portando a raccomandazioni decisive.
  • Al contrario, BJ-Tree ha prodotto raccomandazioni bilanciate senza una differenza media statisticamente significativa nella sopravvivenza controfattuale, allineandosi maggiormente alla mancanza di beneficio medio nella sopravvivenza riportata dal trial. Ciò suggerisce che BJ-Tree possa essere meno incline all'overfitting o all'inflazione dei contrasti in contesti con effetti di trattamento deboli.

Significatività e Rivendicazioni
Il documento sostiene che il BJ Boost Q-learning offra un'alternativa robusta e flessibile al Q-learning basato su Cox per l'apprendimento di regimi di trattamento dinamico da dati di sopravvivenza censurati. La sua principale significatività risiede in:

1. Evitare la Errata Specificazione del Modello: Evitando l'ipotesi di rischi proporzionali e utilizzando learner flessibili, riduce il bias in contesti con effetti non lineari.
2. Migliore Accuratezza Decisionale: I risultati della simulazione dimostrano che il metodo, in particolare la variante basata su alberi, migliora significativamente l'accuratezza delle decisioni di trattamento rispetto agli approveri lineari o basati sul rischio.
3. Stabilità nei Setting Multistadio: Il metodo si è dimostrato particolarmente prezioso nei trial multistadio dove gli errori negli stadi precedenti possono accumularsi, fornendo contrasti controfattuali più stabili.
4. Interpretabilità Clinica: La modellazione diretta del tempo di sopravvivenza consente la derivazione di regole decisionali individualizzate che sono interpretabili in termini di benefici nel tempo all'evento.

Gli autori notano con moderazione alcune limitazioni, tra cui la necessità di ulteriori valutazioni sotto alti tassi di censura, il potenziale propagarsi del bias negli stadi iniziali del boosting e l'attuale restrizione ai trial randomizzati (che richiede estensioni per i dati osservazionali).