Counterfactual Survival Q-learning via Buckley-James Boosting, with Applications to ACTG 175 and CALGB 8923

Resumen Técnico: Q-learning de Supervivencia Contrafactual mediante Boosting de Buckley-James

Planteamiento del Problema
El artículo aborda el desafío de estimar regímenes de tratamiento dinámico (DTR) óptimos a partir de ensayos clínicos aleatorizados longitudinales donde los resultados son tiempos de supervivencia con censura por la derecha. Una dificultad primordial en este dominio es la presencia de datos de seguimiento incompletos debido al abandono de pacientes o a la censura administrativa, lo que complica la estimación de los resultados potenciales. Además, los métodos estándar suelen depender del supuesto de riesgos proporcionales (PH) (por ejemplo, la regresión de Cox), el cual puede no cumplirse cuando los efectos de las covariables son no lineales o cuando los cocientes de riesgos son difíciles de interpretar clínicamente. Los enfoques existentes, como el Q-learning de Buckley–James (BJ) lineal, presentan dificultades con las relaciones no lineales y pueden exhibir problemas de convergencia cuando el mecanismo real de generación de datos es complejo. Los autores pretenden desarrollar un marco flexible que evite el supuesto PH, maneje efectos no lineales de las covariables y proporcione una estimación robusta de las funciones Q específicas de cada etapa bajo censura.

Metodología
El método propuesto, BJ Boost Q-learning, integra el Q-learning contrafactual con el algoritmo de boosting de Buckley–James (BJ) dentro de un marco de tiempo de falla acelerado (AFT).

1. Configuración del Marco: El estudio considera un ensayo aleatorizado secuencial con $K$ etapas de decisión. Utiliza la notación de resultados potenciales para definir las duraciones por etapa ($T_{i,k}$) y los tiempos de supervivencia acumulados. El objetivo es aprender reglas de decisión $d_k^*$ que maximicen el tiempo de supervivencia acumulado mediante la recursión hacia atrás de las funciones Q.
2. Boosting de Buckley–James para la Imputación: Para manejar los resultados censurados por la derecha, el método emplea el boosting de BJ para imputar los tiempos de supervivencia censurados. En lugar de modelar funciones de riesgo, modela directamente la media condicional del logaritmo transformado del tiempo de supervivencia.
   • Mecanismo de Imputación: Para una etapa y un brazo de tratamiento dados, se ajusta una función de regresión $f_{k,a}(\cdot)$. Para las observaciones censuradas, la distribución de los residuos se estima utilizando el estimador de Kaplan–Meier. El resultado censurado se imputa como el valor ajustado más la media condicional del residuo dado que este supera el tiempo observado.
   • Aprendices Base Flexibles: El artículo implementa dos estrategias de boosting para estimar la función de regresión $f_{k,a}$:
     • BJ-LS: Utiliza mínimos cuadrados por componentes con refinamiento de twin boosting (Algoritmo 1).
     • BJ-Tree: Utiliza árboles de regresión (Algoritmo 2).
   • Proceso Iterativo: La imputación y el ajuste del modelo se realizan de forma iterativa. Se utiliza la validación cruzada dentro de cada etapa y brazo de tratamiento para seleccionar el número de pasos de boosting, utilizando los resultados imputados para la puntuación para tener en cuenta la censura.
3. Q-Learning hacia Atrás (Backward Q-Learning): Una vez imputados los resultados censurados, el método procede con la recursión estándar hacia atrás. En la etapa final $K$, la función Q se estima directamente a partir de los resultados imputados. Para las etapas precedentes $k < K$, se construyen pseudo-resultados sumando el resultado de la etapa imputado al valor Q máximo estimado de la etapa subsecuente. Estos pseudo-resultados se regresan sobre la historia y el tratamiento actual utilizando los mismos aprendices de boosting para estimar $Q_k$.
4. Identificabilidad: El enfoque se basa en supuestos estándar para ensayos aleatorizados secuenciales: consistencia, aleatorización secuencial, positividad y ausencia de interferencia.

Contribuciones Clave

• Marco Novedoso: El artículo introduce un marco de Q-learning contrafactual que combina el modelo AFT con el boosting iterativo, diseñado específicamente para datos de supervivencia censurados por la derecha.
• Flexibilidad y Robustez: Al utilizar aprendices base flexibles (mínimos cuadrados por componentes y árboles de regresión) dentro del marco de BJ, el método captura interacciones no lineales entre covariables y tratamientos sin depender del supuesto de riesgos proporcionales.
• Modelado Directo del Tiempo: A diferencia del Q-learning basado en Cox, que modela riesgos, este enfoque modela directamente el tiempo de supervivencia condicional, produciendo contrastes de escala temporal clínicamente interpretables.
• Implementación Algorítmica: Los autores proporcionan algoritmos detallados (Algoritmos 1 y 2) para la implementación de BJ twin boosting y BJ tree boosting con imputación de Buckley–James iterativa.

Resultados
El desempeño del BJ Boost Q-learning fue evaluado mediante estudios de simulación y aplicaciones con datos reales.

• Estudios de Simulación:
  • Configuración de una Sola Etapa: En un entorno con 50% de censura y efectos de covariables no lineales, BJ-Tree alcanzó la mayor precisión en la decisión de tratamiento (mediana >91% para $n=1000$), superando significativamente al Q-learning de BJ lineal y al de Cox (mediana <45%). BJ-LS también funcionó bien, pero fue ligeramente menos preciso que BJ-Tree.
  • Configuración de Dos Etapas: En un entorno de múltiples etapas, los errores de estimación pueden acumularse. BJ-Tree mantuvo la mayor precisión (mediana >84%), mientras que el Q-learning basado en Cox funcionó deficientemente (mediana <20%). Los resultados destacaron que los modelos no paramétricos flexibles son cruciales para capturar estructuras complejas en regímenes de múltiples etapas.
• Aplicación a ACTG 175 (Ensayo de VIH):
  • Analizó a 2,139 pacientes comparando la monoterapia con ddI frente a la terapia de combinación AZT+ddI.
  • Tanto BJ-LS como BJ-Tree recomendaron fuertemente la terapia de combinación para la gran mayoría de los participantes.
  • Las reglas aprendidas identificaron covariables clínicamente interpretables (por ejemplo, puntuación de Karnofsky, estado de los síntomas, uso previo de antirretrovirales) asociadas con las recomendaciones de tratamiento, de acuerdo con la literatura previa.
• Aplicación a CALGB 8923 (Ensayo de Leucemia):
  • Analizó un ensayo de dos etapas (inducción y terapia post-remisión) con 388 participantes.
  • A diferencia de los resultados de ACTG 175, los modelos Cox, BJ y BJ-LS produjeron diferencias pareadas estadísticamente significativas que favorecían un tratamiento, generando recomendaciones decisivas.
  • En contraste, BJ-Tree produjo recomendaciones equilibradas sin una diferencia promedio estadísticamente significativa en la supervivencia contrafactual, alineándose más estrechamente con la falta de beneficio de supervivencia promedio reportada en el ensayo. Esto sugiere que BJ-Tree puede ser menos propenso al sobreajuste o a inflar los contrastes en entornos con efectos de tratamiento débiles.

Significancia y Reivindicaciones
El artículo afirma que el BJ Boost Q-learning ofrece una alternativa robusta y flexible al Q-learning basado en Cox para aprender regímenes de tratamiento dinámico a partir de datos de supervivencia censurados. Su principal significancia radica en:

1. Evitar la Especificación Incorrecta del Modelo: Al evitar el supuesto de riesgos proporcionales y utilizar aprendices flexibles, reduce el sesgo en entornos con efectos no lineales.
2. Mejora en la Precisión de la Decisión: Los resultados de la simulación demuestran que el método, particularmente su variante basada en árboles, mejora significativamente la precisión de las decisiones de tratamiento en comparación con los enfoques lineales o basados en riesgos.
3. Estabilidad en Entornos de Múltiples Etapas: Se muestra que el método es particularmente valioso en ensayos de múltiples etapas donde los errores en las etapas iniciales pueden acumularse, proporcionando contrastes contrafactuales más estables.
4. Interpretabilidad Clínica: El modelado directo del tiempo de supervivencia permite la derivación de reglas de decisión individualizadas que son interpretables en términos de beneficios de tiempo hasta el evento.

Los autores señalan modestamente las limitaciones, incluyendo la necesidad de evaluaciones adicionales bajo altas tasas de censura, el potencial de propagación de sesgo en las etapas iniciales de boosting y la restricción actual a ensayos aleatorizados (que requiere extensiones para datos observacionales).