📊 statistics

Counterfactual Q Learning via the Linear Buckley James Method for Longitudinal Survival Data

Este artículo propone un marco de aprendizaje Q de Buckley-James contrafáctico que integra el método de imputación de Buckley-James con el aprendizaje por refuerzo para estimar regímenes de tratamiento dinámico óptimos para maximizar el tiempo de supervivencia en presencia de datos longitudinales censurados.

Autores originales: Jeongjin Lee, Jong-Min Kim

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jeongjin Lee, Jong-Min Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un entrenador intentando construir un programa de entrenamiento definitivo para un equipo de atletas. Tu objetivo es simple: mantenerlos en el juego el mayor tiempo posible. Sin embargo, hay un inconveniente. Algunos atletas abandonan el equipo antes de tiempo (se retiran), otros se lesionan y dejan de jugar antes de que termine la temporada, y otros simplemente se van del estadio antes de que suene el silbato final. En estadística, esto se llama censura. Sabes que estuvieron jugando hasta cierto punto, pero no sabes cuánto tiempo habrían durado si se hubieran quedado.

Este artículo presenta una nueva estrategia de entrenamiento llamada Aprendizaje por Refuerzo Q-Buckley-James Contrafáctico. Así es como funciona, desglosado en partes sencillas:

1. El Problema: Los Atletas "Fantasma"

En los estudios médicos tradicionales (como el modelo de Cox mencionado en el artículo), cuando un atleta se va antes de tiempo, los estadísticos suelen tratarlos como si nunca hubieran existido o intentan adivinar su futuro basándose en una regla rígida (como "todos pierden velocidad al mismo ritmo"). Esto puede conducir a consejos erróneos. Si no sabes cuánto tiempo más habría jugado un atleta, podrías elegir el plan de entrenamiento equivocado para la siguiente temporada.

2. La Solución: La Imputación de la "Bola de Cristal"

Los autores utilizan un truco ingenioso llamado método Buckley-James. Piensa en esto como una bola de cristal que no predice el futuro de forma mágica, sino que utiliza las matemáticas para hacer una suposición muy educada.

Cómo funciona: Si un atleta se va antes de tiempo, el método observa a todos los demás que son similares (misma edad, mismo historial de lesiones, mismas estadísticas iniciales) y pregunta: "Basándose en las personas que se quedaron, ¿cuánto tiempo más habría jugado probablemente esta persona?".
El Resultado: Rellena ese tiempo "fantasma" faltante con una estimación calculada. Ahora, en lugar de tener un conjunto de datos roto con huecos, el entrenador tiene una imagen completa del potencial de vida de cada atleta.

3. La Estrategia: Aprender Rebobinando (Q-Learning)

Una vez que los datos están "completados", el artículo utiliza una técnica llamada Q-Learning. Imagina jugar un videojuego donde quieres encontrar el camino hacia la puntuación más alta.

El Juego: El "juego" es la vida de un paciente a lo largo del tiempo.
Los Movimientos: En cada punto de control (como una visita médica), el paciente recibe un tratamiento (Medicamento A o Medicamento B).
La Recompensa: La "puntuación" es cuánto tiempo sobrevive el paciente.
El Truco: El algoritmo trabaja hacia atrás. Comienza al final del juego, observa quién sobrevivió más tiempo y luego rebobina para averiguar: "Si hubiera elegido el Medicamento A al principio, ¿habría terminado ese jugador con una puntuación más alta?".

Al combinar la "Bola de Cristal" (Buckley-James) con el "Rebobinado hacia atrás" (Q-Learning), el sistema aprende la mejor secuencia de movimientos para mantener al jugador en el juego el mayor tiempo posible.

4. La Prueba: La Carrera de Simulación

Los autores probaron este nuevo método contra el estándar antiguo (el modelo de Cox) en una gran simulación por computadora.

La Configuración: Crearon 1,000 pacientes falsos con diferentes tipos de cuerpo y tamaños de tumores. Les dieron tratamientos y luego "censuraron" al 50% de ellos (hicieron que se fueran del estudio antes de tiempo).
La Carrera: Preguntaron: "¿Quién puede descifrar el mejor plan de tratamiento?".
El Ganador: El nuevo método Buckley-James Q-Learning fue como un estratega maestro. Identificó correctamente el mejor tratamiento aproximadamente el 97% de las veces con grupos grandes de personas. El método antiguo (Cox) era como un entrenador novato, acertando solo un 77% de las veces. El método antiguo tenía dificultades porque no podía manejar tan bien los datos "fantasma".

5. La Prueba del Mundo Real: El Conjunto de Datos de VIH

Los autores probaron su método con datos reales de un famoso estudio de VIH (ACTG175).

El Desafío: Estos datos eran desordenados. El 75% de los pacientes fueron "censurados" (dejaron el estudio antes de que ocurriera el evento) y algunos datos estaban incompletos.
El Hallazgo: Cuando usaron su método para completar los tiempos faltantes, los resultados mostraron claramente que una terapia combinada (usar dos fármacos juntos) mantuvo a los pacientes con vida más tiempo que usar solo uno. Las curvas "imputadas" (las suposiciones completadas) eran más suaves y confiables que las líneas dentadas de los datos brutos e incompletos.

La Conclusión

Este artículo sostiene que, al utilizar una técnica matemática de "rellenar los espacios en blanco" (Buckley-James) combinada con un algoritmo de aprendizaje inteligente que mira hacia atrás (Q-Learning), los médicos pueden tomar mejores decisiones sobre qué tratamientos administrar a los pacientes, incluso cuando gran parte de los datos están incompletos. Convierte un rompecabezas desordenado y a medio terminar en una imagen clara de lo que realmente funciona.

Resumen Técnico: Q-Learning Contrafáctico mediante el Método Lineal de Buckley–James para Datos de Supervivencia Longitudinales

Planteamiento del Problema
La atención médica personalizada depende cada vez más de los Regímenes de Tratamiento Dinámico (DTR, por sus siglas en inglés) para optimizar las decisiones de tratamiento secuenciales basadas en la evolución de las condiciones del paciente. Sin embargo, un desafío significativo al aplicar el aprendizaje por refuerzo (específicamente el Q-Learning) al análisis de supervivencia es la prevalencia de los datos censurados. En los ensayos clínicos, los tiempos de supervivencia suelen estar incompletos debido al abandono de los pacientes o la terminación del estudio (censura por la derecha). Los marcos de Q-Learning estándar tienen dificultades con esta incompletitud porque requieren estimaciones precisas de las recompensas (tiempos de supervivencia) para aprender políticas óptimas. Si bien el modelo de riesgos proporcionales de Cox es una herramienta común para el análisis de supervivencia, este depende del supuesto de riesgos proporcionales y ofrece razones de riesgo (hazard ratios) que pueden resultar contraintuitivas para la comparación directa de resultados. Además, los métodos existentes para manejar la censura en los DTR, como el ponderado por la probabilidad inversa o los mínimos cuadrados ponderados, pueden no facilitar adecuadamente la comparación directa de los tiempos de supervivencia imputados entre diferentes estrategias de tratamiento bajo un marco contrafáctico.

Metodología
Los autores proponen el marco de Q-Learning de Buckley–James Lineal (BJ-Q), el cual integra el método de imputación de Buckley–James con el aprendizaje por refuerzo para abordar los datos de supervivencia censurados.

Estructura del Marco: El método opera dentro de un entorno longitudinal con $K$ puntos de decisión. En cada etapa $k$ , el objetivo es estimar la función Q, definida como el tiempo de supervivencia acumulado esperado desde la etapa $k$ en adelante, dado el historial del paciente y un tratamiento específico.
Imputación de Buckley–James: Para manejar la censura por la derecha, el marco emplea el estimador de Buckley–James dentro de un modelo de Tiempo de Fallo Acelerado (AFT). Para las observaciones censuradas, el tiempo de supervivencia no observado se imputa utilizando la esperanza condicional del tiempo de supervivencia dado los datos observados y el estado de censura.
- El tiempo de supervivencia imputado $Y^*_{i,k}$ se calcula como $\delta_{i,k}T_{i,k} + (1-\delta_{i,k})E[T_{i,k} | T_{i,k} > C_i, H_{i,k}]$ .
- La esperanza condicional se aproxima utilizando el estimador de Kaplan–Meier de la distribución residual.
- Los coeficientes de regresión se estiman iterativamente utilizando un algoritmo simplex de Nelder–Mead para resolver las ecuaciones de estimación modificadas, asegurando la convergencia a pesar de la no monotonicidad de la función objetivo.
Q-Learning Recursivo: El marco utiliza inducción hacia atrás.
- Etapa Final ( $K$ ): La función Q se inicializa utilizando los tiempos de supervivencia imputados por Buckley–James.
- Etapas Intermedias ( $k < K$ ): Se construyen pseudo-resultados sumando el tiempo de supervivencia imputado inmediato en la etapa $k$ y el valor Q máximo estimado de la etapa $k+1$ . Luego, se ajusta un modelo de regresión lineal a estos pseudo-resultados para estimar los parámetros de la función Q para la etapa $k$ .
Toma de Decisiones Contrafáctica: Para determinar el tratamiento óptimo, el método evalúa la función Q bajo asignaciones de tratamiento hipotéticas (contrafácticas). La regla de decisión óptima selecciona el tratamiento que maximiza el valor Q estimado, comparando efectivamente los resultados potenciales entre diferentes estrategias.

Contribuciones Clave

Integración de BJ y Q-Learning: El artículo introduce un marco novedoso que combina la robustez del método de imputación de Buckley–James con las capacidades de toma de decisiones secuenciales del Q-Learning, diseñado específicamente para datos de supervivencia censurados.
Comparación Directa de Estrategias: A diferencia de algunos métodos existentes, este enfoque contabiliza explícitamente las observaciones censuradas mientras asegura que los tiempos de supervivencia imputados permitan comparaciones directas y robustas entre diferentes regímenes de tratamiento bajo un marco contrafáctico.
Manejo de la Heterogeneidad del Efecto del Tratamiento: El método está diseñado para capturar y aprovechar la heterogeneidad del efecto del tratamiento (por ejemplo, cómo el tamaño del tumor modifica la eficacia del tratamiento) para identificar estrategias óptimas personalizadas.
Extensión a la Doble Censura: La metodología señala que el componente de Buckley–James puede extenderse para manejar la doble censura (tanto por la izquierda como por la derecha), ampliando su aplicabilidad a escenarios de datos más complejos.

Resultados
El estudio evalúa el marco BJ-Q a través de extensos estudios de simulación y una aplicación en el mundo real:

Estudios de Simulación:
- DTR de una Etapa: En simulaciones con un 50% de censura por la derecha y un 50% de datos faltantes, el BJ-Q produjo consistentemente estimaciones de valores Q estrechamente alineadas con los valores reales de oracle en todos los tamaños de muestra ( $n=100, 500, 1000$ ). En contraste, el Q-Learning basado en Cox (Cox-Q) demostró un sesgo persistente, particularmente al capturar la heterogeneidad del efecto del tratamiento.
- Precisión de la Decisión: El BJ-Q logró una precisión de decisión de tratamiento significativamente mayor que el Cox-Q. Para $n=1000$ , la mediana de precisión para BJ-Q fue de 0.973, frente al 0.770 de Cox-Q.
- DTR de Dos Etapas: En entornos de múltiples etapas, el BJ-Q mantuvo un desempeño robusto con precisiones de decisión acumuladas que alcanzaron 0.900 para $n=1000$ . El Cox-Q mostró una mejora limitada al aumentar el tamaño de la muestra, con una precisión acumulada estancándose alrededor de 0.506, lo que resalta su incapacidad para recuperar con precisión la supervivencia total bajo censura en entornos longitudinales complejos.
Aplicación en el Mundo Real (ACTG175): El método se aplicó al conjunto de datos del ensayo clínico de VIH ACTG175, que presenta una alta tasa de censura (~75%). El análisis comparó la monoterapia (ddI) frente a la terapia combinada (AZT + ddI). El marco BJ-Q imputó con éxito los tiempos de supervivencia censurados, revelando que la terapia combinada proporcionaba consistentemente resultados de supervivencia superiores a la monoterapia. Las curvas de Kaplan–Meier basadas en los datos imputados mostraron bandas de confianza más estrechas y una separación más clara entre los grupos de tratamiento de lo observado en los datos por sí solos.

Significancia y Reivindicaciones
Los autores afirman que el marco BJ-Q proporciona una herramienta con principios y práctica para optimizar los resultados de supervivencia en entornos clínicos complejos donde los datos están incompletos. La importancia del trabajo radica en su capacidad para:

Superar el Sesgo de Censura: Al imputar los tiempos censurados mediante las expectativas condicionales dentro de un modelo AFT, el método evita los supuestos de riesgos proporcionales y las dificultades de interpretación del modelo de Cox.
Permitir DTRs Personalizados: Facilita la identificación de regímenes de tratamiento dinámico óptimos que maximizan el tiempo de supervivencia esperado, incluso cuando los resultados están censurados.
Proporcionar Robustez: El método demuestra un desempeño superior sobre las alternativas basadas en Cox tanto en entornos de una como de múltiples etapas, particularmente en escenarios con heterogeneidad en el efecto del tratamiento.

Los autores mantienen una postura modesta respecto a las garantías teóricas, señalando que, si bien se espera que el método converja al قرار óptimo a medida que el tamaño de la muestra aumenta, la validez depende del comportamiento de los residuales de Kaplan–Meier y puede requerir condiciones de regularidad adicionales respecto al mecanismo de censura. Reconocen que la implementación actual depende del estimador de Kaplan–Meier para la aproximación de los residuales y sugieren que trabajos futuros podrían explorar métodos de aprendizaje automático no paramétricos (por ejemplo, bosques de supervivencia aleatorios) para abordar posibles sesgos derivados de la censura informativa. Adicionalmente, proponen extender el marco a espacios de covariables de alta dimensión utilizando métodos penalizados.