Recurrent Deep Reinforcement Learning for Chemotherapy Control under Partial Observability

Resumen Técnico: Aprendizaje por Refuerzo Profundo Recurrente para el Control de la Quimioterapia bajo Observabilidad Parcial

Formulación del Problema
La optimización de la dosis de quimioterapia se enmarca como un problema de Régimen de Tratamiento Dinámico (DTR), que requiere decisiones secuenciales que equilibren la supresión tumoral frente a la toxicidad para las células sanas. Si bien el Aprendizaje por Refuerzo (RL) ofrece un marco prometedor para entornos no lineales e inciertos, la mayoría de los enfoques existentes asumen la observabilidad completa del estado fisiológico del paciente. Sin embargo, en la realidad clínica, el estado interno completo rara vez es observable; las decisiones deben tomarse basándose en datos clínicos parciales y ruidosos. Este artículo investiga la eficacia de las políticas aumentadas con memoria para abordar este entorno de Proceso de Decisión de Markov bajo Observabilidad Parcial (POMDP), aislando específicamente los efectos de los estados ocultos y el ruido de observación de la variabilidad interpaciente.

Metodología
El estudio utiliza el punto de referencia AhnChemoEnv de DTR-Bench, que modela la dinámica del cáncer mediante un sistema de Ecuaciones Diferenciales Ordinarias (ODE) no lineales de cuatro estados que representa células normales ($N$), células tumorales ($T$), células inmunitarias ($I$) y concentración de fármaco ($B$).

• Configuración POMDP: Para simular la observabilidad parcial, la población de células normales ($N$) se oculta al agente. Las variables observables ($T, I, B$) se corrompen con ruido uniforme multiplicativo, y las derivadas de las ODE se perturban con ruido gaussiano. Los parámetros de Farmacocinética/Farmacodinámica (PK/PD) se mantienen fijos en todos los experimentos para asegurar que las diferencias de rendimiento surjan únicamente del manejo de la observabilidad parcial y el ruido, y no de la heterogeneidad interpaciente.
• Arquitectura: Los autores proponen un agente TD3 Recurrente (rTD3). Esta arquitectura emplea codificadores separados de Memoria a Corto y Largo Plazo (LSTM) para las redes de actor y crítico.
  • El Actor procesa el historial de interacciones ($\tau_t$) mediante una LSTM para generar una representación latente, que se combina con una incrustación directa de la observación actual para emitir la dosis del fármaco. Esta conexión "abreviada" preserva la información inmediata mientras la LSTM infiere la dinámica oculta.
  • El Crítico utiliza de manera similar una LSTM para estimar los valores de acción basándose en el historial y el par estado-acción actual.
  • El entrenamiento utiliza un búfer de repetición donde las trayectorias se muestrean como subsecuencias superpuestas de longitud 32. Los estados ocultos se inicializan en cero al inicio de cada subsecuencia para evitar problemas de estados obsoletos comunes en el aprendizaje fuera de política.
• Líneas Base: El enfoque recurrente se compara con TD3 y Soft Actor-Critic (SAC) estándar de alimentación directa, así como con una variante recurrente de PPO (rPPO).

Contribuciones Clave

1. Evaluación del Punto de Referencia: El artículo evalúa métodos de RL profundo recurrentes y no recurrentes en el punto de referencia POMDP AhnChemoEnv con parámetros PK/PD fijos, aislando efectivamente el impacto de la observabilidad parcial.
2. Comparación Sistemática: Proporciona una comparación directa de políticas basadas en memoria frente a políticas sin memoria bajo condiciones totalmente y parcialmente observables, ampliando trabajos anteriores que se centraron únicamente en la observabilidad completa.
3. Robustez Empírica: El estudio demuestra que las políticas basadas en memoria son significativamente más robustas ante la incertidumbre del estado oculto y el ruido de observación, reduciendo la varianza entre semillas en más de un orden de magnitud en comparación con las líneas base sin memoria.
4. Análisis de Trayectorias: Los autores proporcionan un análisis detallado que muestra que las políticas recurrentes producen una supresión tumoral más consistente, una recuperación más fuerte de las células normales y comportamientos de dosificación más estructurados.

Resultados
Los experimentos se realizaron con 10 semillas aleatorias y 400.000 pasos de entorno por ejecución.

• Observabilidad Completa: Bajo observabilidad completa, todos los métodos (rTD3, TD3, SAC) lograron un rendimiento competitivo, ofreciendo la recurrencia solo beneficios modestos.
• Observabilidad Parcial: La brecha de rendimiento se amplió significativamente.
  • rTD3 logró el rendimiento más fuerte y estable (Retorno Medio: $380.4 \pm 12.2$).
  • Las líneas base sin memoria (TD3, SAC) sufrieron una degradación severa, mostrando grandes oscilaciones, alta varianza y retornos medios negativos (TD3: $-49.8 \pm 252.2$; SAC: $-154.1 \pm 219.7$).
  • rPPO también mantuvo un retorno positivo con menor varianza que los métodos sin memoria, aunque fue menos performante que rTD3.
• Análisis Conductual: Los gráficos de trayectorias revelaron que rTD3 llevó las poblaciones tumorales a cero de manera más consistente y permitió una mejor recuperación de las células normales en comparación con TD3. La política recurrente exhibió una dosificación más estructurada (mayor concentración temprana seguida de una reducción sincronizada) y respuestas inmunitarias más estables.

Significado y Afirmaciones
El artículo concluye que, si bien la recurrencia ofrece una ventaja limitada cuando se conoce el estado completo, es esencial para el control de la quimioterapia bajo observabilidad parcial. Las políticas basadas en memoria permiten a los agentes inferir estados fisiológicos latentes (como el recuento de células normales ocultas) a partir de historiales de observación ruidosos, lo que conduce a una toma de decisiones más fiable.

Los autores destacan el significado práctico de la arquitectura recurrente fuera de política (rTD3). Dado que la implementación clínica a menudo depende del aprendizaje a partir de registros históricos de pacientes (aprendizaje offline) en lugar de una exploración activa y potencialmente insegura, la capacidad de rTD3 para aprender de manera robusta a partir de conjuntos de datos estáticos es una característica crítica. El estudio reconoce limitaciones, señalando que la evaluación es completamente in silico con parámetros PK/PD fijos y carece de validación en datos de pacientes reales. Se propone trabajo futuro para incorporar la variabilidad específica del paciente y restricciones de seguridad explícitas.