Recurrent Deep Reinforcement Learning for Chemotherapy Control under Partial Observability

Resumo Técnico: Aprendizado por Reforço Profundo Recorrente para Controle de Quimioterapia sob Observabilidade Parcial

Formulação do Problema
A otimização da dose de quimioterapia é enquadrada como um problema de Regime de Tratamento Dinâmico (DTR), exigindo decisões sequenciais que equilibrem a supressão tumoral contra a toxicidade para células saudáveis. Embora o Aprendizado por Reforço (RL) ofereça um framework promissor para tais ambientes não lineares e incertos, a maioria das abordagens existentes assume a observabilidade total do estado fisiológico do paciente. Na realidade clínica, no entanto, o estado interno completo raramente é observável; as decisões devem ser tomadas com base em dados clínicos parciais e ruidosos. Este artigo investiga a eficácia de políticas aumentadas por memória para abordar este cenário de Processo de Decisão de Markov com Observabilidade Parcial (POMDP), isolando especificamente os efeitos de estados ocultos e ruído de observação da variabilidade interpaciente.

Metodologia
O estudo utiliza o benchmark AhnChemoEnv do DTR-Bench, que modela a dinâmica do câncer por meio de um sistema de Equações Diferenciais Ordinárias (ODE) não linear de quatro estados, representando células normais ($N$), células tumorais ($T$), células imunes ($I$) e concentração do fármaco ($B$).

• Configuração POMDP: Para simular a observabilidade parcial, a população de células normais ($N$) é ocultada do agente. As variáveis observáveis ($T, I, B$) são corrompidas por ruído uniforme multiplicativo, e as derivadas das ODE são perturbadas por ruído gaussiano. Os parâmetros Farmacocinéticos/Farmacodinâmicos (PK/PD) são mantidos fixos em todos os experimentos para garantir que as diferenças de desempenho surjam exclusivamente do tratamento da observabilidade parcial e do ruído, e não da heterogeneidade interpaciente.
• Arquitetura: Os autores propõem um agente TD3 Recorrente (rTD3). Esta arquitetura emprega codificadores Long Short-Term Memory (LSTM) separados para as redes de ator e crítico.
  • O Ator processa o histórico de interação ($\tau_t$) via LSTM para gerar uma representação latente, que é combinada com uma incorporação direta da observação atual para produzir a dose do fármaco. Esta conexão "shortcut" preserva informações imediatas enquanto a LSTM infere dinâmicas ocultas.
  • O Crítico utiliza similarmente uma LSTM para estimar valores de ação com base no histórico e no par estado-ação atual.
  • O treinamento utiliza um buffer de replay onde trajetórias são amostradas como subsequências sobrepostas de comprimento 32. Os estados ocultos são inicializados em zero no início de cada subsequência para evitar problemas de estados desatualizados comuns no aprendizado off-policy.
• Baselines: A abordagem recorrente é comparada com TD3 e Soft Actor-Critic (SAC) feed-forward padrão, bem como com uma variante recorrente PPO (rPPO).

Principais Contribuições

1. Avaliação de Benchmark: O artigo avalia métodos de RL profundo recorrentes e não recorrentes no benchmark POMDP AhnChemoEnv com parâmetros PK/PD fixos, isolando efetivamente o impacto da observabilidade parcial.
2. Comparação Sistemática: Fornece uma comparação direta entre políticas baseadas em memória e sem memória sob condições totalmente e parcialmente observáveis, estendendo trabalhos anteriores que focaram apenas na observabilidade total.
3. Robustez Empírica: O estudo demonstra que políticas baseadas em memória são significativamente mais robustas à incerteza de estados ocultos e ao ruído de observação, reduzindo a variância entre sementes em mais de uma ordem de magnitude em comparação com baselines sem memória.
4. Análise de Trajetória: Os autores fornecem uma análise granular mostrando que políticas recorrentes produzem supressão tumoral mais consistente, recuperação de células normais mais forte e comportamentos de dosagem mais estruturados.

Resultados
Os experimentos foram conduzidos com 10 sementes aleatórias, com 400.000 passos de ambiente por execução.

• Observabilidade Total: Sob observabilidade total, todos os métodos (rTD3, TD3, SAC) alcançaram desempenho competitivo, com a recorrência oferecendo apenas benefícios modestos.
• Observabilidade Parcial: A lacuna de desempenho ampliou-se significativamente.
  • O rTD3 alcançou o desempenho mais forte e estável (Retorno Médio: $380.4 \pm 12.2$).
  • As baselines sem memória (TD3, SAC) sofreram degradação severa, exibindo grandes oscilações, alta variância e retornos médios negativos (TD3: $-49.8 \pm 252.2$; SAC: $-154.1 \pm 219.7$).
  • O rPPO também manteve um retorno positivo com menor variância do que os métodos sem memória, embora tenha sido menos performático que o rTD3.
• Análise Comportamental: Gráficos de trajetória revelaram que o rTD3 levou as populações tumorais a zero de forma mais consistente e permitiu uma melhor recuperação das células normais em comparação com o TD3. A política recorrente exibiu dosagem mais estruturada (maior concentração inicial seguida por redução sincronizada) e respostas imunes mais estáveis.

Significado e Alegações
O artigo conclui que, embora a recorrência ofereça vantagem limitada quando o estado completo é conhecido, ela é essencial para o controle de quimioterapia sob observabilidade parcial. Políticas baseadas em memória permitem que agentes infiram estados fisiológicos latentes (como a contagem oculta de células normais) a partir de históricos de observação ruidosos, levando a uma tomada de decisão mais confiável.

Os autores destacam o significado prático da arquitetura recorrente off-policy (rTD3). Como a implementação clínica frequentemente depende da aprendizagem a partir de registros históricos de pacientes (aprendizado offline) em vez de exploração ativa, potencialmente insegura, a capacidade do rTD3 de aprender robustamente a partir de conjuntos de dados estáticos é uma característica crítica. O estudo reconhece limitações, observando que a avaliação é inteiramente in silico com parâmetros PK/PD fixos e carece de validação em dados reais de pacientes. Propõe-se trabalho futuro para incorporar variabilidade específica do paciente e restrições de segurança explícitas.