Recurrent Deep Reinforcement Learning for Chemotherapy Control under Partial Observability

Riepilogo Tecnico: Apprendimento per Rinforzo Profondo Ricorrente per il Controllo della Chemioterapia in Condizioni di Parziale Osservabilità

Formulazione del Problema
L'ottimizzazione del dosaggio della chemioterapia è inquadrata come un problema di Regime di Trattamento Dinamico (DTR), richiedendo decisioni sequenziali che bilanciano la soppressione tumorale contro la tossicità per le cellule sane. Sebbene l'Apprendimento per Rinforzo (RL) offra un framework promettente per tali ambienti non lineari e incerti, la maggior parte degli approcci esistenti assume la piena osservabilità dello stato fisiologico del paziente. Nella realtà clinica, tuttavia, lo stato interno completo è raramente osservabile; le decisioni devono essere prese basandosi su dati clinici parziali e rumorosi. Questo articolo indaga l'efficacia di politiche potenziate dalla memoria nell'affrontare questo setting di Processo Decisionale di Markov a Osservabilità Parziale (POMDP), isolando specificamente gli effetti degli stati nascosti e del rumore di osservazione dalla variabilità inter-paziente.

Metodologia
Lo studio utilizza il benchmark AhnChemoEnv da DTR-Bench, che modella la dinamica del cancro tramite un sistema di Equazioni Differenziali Ordinarie (ODE) non lineari a quattro stati rappresentante le cellule normali ($N$), le cellule tumorali ($T$), le cellule immunitarie ($I$) e la concentrazione del farmaco ($B$).

• Configurazione POMDP: Per simulare l'osservabilità parziale, la popolazione di cellule normali ($N$) è nascosta all'agente. Le variabili osservabili ($T, I, B$) sono corrotte da rumore uniforme moltiplicativo, e le derivate delle ODE sono perturbate da rumore gaussiano. I parametri Farmacocinetici/Farmacodinamici (PK/PD) sono mantenuti fissi durante gli esperimenti per garantire che le differenze di performance derivino esclusivamente dalla gestione dell'osservabilità parziale e del rumore, piuttosto che dall'eterogeneità inter-paziente.
• Architettura: Gli autori propongono un agente Recurrent TD3 (rTD3). Questa architettura impiega encoder Long Short-Term Memory (LSTM) separati per le reti attore e critico.
  • L'Attore elabora la storia delle interazioni ($\tau_t$) tramite un LSTM per generare una rappresentazione latente, che viene combinata con un'embedding diretta dell'osservazione corrente per produrre il dosaggio del farmaco. Questa connessione "shortcut" preserva le informazioni immediate mentre l'LSTM inferisce le dinamiche nascoste.
  • Il Critico utilizza similmente un LSTM per stimare i valori-azione basandosi sulla storia e sulla coppia stato-azione corrente.
  • L'addestramento utilizza un buffer di replay dove le traiettorie sono campionate come sottosequenze sovrapposte di lunghezza 32. Gli stati nascosti sono inizializzati a zero all'inizio di ogni sottosequenza per evitare problemi di stati obsoleti comuni nell'apprendimento off-policy.
• Baseline: L'approccio ricorrente è confrontato con TD3 e Soft Actor-Critic (SAC) feed-forward standard, nonché con una variante ricorrente PPO (rPPO).

Contributi Chiave

1. Valutazione del Benchmark: Il documento valuta metodi di RL profondo ricorrenti e non ricorrenti sul benchmark POMDP AhnChemoEnv con parametri PK/PD fissi, isolando efficacemente l'impatto dell'osservabilità parziale.
2. Confronto Sistematico: Fornisce un confronto diretto tra politiche basate sulla memoria e politiche senza memoria in condizioni sia pienamente che parzialmente osservabili, estendendo lavori precedenti focalizzati solo sulla piena osservabilità.
3. Robustezza Empirica: Lo studio dimostra che le politiche basate sulla memoria sono significativamente più robuste all'incertezza dello stato nascosto e al rumore di osservazione, riducendo la varianza tra i semi di più di un ordine di grandezza rispetto alle baseline senza memoria.
4. Analisi delle Traiettorie: Gli autori forniscono un'analisi granulare che mostra come le politiche ricorrenti producano una soppressione tumorale più coerente, un recupero delle cellule normali più forte e comportamenti di dosaggio più strutturati.

Risultati
Gli esperimenti sono stati condotti su 10 semi casuali con 400.000 passi dell'ambiente per esecuzione.

• Piena Osservabilità: In condizioni di piena osservabilità, tutti i metodi (rTD3, TD3, SAC) hanno raggiunto performance competitive, con la ricorrenza che offre solo benefici modesti.
• Osservabilità Parziale: Il divario di performance si è ampliato significativamente.
  • rTD3 ha raggiunto la performance più forte e stabile (Ritorno Medio: $380.4 \pm 12.2$).
  • Le baseline senza memoria (TD3, SAC) hanno subito un grave degrado, mostrando grandi oscillazioni, alta varianza e ritorni medi negativi (TD3: $-49.8 \pm 252.2$; SAC: $-154.1 \pm 219.7$).
  • rPPO ha mantenuto un ritorno positivo con una varianza inferiore rispetto ai metodi senza memoria, sebbene fosse meno performante di rTD3.
• Analisi Comportamentale: I grafici delle traiettorie hanno rivelato che rTD3 ha portato le popolazioni tumorali a zero in modo più coerente e ha permesso un migliore recupero delle cellule normali rispetto a TD3. La politica ricorrente ha mostrato un dosaggio più strutturato (concentrazione iniziale più elevata seguita da una riduzione sincronizzata) e risposte immunitarie più stabili.

Significato e Affermazioni
Il documento conclude che, sebbene la ricorrenza offra un vantaggio limitato quando lo stato completo è noto, è essenziale per il controllo della chemioterapia in condizioni di osservabilità parziale. Le politiche basate sulla memoria permettono agli agenti di inferire stati fisiologici latenti (come il conteggio nascosto delle cellule normali) dalle storie di osservazioni rumorose, portando a un processo decisionale più affidabile.

Gli autori sottolineano il significato pratico dell'architettura ricorrente off-policy (rTD3). Poiché il dispiegamento clinico si basa spesso sull'apprendimento da cartelle cliniche storiche (apprendimento offline) piuttosto che su un'esplorazione attiva e potenzialmente pericolosa, la capacità di rTD3 di apprendere in modo robusto da dataset statici è una caratteristica critica. Lo studio riconosce le limitazioni, notando che la valutazione è interamente in silico con parametri PK/PD fissi e manca di validazione su dati di pazienti reali. È proposto un lavoro futuro per incorporare la variabilità specifica del paziente e vincoli di sicurezza espliciti.