Recurrent Deep Reinforcement Learning for Chemotherapy Control under Partial Observability

Technische Samenvatting: Recurrente Deep Reinforcement Learning voor Chemotherapie-Controle onder Partiële Observabiliteit

Probleemformulering
De optimalisatie van chemotherapie-doseringen wordt geformuleerd als een Dynamic Treatment Regime (DTR)-probleem, waarbij sequentiële beslissingen nodig zijn om tumoronderdrukking in evenwicht te brengen met toxiciteit voor gezonde cellen. Hoewel Reinforcement Learning (RL) een veelbelovend kader biedt voor dergelijke niet-lineaire, onzekere omgevingen, gaan de meeste bestaande benaderingen uit van volledige waarneembaarheid van de fysiologische toestand van de patiënt. In de klinische realiteit is de volledige interne toestand echter zelden waarneembaar; beslissingen moeten worden genomen op basis van partiële, ruwe klinische data. Dit artikel onderzoekt de effectiviteit van geheugenaugmenteerde beleidsregels bij het aanpakken van deze setting van een Partiële Observabiliteit Markov Decision Process (POMDP), met name door de effecten van verborgen toestanden en waarnemingsruis te isoleren van inter-patiënt variabiliteit.

Methodologie
De studie maakt gebruik van de AhnChemoEnv-benchmark uit DTR-Bench, die kankerdynamiek modelleert via een vier-toestands niet-lineair stelsel van Gewone Differentiaalvergelijkingen (ODE) dat normale cellen ($N$), tumorcellen ($T$), immuuncellen ($I$) en de medicijnconcentratie ($B$) voorstelt.

• POMDP-opzet: Om partiële observabiliteit te simuleren, wordt de populatie normale cellen ($N$) verborgen gehouden voor de agent. Waarneembare variabelen ($T, I, B$) worden verstoord door multiplicatieve uniforme ruis, en de ODE-afgeleiden worden verstoord door Gaussische ruis. Farmacokinetische/Farmacodynamische (PK/PD)-parameters worden over alle experimenten constant gehouden om ervoor te zorgen dat prestatieverschillen uitsluitend voortkomen uit de behandeling van partiële observabiliteit en ruis, en niet uit inter-patiënt heterogeniteit.
• Architectuur: De auteurs stellen een Recurrent TD3 (rTD3)-agent voor. Deze architectuur maakt gebruik van afzonderlijke Long Short-Term Memory (LSTM)-encoders voor het actor- en criticusnetwerk.
  • De Actor verwerkt de interactiegeschiedenis ($\tau_t$) via een LSTM om een latente representatie te genereren, die wordt gecombineerd met een directe embedding van de huidige waarneming om de medicijndosis te outputten. Deze "shortcut"-verbinding behoudt directe informatie terwijl de LSTM verborgen dynamiek infereert.
  • De Criticus gebruikt eveneens een LSTM om actie-waarden te schatten op basis van de geschiedenis en het huidige toestand-actie-paar.
  • Training maakt gebruik van een replay-buffer waarbij trajecten worden bemonsterd als overlappende subsequenties van lengte 32. Verborgen toestanden worden aan het begin van elke subsequentie op nul geïnitieerd om verouderde toestandproblemen die veel voorkomen bij off-policy learning te vermijden.
• Benchmarks: De recurrente aanpak wordt vergeleken met standaard feed-forward TD3 en Soft Actor-Critic (SAC), evenals een recurrente variant van PPO (rPPO).

Belangrijkste Bijdragen

1. Benchmark-evaluatie: Het artikel evalueert recurrente en niet-recurrente deep RL-methoden op de AhnChemoEnv POMDP-benchmark met vaste PK/PD-parameters, waardoor het effect van partiële observabiliteit effectief wordt geïsoleerd.
2. Systematische Vergelijking: Het biedt een directe vergelijking van geheugen-gebaseerde versus geheugenloze beleidsregels onder zowel volledig als partiële waarneembare omstandigheden, en breidt eerder werk uit dat zich uitsluitend richtte op volledige waarneembaarheid.
3. Empirische Robuustheid: De studie toont aan dat geheugen-gebaseerde beleidsregels aanzienlijk robuuster zijn voor onzekerheid in verborgen toestanden en waarnemingsruis, waarbij de variantie tussen verschillende zaden met meer dan een orde van grootte wordt verminderd ten opzichte van geheugenloze benchmarks.
4. Trajectanalyse: De auteurs bieden een gedetailleerde analyse die aantoont dat recurrente beleidsregels leiden tot een consistentere tumoronderdrukking, sterkere herstel van normale cellen en meer gestructureerd doseringsgedrag.

Resultaten
Experimenten werden uitgevoerd met 10 willekeurige zaden, met 400.000 omgevingsstappen per run.

• Volledige Waarneembaarheid: Onder volledige waarneembaarheid behaalden alle methoden (rTD3, TD3, SAC) concurrerende prestaties, waarbij recurrentie slechts bescheiden voordelen bood.
• Partiële Waarneembaarheid: De prestatiekloof breidde zich aanzienlijk uit.
  • rTD3 behaalde de sterkste en meest stabiele prestaties (Gemiddelde Return: $380.4 \pm 12.2$).
  • Geheugenloze benchmarks (TD3, SAC) leden aan ernstige degradatie, met grote oscillaties, hoge variantie en negatieve gemiddelde returns (TD3: $-49.8 \pm 252.2$; SAC: $-154.1 \pm 219.7$).
  • rPPO behield eveneens een positieve return met lagere variantie dan geheugenloze methoden, hoewel het minder performant was dan rTD3.
• Gedragsanalyse: Trajectgrafieken onthulden dat rTD3 tumorpopulaties consistenter naar nul bracht en een beter herstel van normale cellen mogelijk maakte in vergelijking met TD3. Het recurrente beleid vertoonde meer gestructureerd doseren (hogere vroege concentratie gevolgd door gesynchroniseerde afbouw) en stabielere immuunresponsen.

Betekenis en Claims
Het artikel concludeert dat recurrentie, hoewel het beperkte voordelen biedt wanneer de volledige toestand bekend is, essentieel is voor chemotherapie-controle onder partiële waarneembaarheid. Geheugen-gebaseerde beleidsregels stellen agents in staat om latente fysiologische toestanden (zoals het verborgen aantal normale cellen) te infereren uit ruisige waarnemingsgeschiedenissen, wat leidt tot betrouwbaardere besluitvorming.

De auteurs benadrukken de praktische betekenis van de off-policy recurrente architectuur (rTD3). Aangezien klinische implementatie vaak steunt op leren uit historische patiëntgegevens (offline learning) in plaats van actieve, potentieel onveilige exploratie, is het vermogen van rTD3 om robuust te leren uit statische datasets een cruciaal kenmerk. De studie erkent beperkingen, met name dat de evaluatie volledig in silico is met vaste PK/PD-parameters en geen validatie omvat op echte patiëntgegevens. Voor toekomstig werk wordt voorgesteld om patiëntspecifieke variabiliteit en expliciete veiligheidsbeperkingen op te nemen.