Latent Utility Q-Learning for Preference-Adaptive Dynamic Treatment Regimes

Technische Samenvatting: Latent Utility Q-Learning voor Preferentie-Adaptieve Dynamische Behandelregimes

Probleemstelling
Dynamische Behandelregimes (DTR's) zijn statistische methoden die ontworpen zijn om sequentiële behandelbeslissingen voor chronische aandoeningen te optimaliseren. Standaard DTR-methoden gaan doorgaans uit van een enkele univariate uitkomst, wat tekortschiet wanneer patiënten vaak verschillende, concurrerende uitkomsten anders wegen (bijv. pijnvermindering versus functionele verbetering). Bestaande preferentie-gebaseerde methoden zijn vaak beperkt tot twee-fasen instellingen, vertrouwen op restrictieve parametrische modellen, of vereisen dat patiënten trajecten expliciet rangschikken—een taak die vaak onhaalbaar is in klinische trials waar patiënten slechts één traject ervaren. Bovendien vereisen deep reinforcement learning-benaderingen doorgaans grote steekproefomvang die niet compatibel is met klinische studies met een gemiddelde steekproefomvang, zoals Sequential Multiple Assignment Randomized Trials (SMARTs). De kernuitdaging is het leren van een beleid dat patiëntspecifieke, preferentie-gewogen combinaties van multivariate uitkomsten ($Y \in \mathbb{R}^d$) over $K$ beslismomenten optimaliseert zonder expliciete rangschikking van uitkomsten of grootschalige data te vereisen.

Methodologie: Latent Utility Q-Learning (LUQ-Learning)
De auteurs stellen LUQ-Learning voor, een latent-variabele uitbreiding van Q-learning die DTR's schat die een latente nutfunctie $U^* = E^\top Y^*$ optimaliseren, waarbij $E$ een niet-geobserveerde $(d-1)$-dimensionale preferentievector op een waarschijnlijkheidssimplex is, en $Y^*$ de potentiële uitkomsten vertegenwoordigt.

• Latent Variabele Framework: Patiëntpreferenties ($E$) zijn niet direct geobserveerd, maar worden afgeleid via indirecte metingen ($W_k$), zoals discrete keuzevragen, tevredenheidsscores of kwaliteits-van-leven-subschalen, verzameld op verschillende stadia.
• Conditionele Gemiddelde Factorisatie: Het centrale methodologische inzicht is een conditionele gemiddelde factorisatie. Onder een "Sequential Preference Independence" aanname (Aanname A5), kan het verwachte nut worden ontkoppeld:
  $$E[U^* | H_k, A_k] = E[E | H_k]^\top E[Y | H_k, A_k]$$
  Deze factorisatie scheidt het probleem in twee modulaire componenten:
  1. Preferentie Schatting: Het schatten van de posterieure verdeling van latente preferenties $P(E | H_k)$ op basis van geobserveerde preferentie-instrumenten $W_k$ en covariaten.
  2. Uitkomst Regressie: Het schatten van het conditionele gemiddelde van uitkomsten $E[Y | H_k, A_k]$.
• Algoritme: Het algoritme verloopt via backward inductie (vergelijkbaar met standaard Q-learning). In elk stadium $k$ schat het de posterieure gemiddelde preferentie $\hat{E}[E | H_k]$ en de uitkomstregressie, en berekent vervolgens de Q-waarde als het inproduct van deze schattingen. Dit reduceert het multi-uitkomst, preferentie-adaptieve probleem tot een sequentie van scalaire Q-learning problemen.
• Onzekerheid-bewuste Varianten: In het besef dat preferentieschatting onzekerheid introduceert, stellen de auteurs twee beleidsvarianten voor:
  • Modaal Beleid ($\hat{\pi}^{mod}$): Selecteert de actie die optimaal is voor de grootste proportie van de posterieure preferentieverdeling.
  • Robuust Beleid ($\hat{\pi}^{rob}$): Selecteert de actie die het minimum verwachte nut maximaliseert binnen een ellipsoïde onzekerheidsregio gedefinieerd door de posterieure covariantie.

Belangrijkste Bijdragen

1. Theoretische Garanties:
   • Consistentie: De auteurs stellen vast dat de geschatte waardefunctie in waarschijnlijkheid convergeert naar de ware optimale waarde onder zwakke regulariteitsvoorwaarden op de preferentie- en uitkomstschatters. De waarde-gap wordt aangetoond te worden gedreven door de additieve accumulatie van de preferentiemodel-fout, de uitkomstregressie-fout en de gepropageerde waardefunctie-fout.
   • Verenigde $\epsilon$-Optimaliteit: Het artikel leidt grenzen af voor het beleidsverlies in termen van posterieure preferentie-onzekerheid. Deze grenzen bieden interpreteerbare, data-gedreven criteria (bijv. drempelwaarden voor onzekerheidsradius $\delta$ of posterieure massa $\alpha$) voor het selecteren tussen gemiddelde, modale en robuuste beleid.
2. Modulair en Flexibel Ontwerp: Het framework accommodeert heterogene preferentie-dataformaten (bijv. binaire keuzes, rangschikkingen, Likert-schalen) zonder dat schaalalignering tussen instrumenten vereist is. Het vereist niet dat patiënten uitkomsten of trajecten expliciet rangschikken.
3. Omgaan met Onzekerheid: Door een Bayesiaans framework te gebruiken, propageert de methode onzekerheid van de latente preferentieschatting direct naar behandeladviezen en waardeschattingen, waardoor risicomijdende (robuuste) of dekking-georiënteerde (modale) besluitvorming mogelijk wordt.

Resultaten
De auteurs evalueerden LUQ-Learning middels simulaties gekalibreerd aan de Biomarkers for Evaluating Spine Treatments (BEST) trial, een twee-fasen SMART voor chronische lage rugpijn.

• Prestaties: LUQ-Learning presteerde consistent beter dan:
  • Standaard Q-Learning: Welke multivariate uitkomsten aggregeert via een simpel gemiddelde.
  • Laatst-gerapporteerde Tevredenheid ($\hat{\pi}^{W_{last}}$): Welke optimaliseert op basis van enkel de finale tevredenheidsscore zonder longitudinale preferentiegegevens.
  • Bestaande Preferentie-methoden: Specifiek vertoonde de methode een lagere preferentie-schattingsfout en hogere waardewinsten vergeleken met de aanpak van Butler et al. (2018) in een single-stage setting.
• Stabiliteit: Hoewel het "Oracle" beleid (die de ware preferenties kent) de hoogste waarde bereikte, benadert LUQ-Learning deze prestatie nauwgezet. In tegenstelling hiertoe vertoonden methoden die de longitudinale preferentiegegevens negeren ($\hat{\pi}^{W_{last}}$) een hogere variantie en instabiliteit, vooral naarmate de trajectlengte ($K$) toenam.
• Trajectlengte: In uitgebreide simulaties met $K \in \{2, 4, 6, 8\}$, nam de prestatiekloof tussen LUQ-Learning en de Oracle af naarmate $K$ toenam, wat suggereert dat langere trajecten rijkere informatie bieden voor het schatten van latente preferenties. Omgekeerd verslechterden methoden die enkel op terminale proxies vertrouwen naarmate $K$ groeide.

Betekenis en Claims
Het artikel claimt dat LUQ-Learning een statistisch gefundeerde basis biedt voor preferentie-adaptieve besluitvorming in complexe, multi-uitkomst klinische omgevingen. De significantie ligt in:

• Het Overbruggen van de Kloof: Het biedt een oplossing voor het integreren van heterogene patiëntpreferenties in DTR's zonder de data-eisen van deep reinforcement learning of de traject-rangschikkingsbeperkingen van preference-based RL.
• Interpreteerbaarheid: De afgeleide $\epsilon$-optimaliteitsgrenzen bieden concrete, data-gedreven criteria voor beleidsselectie, wat clinici en toezichthouders helpt bij het navigeren door de afwegingen tussen gemiddelde prestaties en robuustheid tegenover preferentie-onzekerheid.
• Fundament voor Causale Inferentie: In tegen tegenover standaard reinforcement learning van menselijke feedback, behandelt LUQ-Learning preferentie-instrumenten als identificeerbare proxies voor latente utiliteiten binnen een causale inferentie-framework (met gebruik van potentiële uitkomsten en proximale causale inferentie concepten), wat het geschikt maakt voor gerandomiseerde trial-settings waar geen enkel expert-beleid de behandelingstoewijzing beheerst.

De auteurs concluderen dat hoewel het framework robuust is, succesvolle implementatie een zorgvuldige studieopzet, gevalideerde preferentie-instrumenten en afstemming tussen de ontwikkelings- en doelpopulatie vereist om ervoor te zorgen dat de gevangen preferenties stabiele, langetermijn afwegingen reflecteren in plaats van transiënte tevredenheid.