📊 statistics

Generalized Linear Markov Decision Process

Dit artikel introduceert GRASP-MDP, een nieuw framework voor offline reinforcement learning in longitudinale studies dat de uitdagingen van binaire/begrensde beloningen en gedeeltelijke beloningsobservaties aanpakt door belonings- en transitiemodellering te scheiden om alle beschikbare transitiedata te benutten zonder imputatie, waardoor het eindige steekproefgaranties en verbeterde empirische prestaties biedt.

Oorspronkelijke auteurs: Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

Gepubliceerd 2026-08-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij door een doolhof moet navigeren. In een ideale wereld zou de robot na elke beweging een perfect scorekaartje krijgen: "Je bent naar links gedraaid, je hebt een munt gevonden, +10 punten!" Maar in de echte wereld — zoals in ziekenhuizen of op sociale media-apps — is het rommeliger. De robot ziet misschien precies wat er daarna gebeurde (hij draaide naar links en zag een muur), maar de scorekaart voor die specifieke zet is ontbrekend, vertraagd of alleen beschikbaar voor een paar gelukkige beurten. Dit is de uitdaging van "offline reinforcement learning", waarbij we proberen AI te onderwijzen met behulp van oude, opgenomen gegevens in plaats van het te laten leren door middel van vallen en opstaan in realtime.

Om dit leren mogelijk te maken, gebruiken wetenschappers vaak een wiskundige afkorting genaamd een "Linear Markov Decision Process". Zie dit als het aannemen dat het doolhof is gebouwd met eenvoudige, rechte lijnen: als je het startpunt en de richting weet, kun je gemakkelijk de volgende plek en de punten die je zult krijgen voorspellen. Dit werkt geweldig als de "punten" (beloningen) eenvoudige getallen zijn. Maar wat als de beloning iets lastigs is, zoals een gezondheidsscore van een patiënt die alleen van 0 tot 10 kan gaan, of een binaire "ja/nee"-uitkomst? Deze beloningen volgen geen eenvoudige rechte lijnen; ze buigen en krommen. Bovendien, als we alle gegevens weggooien waar de scorekaart ontbreekt, verliezen we waardevolle informatie over hoe het doolhof eigenlijk is ingedeeld. Dit artikel pakt het probleem aan van het onderwijzen van robots wanneer de regels gekromd zijn en de scorekaarten incompleet zijn.

De onderzoekers achter deze studie, onder leiding van Sinian Zhang en collega's, introduceren een nieuwe methode genaamd GRASP-MDP. Je kunt dit zien als een slim twee-delig detectivestrategie om het doolhof op te lossen. In plaats van te proberen de ontbrekende scorekaarten te raden (wat tot slechte gissingen kan leiden), scheidt GRASP-MDP het mysterie in twee duidelijke aanwijzingen: hoe de wereld beweegt en wat de beloning is.

Eerst kijkt de methode naar het "bewegingsgedeelte". Zelfs als we de score voor een specifieke beurt niet weten, kunnen we nog steeds zien dat de robot van de ene plek naar de andere beweegt. GRASP-MDP gebruikt alle deze bewegingsgegevens — of er nu een score aan verbonden was of niet — om een perfecte kaart van het doolhof te bouwen. Het behandelt de bewegingsregels als eenvoudig en lineair, wat de wiskunde makkelijk en betrouwbaar maakt.

Ten tweede pakt het de "beloningskant" aan. Omdat beloningen zoals gezondheidsscores of binaire uitkomsten gekromd en complex zijn, gebruikt de methode een speciaal hulpmiddel genaamd een "Generalized Linear Model" om de curve aan te passen. Cruciaal is dat het alleen de gegevens gebruikt waar de score daadwerkelijk is geregistreerd om deze curve te bepalen. Het probeert niet een score voor de ontbrekende gegevens te verzinnen; het geeft simpelweg toe: "We weten de score hier niet, maar we weten precies hoe het doolhof werkt."

Door deze twee aanwijzingen gescheiden te houden, vermijdt GRASP-MDP de valkuil van het foutief raden van scores. Het zegt: "We weten dat het pad vrij is omdat we de beweging hebben gezien, zelfs als we de punten hebben gemist." Het artikel bewijst wiskundig dat deze aanpak beter werkt dan oudere methoden die ofwel de ontbrekende gegevens negeren, ofwel proberen de gaten op te vullen met aannames.

Om hun idee te testen, voerde het team computersimulaties uit met zowel eenvoudige als complexe beloningen. Ze ontdekten dat GRASP-MDP consequent betere strategieën leerde dan eerdere methoden, vooral wanneer de beloningsgegevens incompleet waren. Ze pasten het ook toe op een echte medische dataset met 4.295 patiënten met multiple sclerose (MS). In dit scenario was het "doolhof" de reis van de patiënt door de behandeling, en de "beloning" was hun beperkingsscore (EDSS), die alleen tijdens bepaalde bezoeken werd gecontroleerd. De methode gebruikte succesvol de enorme hoeveelheid behandelingsgeschiedenis (de bewegingsgegevens) zelfs wanneer de beperkingsscores ontbraken, om betere behandelplannen aan te bevelen. De resultaten toonden aan dat door de "ontbrekende score"-gegevens te gebruiken voor het leren van de bewegingsregels, de AI slimmere beslissingen kon nemen dan wanneer deze die gegevens weg zou gooien.

Kortom, GRASP-MDP is een slimmere manier om te leren van rommelige, echte gegevens. Het respecteert het feit dat we vaak weten wat er is gebeurd (de transitie), zelfs wanneer we niet weten hoe goed het was (de beloning), en het gebruikt die kennis om betere, meer betrouwbare beslissingssystemen te bouwen zonder nepgetallen te verzinnen.

Technische Samenvatting: Generalized Linear Markov Decision Process (GRASP-MDP)

1. Probleemstelling

Offline reinforcement learning (RL) voor longitudinale studies, met name in de gezondheidszorg en digitale interventies, staat voor twee onderling verbonden uitdagingen:

Niet-lineaire beloningsstructuren: Uitkomsten zijn vaak binair (bijv. terugval) of begrensd continu (bijv. beperkingsscores op een schaal van 0–10), wat van nature gemodelleerd wordt door Generalized Linear Models (GLM's) in plaats van de lineaire beloningsaannames die standaard zijn bij Lineaire Markov Decision Processes (MDP's).
Semi-gesuperviseerde dataschaarste: Hoewel trajecten van toestand-actie-volgende toestand vaak volledig worden geregistreerd, zijn de bijbehorende beloningsobservaties mogelijk alleen beschikbaar voor een deel van de trajecten of specifieke tijdstippen. Bestaande methoden ofwel verwerpen data met enkel transities (waardoor informatie over continuatiewaarden verloren gaat), of vertrouwen op beloningsimputatie (wat onverifieerbare aannames introduceert).

Standaard Lineaire MDP-methoden falen hier omdat een niet-lineair beloningsgemiddelde de lineaire Bellman-recursie doorbreekt, en bestaande semi-gesuperviseerde benaderingen de schatting van transitiedynamiek niet expliciet scheiden van beloningsmodellering.

2. Methodologie: GRASP-MDP

De auteurs stellen GRASP-MDP voor (Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes), een framework dat de belonings- en transitieschatting ontkoppelt terwijl een tractabele Bellman-structuur behouden blijft.

2.1 Modelveronderstellingen

GRASP-MDP gaat uit van een hybride structuur:

Transitiedynamiek: De transitiekernel blijft lineair ten opzichte van een feature map $\phi_p$ :
$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$
Beloningsdynamiek: Het conditionele gemiddelde van de beloning volgt een Generalized Linear Model (GLM) met een bekende linkfunctie $g$ :
$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$
Hier zijn $\phi_r$ en $\phi_p$ verschillende feature maps, waardoor informatie die relevant is voor de beloning een andere statistische rol speelt dan informatie die relevant is voor de transitie.

2.2 Nonlinear-Plus-Linear Bellman Completeness

Het kerninzicht van de theorie is dat hoewel de niet-lineaire beloning de standaard lineaire Bellman-klasse doorbreekt, het model een nonlinear-plus-linear function class $\mathcal{F}$ induceert:
$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$
De auteurs bewijzen (Propositie 1) dat de Bellman-backup van elke begrensde waardefunctie $V$ tot deze klasse $\mathcal{F}$ behoort. Specifiek deelt de backup zich op in een niet-lineaire beloningsterm en een lineaire continuatieterm. Deze structuur maakt expliciete Bellman-compleetheid mogelijk zonder dat de beloning lineair hoeft te zijn.

2.3 Algoritme: Componentwise Pessimistic Value Iteration

De leerprocedure maakt gebruik van een gedecomposeerde pessimistische waarde-iteratie (Algoritme 1):

Beloningsschatting: De beloningsparameter $\theta_h$ wordt geschat met alleen de subset van data waar beloningen geobserveerd zijn ( $I^r_h$ ) via een GLM (bijv. binomiale of bèta-regressie).
Transitieschatting: De continuatieparameter $\beta_h$ wordt geschat met alle beschikbare toestand-actie-volgende toestand transities ( $n + N$ trajecten), ongeacht of de beloning geobserveerd is. Dit gebeurt via ridge-regressie.
Pessimisme: Het algoritme construeert een pessimistische Q-functie door afzonderlijke onzekerheidsradii voor de belonings- en transitiecomponenten af te trekken:
$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$
- $\hat{\Gamma}_{r,h}$ is afgeleid van de GLM-kromming en de omvang van de set met geobserveerde beloningen.
- $\hat{\Gamma}_{p,h}$ is afgeleid van de covariantie van de transitie-features en het totaal aantal trajecten.

Deze aanpak zorgt ervoor dat observaties van enkel transities de fout in de transitieschatting verminderen zonder dat beloningsimputatie nodig is.

3. Belangrijkste Bijdragen

Theoretisch Framework: Vestiging van Bellman-compleetheid voor een nonlinear-plus-linear functieklasse geïnduceerd door de scheiding tussen beloning en transitie.
Algoritmeontwikkeling: Een componentwise pessimistische waarde-iteratie algoritme dat afzonderlijk de onzekerheden van beloning en transitie controleert.
Finite-Sample Garanties: Theoretische grenzen die aantonen dat de suboptimaliteit van het geleerde beleid wordt bepaald door twee afzonderlijke termen:
- Een belonings-term die schaalt met $O(\sqrt{d_r/n})$ , waarbij $n$ het aantal met beloningen geobserveerde trajecten is.
- Een transitie-term die schaalt met $O(\sqrt{d_p/(n+N)})$ , waarbij $n+N$ het totaal aantal trajecten is.
  Dit bewijst dat transitie-alleen data ( $N$ ) het leren van beleid verbetert door de transitie-onzekerheid te verminderen, zelfs wanneer beloningen ontbreken.
Extensies: Het framework laat zien dat het uitgebreid kan worden naar stap-niveau beloningsobservatie (waarbij beloningen willekeurig ontbreken binnen trajecten) en sub-Gaussische beloningen met een eindig gemiddelde bereik.

4. Empirische Resultaten

4.1 Simulaties

Instellingen: Experimenten bestonden uit volledige en gedeeltelijke beloningsobservatie met binaire en begrensde continue beloningen (Bèta-distributie).
Bevindingen: GRASP-MDP presteerde consequent beter dan Lineaire MDP-baselines (PEVI, Local/Global Q-learning) wanneer beloningen niet-lineair waren. Onder gedeeltelijke beloningsobservatie verbeterde het behouden van trajecten met enkel transities de prestaties van het beleid aanzienlijk vergeleken met methoden die deze trajecten verwierpen of alleen gelabelde data gebruikten.

4.2 Real-World Toepassing: Multiple Sclerose (MS)

Context: Leren van Disease-Modifying Treatment (DMT) strategieën met behulp van Electronic Health Records (EHRs).
Data: Een cohort van 4.295 patiënten uit de Mass General Brigham EHR en CLIMB registry. Beloningen waren gebaseerd op de Expanded Disability Status Scale (EDSS), die begrensd is (0–10) en intermittent wordt geobserveerd (ontbrekend in ~40% van de patiënt-periodes).
Resultaat: Het GRASP-MDP beleid dat gebruikmaakt van data met ontbrekende beloningen (het behouden van trajecten met enkel transities) bereikte numeriek gunstigere schattingen voor gemiddelde EDSS en maanden met EDSS $\le$ 4 vergeleken met methoden die alleen gelabelde data of standaard lineaire baselines gebruiken. Dit demonstreerde het praktische voordeel van het benutten van transitie-alleen informatie in klinische settings met schaarse rapportage van uitkomsten.

5. Betekenis en Claims

De paper claimt dat GRASP-MDP een fundamentele oplossing biedt voor offline RL in settings met gestructureerde, intermittent geobserveerde uitkomsten. De betekenis ligt in:

Behoud van Tractabiliteit: Het behoudt de computationele en statistische tractabiliteit van Lineaire MDP's terwijl het de niet-lineaire beloningsstructuren accommodeert die gebruikelijk zijn in real-world data.
Efficiënt Datagebruik: Het rechtvaardigt formeel het gebruik van observaties met enkel transities voor beleidsleren zonder beloningsimputatie te gebruiken, waardoor de bias die door imputatie-aannames wordt geïntroduceerd, wordt vermeden.
Scheiding van Onzekerheid: Door de onzekerheden van beloning en transitie afzonderlijk te controleren, biedt de methode finite-sample garanties die de waarde van extra transitie-data versus extra belonings-data duidelijk afgrenzen.

De auteurs merken op dat de methode steunt op standaard aannames zoals missing-at-random voor beloningen en voldoende dekking (positivity) van de toestand-actie regio's. Zij erkennen dat niet-ignorable ontbreken en distributieverschuivingen tussen belonings-gelabelde en transitie-alleen trajecten openstaande uitdagingen zijn. Er wordt ook vermeld dat het framework ondersteuning biedt voor online extensies (GLSVI-UCB) met sublineaire regret-garanties.