📊 statistics

Learning Sequential Decisions from Multiple Sources via Group-Robust Markov Decision Processes

Dit artikel stelt een groep-robuust Markov-beslissingsproces-raamwerk voor met kenmerk-specifieke onzekerheidsverzamelingen en een pessimistisch offline algoritme om robuuste sequentiële beslissingsbeleid te leren van heterogene multi-site data, waarbij suboptimaliteitsgaranties worden behaald zonder te vertrouwen op sterke staat-actie rechthoekigheid-aannames.

Oorspronkelijke auteurs: Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

Gepubliceerd 2026-02-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij door een complexe stad moet navigeren om pakketjes te bezorgen. Je hebt geen tijd om de robot rond te laten rijden en tegen dingen aan te laten botsen (dat is "online" leren, wat gevaarlijk en duur is). In plaats daarvan geef je de robot een enorme bibliotheek met rijlogs van drie verschillende steden: New York, Chicago en Miami.

Hier is het probleem:

New York heeft veel verkeerslichten en smalle straten.
Chicago heeft enorme open avenues maar ijzige winters.
Miami heeft hevige regenval en andere verkeersregels.

Als je de logs van deze steden gewoon bij elkaar gooit tot één grote bult, leert de robot misschien een "gemiddelde" strategie die oké werkt in een gemiddelde stad, maar rampzalig mislukt in het slechtste scenario (zoals vast komen te zitten in een sneeuwstorm in Chicago). Dit wordt distributional shift genoemd.

Als je de robot apart voor elke stad leert, wordt hij misschien een expert in New York, maar totaal onbekwaam in Miami, of raakt hij in de war omdat er in een enkele stad niet genoeg data is om de regels zeker te weten.

Dit artikel stelt een slimme manier voor om de robot te onderwijzen met behulp van de data van alle drie de steden, terwijl het zich tegelijkertijd voorbereidt op de slechtst mogelijke versie van elke stad.

Het kernidee: "De slechtste weerman"

De auteurs behandelen het leerproces als een spel tussen twee personages:

De Robot (De Agent): Wil de beste route vinden om pakketjes te bezorgen.
De Adversary (De Weerman): Wil het leven van de robot zo moeilijk mogelijk maken door de slechtst mogelijke verkeersomstandigheden of verkeersregels te kiezen uit de data die hij heeft gezien.

Normaal gesproken kan de Weerman de regels voor elke straathoek onafhankelijk van elkaar veranderen. Dit maakt de wiskunde onmogelijk op te lossen (het is alsoals proberen het weer voor elk atoom in de atmosfeer tegelijkertijd te voorspellen).

De truc van het artikel:
De auteurs introduceren een slimme afkorting genaamd "Feature-wise Rectangularity."
In plaats van de Weerman toe te staan om elke regel onafhankelijk van elkaar te veranderen, zeggen ze: "Oké, Weerman, je mag de regels voor 'Verkeerslichten', 'Wegbreedte' en 'Weer' onafhankelijk van elkaar veranderen, maar je moet de 'worst-case' logica voor hen allemaal samen toepassen."

Denk hierbij aan een menu van ingrediënten.

De oude manier: De chef (de Weerman) kan het zout in de soep, de suiker in de taart en de kruiden in de stoofpot onafhankelijk van elkaar vervangen voor elk gerecht. Dat is chaotisch en moeilijk te plannen.
De nieuwe manier (Dit artikel): De chef kan het zout, de suiker en de kruiden vervangen, maar hij moet dit op een gestructureerde manier doen die het "smaakprofiel" van het gerecht respecteert. Dit houdt de wiskunde oplosbaar terwijl het nog steeds zeer voorzichtig is.

Hoe het algoritme werkt: "De Voorzichtige Chef"

Het algoritme van het artikel (Algoritme 1) werkt in drie stappen, als een voorzichtige chef die een maaltijd bereidt voor een veeleisende gast:

Leer apart van elke stad (Ridge Regressie):
Eerst bekijkt de robot de logs van New York, Chicago en Miami afzonderlijk. Hij probeert de regels voor elke stad te raden. Maar omdat de data rommelig of incompleet kan zijn, voegt hij een "veiligheidsbuffer" toe (genoemd pessimism) aan zijn vermoedens. Hij gaat ervan uit dat de data er iets naast kan zitten.
De "Slechtste Geval" Mix (Row-wise Minimization):
Nu combineert de robot deze vermoedens. In plaats van ze te middelen (wat de slechte delen zou verbergen), kijkt hij naar elke regel en vraagt zich af: "Wat is de slechtste versie van deze regel over alle drie de steden?"

Als New York zegt "Snelheidslimiet is 30", Chicago "25" en Miami "35", dan neemt de robot 25 aan als de snelheidslimiet.
De robot bouwt een beleid op basis van de laagste (veiligste) schatting voor elke enkele eigenschap. Dit zorgt ervoor dat, ongeacht welke verborgen "worst-case" realiteit van een stad naar voren komt, de robot niet crasht.

De Veiligheidsstraf:
Als de robot een specifieke situatie niet vaak genoeg heeft gezien in de logs (bijv. hij heeft slechts 5 regenachtige dagen in Miami gezien), voegt het algoritme een enorme "straf" toe aan dat vermoeden. Het vertelt de robot: "Vertrouw dit getal niet; je hebt niet genoeg data. Ga uit van het slechtste scenario." Dit voorkomt dat de robot overmoedig wordt op basis van gelukkige, kleine steekproeven.

De "Groep" Strategie: Het clusteren van vergelijkbare steden

Het artikel stelt ook een tweede truc voor. Wat als je 50 steden hebt, maar 10 daarvan zijn erg vergelijkbaar (bijv. allemaal kustplaatsen)?
In plaats van ze als 10 aparte problemen te behandelen, kun je ze samenvoegen tot één "Super-Kust" groep.

Waarom? Het geeft je meer data om de regels van "Kustrijden" te leren.
De kanttekening: Je moet wel controleren of de steden daadwerkelijk vergelijkbaar zijn. Als je een woestijnstad met een kuststad samenvoegt, zal de "Super-Groep" regelgeving onzin zijn. Het artikel biedt wiskunde om te bewijzen dat, zolang de steden in de groep vergelijkbaar genoeg zijn, het samenvoegen hen helpt sneller en nauwkeuriger te leren.

De Resultaten: Waarom het ertoe doet

De auteurs hebben dit getest in computersimulaties:

Naive Pooling: Alle data simpelweg bij elkaar mengen. Resultaat: De robot faalde in de slechtste scenario's omdat hij de unieke gevaren van specifieke steden negeerde.
Separate Learning: Leren voor elke stad afzonderlijk. Resultaat: De robot was instabiel en maakte fouten omdat hij voor een enkele stad niet genoeg data had.
De methode van dit artikel: Resultaat: De robot leerde een beleid dat consistent veilig en efficiënt was, zelfs in de slechtste scenario's. Het vond het "sweet spot" tussen te voorzichtig en te roekeloos zijn.

In een notendop

Dit artikel geeft ons een wiskundig recept om te leren van meerdere verschillende bronnen (zoals ziekenhuizen, steden of fabrieken) zonder dat je hoeft te vertrouwen op het feit dat ze allemaal precies hetzelfde zijn. Het bouwt een besluitvormingssysteem dat robuust is: het bereidt zich voor op de slechtst mogelijke versie van de data die het heeft gezien, zodat het uiteindelijke plan veilig werkt, zelfs wanneer er dingen misgaan of data ontbreekt.

Het is alsoals het trainen van een piloot, niet alleen op basis van "gemiddeld weer", maar door de slechtste combinatie van wind, regen en turbulentie te simuleren die in de trainingslogs te vinden is, om er zeker van te zijn dat hij veilig kan landen, ongeacht wat er gebeurt.

Technische Samenvatting: Leren van Sequentiële Beslissingen uit Meerdere Bronnen via Groep-Robuuste Markov-Beslissingsprocessen

Probleemformulering

Dit artikel behandelt de uitdaging van het leren van robuuste sequentiële beslissingsbeleid (policies) uit offline datasets die zijn verzameld over meerdere locaties (bijv. ziekenhuizen) die een gemeenschappelijke applicatiecontext delen maar heterogeniteit vertonen. In standaard offline Reinforcement Learning (RL) worden beleidsregels geleerd uit vooraf verzamelde data zonder verdere interactie met de omgeving. Echter, real-world multi-site data lijdt vaak onder twee kritieke problemen:

Distributionele Shift: Offline trajecten worden gegenereerd door gedragsbeleids (behavior policies) die mogelijk niet de staat-actieverdeling van de optimale policy dekken.
Locatie-specifieke Heterogeniteit: Variaties in protocollen voor gegevensverzameling, populatiesamenstelling en omgevingscondities betekenen dat trajecten niet worden gegenereerd vanuit één enkel, vast Markov-beslissingsproces (MDP). In plaats daarvan heeft elke locatie $k$ zijn eigen transitiekern $P_k$ en beloningsfunctie $r_k$ .

De auteurs modelleren deze setting als een Groep-Lineair Distributioneel Robuust MDP (DRMDP). De onderliggende aanname is dat alle locaties een gemeenschappelijke, bekende feature map $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$ delen, maar dat de transitiekernen en beloningsfuncties lineair zijn ten opzichte van deze features met locatie-specifieke parameters $(\theta^k_h, \mu^k_h)$ . Het doel is om een beleid te leren dat goed presteert onder de slechtst denkbare omgevingsverschuiving binnen een plausibele onzekerheidsset, gedefinieerd door de convexe huls van de locatie-specifieke distributies.

Methodologie

1. Feature-wise (d-rechthoekige) Onzekerheidssets

Om de onzekerheid voortvloeiend uit meerdere locaties aan te pakken terwijl computationele traceerbaarheid behouden blijft, stellen de auteurs een feature-wise (d-rechthoekige) onzekerheidsset voor.

Structuur: In tegenstelling tot een standaard cross-site convexe huls die onzekerheid over alle features koppelt (wat leidt tot niet-rechthoekige sets en NP-harde planning), staat deze aanpak de tegenstander toe om onafhankelijk voor elke feature-dimensie $i \in [d]$ mixing weights te kiezen.
Definitie: Voor elke stap $h$ en feature $i$ kiest de tegenstander een mixing vector $\alpha_{h,i} \in \Delta^{K-1}$ om een worst-case mengeling van de locatie-specifieke parameters te vormen. De onzekerheidsset $\mathcal{U}_h$ is gedefinieerd zodanig dat de beloning en transitie voor elke $(s, a)$ lineaire combinaties zijn van locatie-parameters gewogen door deze feature-specifieke mengelingen.
Voordeel: Deze relaxatie behoudt de cruciale cross-site heterogeniteit terwijl de robuuste Bellman-recursies worden hersteld, wat het probleem traceerbaar maakt.

2. Pessimistisch Waarde-Iteratie Algoritme

De auteurs ontwikkelen een offline algoritme (Algoritme 1) gebaseerd op pessimistische waarde-iteratie, dat drie kerncomponenten bevat:

Per-Locatie Ridge Regressie: Voor elke locatie $k$ schat het algoritme de Bellman target coëfficiënten $\hat{\nu}^k_h$ in met behulp van ridge regressie op de lokale dataset $D_k$ . Dit levert locatie-specifieke schattingen van de lineaire parameters op.
Feature-wise Worst-Case Aggregatie: In plaats van te middelen, voert het algoritme een rij-gewijze minimum uit over de geschatte coëfficiënten van alle locaties. Specifiek wordt voor elke feature-dimensie $i$ de robuuste coëfficiënt ingesteld op $\min_{k \in [K]} (\hat{\nu}^k_h)_i$ . Dit vangt het worst-case scenario over locaties heen voor elke feature.
Data-afhankelijke Pessimisme-straf: Om rekening te houden met schattingsonzekerheid en distributionele shift, wordt een strafterm afgetrokken van de Q-waarde. Deze straf wordt berekend met behulp van de diagonalen van de inverse design matrices (covariantie matrices) van de ridge regressie. De straf schaalt met de feature vector $\phi(s, a)$ en de maximale onzekerheid die over locaties heen wordt waargenomen voor elke feature-dimensie.

3. Cluster-niveau Extensie

Om de steekproefefficiëntie te verbeteren wanneer locaties gelijkenissen vertonen, stellen de auteurs een cluster-niveau extensie voor. Locaties worden gepartitioneerd in clusters op basis van voorkennis over gelijkenis. Binnen elk cluster worden datasets samengevoegd om een "super-locatie" te vormen, en wordt de robuuste Bellman-operator toegepast op de cluster-niveau representanten. Deze aanpak benut grotere samengevoegde steekproefomvang terwijl de fout die wordt geïntroduceerd door binnen-cluster heterogeniteit wordt begrensd.

Theoretische Resultaten

Het artikel biedt eindige-steekproef suboptimaliteitsgrenzen voor het voorgestelde algoritme onder een robuuste partiële dekking assumptie.

Suboptimaliteitsdecompositie: De suboptimaliteit wordt gedecomponeerd in spurieuze correlatie, intrinsieke onzekerheid en optimalisatiefout.
Convergentiesnelheid: Onder de assumptie dat de locatie-specifieke empirische covariantie matrices de tweede momenten van de robuuste optimale beleidsvisitatiedistributie domineren, wordt de suboptimaliteit van het geleerde beleid $\hat{\pi}$ begrensd door:
$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$
waarbij $N_{\min}$ de minimale steekproefomvang over locaties is, $d$ de feature-dimensie is, $H$ de horizon is, en $K$ het aantal locaties is.
Cluster-niveau Grens: Voor het cluster-niveau algoritme bevat de grens een extra bias-term proportioneel aan de binnen-cluster parameter discrepantie ( $\Delta_h$ ), wat aantoont dat pooling gunstig is zolang de heterogeniteit binnen clusters gecontroleerd blijft.

Experimentele Resultaten

De auteurs valideren hun aanpak via simulaties op episodische lineaire MDP's met $K=3$ tot $4$ locaties.

Vergelijking: Het voorgestelde "Sitewise" algoritme wordt vergeleken met:
- Naive Pooling: Alle data aggregeren en standaard Pessimistic Value Iteration (PEVI) toepassen.
- Per-Locatie PEVI (Average-Q): Het middelen van Q-functies van onafhankelijke locatie-specifieke PEVI-runs.
- Per-Locatie PEVI (Min-Q): Het pointwise minimum nemen van locatie-specifieke Q-functies.
Prestaties: Het voorgestelde algoritme bereikt consequent aanzienlijk lagere robuuste suboptimaliteit vergeleken met alle benchmarks.
- Naive Pooling is niet robuust tegen locatie-specifieke distributionele shifts, omdat het optimaliseert voor gemiddelde prestaties in plaats van worst-case prestaties.
- Per-Locatie methoden lijden onder hoge variantie door beperkte lokale steekproefomvang en een gebrek aan informatie-uitwisseling.
Convergentie: Empirische schaalwetten bevestigen de theoretische $O(N_{\min}^{-1/2})$ convergentiesnelheid.
Noodzaak van Pessimisme: Experimenten tonen aan dat het verwijderen van de pessimisme-straf (het instellen van de schalingconstante $c=0$ ) leidt tot een falende convergentie, omdat de greedily estimator overfit op finite-sample ruis, vooral in scenario's met ongebalanceerde data-dekking.

Betekenis en Claims

Het artikel claimt een geprincieerd aanpak voor robuuste planning te bieden in multi-site offline RL-settings zonder te vertrouële op sterke (s, a)-rectangularity assumpties.

Traceerbaarheid vs. Robuustheid: Door de $d$ -rechthoekige onzekerheidsset te introduceren, overbruggen de auteurs de kloof tussen de ontraceerbaarheid van algemene cross-site convexe hullen en de excessieve conservativiteit van standaard $(s, a)$ -rechthoekige robuuste MDP's.
Privacy en Efficiëntie: Het algoritme communiceert alleen geaggregeerde locatie-niveau samenvattende statistieken (ridge regressie coëfficiënten en covariantie diagonalen) in plaats van ruwe trajecten, wat de communicatiekosten van gegevens vermindert en privacy verhoogt.
Omgaan met Heterogeniteit: Het framework modelleert en benut expliciet de heterogeniteit over locaties om te garanderen dat het geleerde beleid robuust is tegen de worst-case locatieconfiguratie, wat een fundamentele beperking van standaard offline RL aanpakt bij toepassing op multi-source data.

De auteurs erkennen dat hun methode steunt op een lineaire structuur binnen locaties en dat de $d$ -rechthoekige benadering tot conservatieve schattingen kan leiden. Zij suggereren dat toekomstig werk dichtere benaderingen en de integratie van representation learning kan verkennen om niet-lineaire feature mappings te hanteren.