Meeting equity requirements in shared micromobility rebalancing: a constrained Markov decision process with a case study in The Hague

Technische Samenvatting: Voldoen aan de Vereisten voor Gelijkheid in Gedeelde Micromobiliteit

Probleemstelling
Systemen voor gedeelde micromobiliteit reproduceren vaak stedelijke ongelijkheid door voertuigen te concentreren in gebieden met een hoge vraag, centrale en welvarende gebieden, terwijl perifere en lage-inkomenszones onderbediend blijven. Standaard herbalanceringbeleid, dat doorgaans de omzet maximaliseert, verergert deze "gespleten urbanisme" (splintering urbanism). Terwijl steden steeds vaker eisen voor gelijkheid opleggen—zoals een minimaal aantal voertuigen in specifieke zones—worstelen huidige operationele methoden om deze mandaten efficiënt te voldoen. Bestaande reinforcement learning (RL)-benaderingen proberen gelijkheid te integreren door een gewogen straf toe te voegen aan de beloningsfunctie. Deze methode vertrouwt echter op trial-and-error bij het afstemmen van de strafweging, biedt geen directe garantie dat een specifieke regelgevende drempel (bijv. een maximale service-foutpercentage) zal worden gehaald, en biedt ook geen duidelijke kosten-batenanalyse voor het aanscherpen van dergelijke regels.

Methodologie
De auteurs stellen een herformulering voor van het fleet-rebalanceringprobleem als een Constrained Markov Decision Process (CMDP). In plaats van gelijkheid impliciet te coderen via reward shaping, behandelt de methode gelijkheid als een expliciete beperking op het service-foutpercentage (het aandeel gebruikers dat geen voertuig vindt).

• Formulering: Het servicegebied wordt verdeeld in zones die gegroepeerd zijn in categorieën (van perifeer naar centraal). Het probleem wordt gemodelleerd als een MDP waarbij de staat de tijdsperiode, de zonecategorie en de voertuigvoorraad omvat. Het doel is om de lange-termijn beloning te maximaliseren (het minimaliseren van rebalanceringskosten en fleet-boetes) onderworpen aan een beperking: het verwachte service-foutpercentage voor elke zonecategorie en tijdsperiode mag een door de stad gedefinieerde drempel ($r_{max}$) niet overschrijden.
• Oplossingsalgoritme: De CMDP wordt opgelost met behulp van Factorized Lagrangian Q-learning.
  • Lagrangiaanse Relaxatie: De beperking wordt gedualiseerd door een adaptieve straf (een duale variabele $\lambda$) te introduceren voor elke categorie en periode. Deze variabele fungeert als een prijs voor service-fouten; deze stijgt wanneer fouten de doelstelling overschrijden en daalt wanneer ze eronder liggen.
  • Factorisatie: Uitgaande van onafhankelijke vraag tussen zones, wordt het probleem gedecomposeerd in per-zone subproblemen die worden beheerd door één agent per categorie. Alle zones binnen een categorie delen één enkele Q-tabel, die wordt bijgewerkt door de gecombineerde ervaring van alle zones in die categorie.
  • Primal-Dual Updates: Het algoritme wisselt af tussen het updaten van de Q-waarden (primal) om de aangepaste beloning te optimaliseren (basisbeloning minus $\lambda \times$ fouten) en het updaten van de duale variabelen (dual) op basis van de gemiddelde overtreding van de foutbeperking over een glijdend venster.
• Realistische Aanpassing: Voor de casestudy in Den Haag hebben de auteurs het model aangepast om zones met ongelijke capaciteiten te verwerken door de voertuigvoorraad te normaliseren naar een bezettingsfractie ($0$ tot $1$). Zij hebben servicezones geconstrueerd met behulp van weighted k-means clustering van stationlocaties en hebben de vraag geschat met behulp van nationale reisgegevens (ODiN) en adresregisters.

Belangrijkste Bijdragen

1. Directe Naleving van Beperkingen: De methode stelt een stad in staat om direct een maximaal service-foutpercentage op te geven, waardoor de noodzaak voor trial-and-error bij het afstemmen van gelijkheidswegingen vervalt. Het algoritme past de rebalanceringsstrategie automatisch aan om de grens te halen.
2. Kosten-transparantie: De aanpak kwantificeert de operationele kosten van het voldoen aan specifieke gelijkheidstargets. Het toont aan dat naarmate de foutpercentage-grens strenger wordt, de rebalanceringskosten toenemen, waardoor steden de prijs van striktere regels kunnen evalueren voordat ze deze adopteren.
3. Selectie van Metrieken: De paper betoogt dat de Gini-index ongeschikt is voor het afdwingen van een "service vloer" (service floor). Hoewel reward shaping (wat de ratio's gelijk maakt) de Gini-index vermindert, behoudt de beperkte aanpak een hoge service in centrale zones terwijl de perifere zones worden verbeterd. Dit kan ervoor zorgen dat de Gini-index stagneert of zelfs licht stijgt naarmidd de worst-case foutpercentage verbetert, wat het worst-case foutpercentage een meer geschikte metriek maakt voor dit specifieke doel.
4. Realistische Toepasbaarheid: Een casestudy in Den Haag laat zien dat de methode geïnstantieerd kan worden met behulp van publiekelijk beschikbare data (stationfeeds, adresregisters en reisverzamelingen) om een getrainde rebalanceringsstrategie te genereren.

Resultaten

• Synthetisch Netwerk: Op een synthetisch netwerk met vijf categorieën slaagde de methode erin om gespecificeerde foutpercentage-drempels te halen voor alle zonecategorieën en tijdsperioden. Naarmidd de grens ($r_{max}$) kromp van 100% naar 5%, nam het worst-case foutpercentage monotoon af, terwijl de rebalanceringskosten ongeveer verdubbelden. De centrale zones bleven ongeaffecteerd door de beperkingen, terwijl de perifere zones een significante verbetering in beschikbaarheid lieten zien.
• Vergelijking met Reward Shaping: Vergeleken met de reward-shaping baseline, degradeerde de beperkte aanpak de service in goed bediende centrale zones niet om het gat te verkleinen. In plaats daarvan richtte het zich op de onderbediende zones om de absolute drempel te halen.
• Casestudy Den Haag: Toegepast op echte data presteerde het systeem al goed (ongeveer 2,8% foutpercentage in het slechtste geval zonder beperkingen). Wanneer getest met striktere grenzen, reageerde de methode door de fleet-omvang en de rebalanceringsoperaties te vergroten. Echter, bij de strengste grenzen (0,5% en 0,75%) overschreden de meest perifere zones de limiet licht door de per-categorie factorisatie (het delen van één strategie over zones van verschillende groottes), wat wijst op een afruil tussen computationele efficiëntie en granulaire controle.

Betekenis en Claims
De auteurs beweren dat dit werk de kloof overbrugt tussen regelgevende gelijkheidseisen en operationele besluitvorming. Door rebalancering te kaderen als een CMDP, transformeert de methode een gelijkheidsdoel in een planning-input met een bekende prijs. Het stelt steden in staat om resultaatgerichte regels (serviceniveaus) af te dwingen in plaats van voorschrijvende inputs (voertuigaantallen), wat aansluit bij de aanbevelingen van instanties zoals het International Transport Forum. De paper concludeert dat deze aanpak een levensvatbaar pad biedt naar het bereiken van de last-mile toegangsmogelijkheden van SDG 11.2 van de VN, door een mechanisme te bieden om een service-vloer in onderbediende gebieden te handhaven zonder de efficiëntie van de rest van het netwerk in gevaar te brengen. De auteurs blijven bescheiden en merken op dat het huidige model uitgaat van onafhankelijke vraag en vaste rebalancering-momenten, en dat toekomstig werk nodig is om demand-correlaties, intra-periode rebalancering en online adaptatie aan verschuivende vraagpatronen aan te pakken.