Competitive Multi-Operator Reinforcement Learning for Joint Pricing and Fleet Rebalancing in AMoD Systems

Dit onderzoek introduceert een competitief multi-operator versterkingsleerframework voor autonome mobiliteit-op-vraag-systemen dat, door discrete keuzetheorie te integreren, aantoont dat marktconcurrentie leidt tot lagere prijzen en andere vlootstrategieën dan in monopolistische scenario's, terwijl de agents toch robuuste beleidsregels leren.

De kern

Stel je voor dat een grote stad een enorm, levendig bordspel is. In het verleden waren er vaak maar één of twee grote vervoerders die de regels bepaalden. Maar de toekomst van vervoer – met zelfrijdende auto's die je overal naartoe brengen – wordt meer als een drukke markt met veel verschillende verkopers.

Deze paper is een onderzoek naar wat er gebeurt als twee zelfrijdende taxi-bedrijven met elkaar concurreren in zo'n stad. Ze gebruiken slimme computerprogramma's (die we "Reinforcement Learning" noemen) om te leren hoe ze het beste hun prijzen moeten stellen en waar ze hun auto's moeten parkeren.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Grote Probleem: De "Eenzaamheid" vs. De "Strijd"

Vroeger keken onderzoekers alleen naar één bedrijf dat de hele stad bedient. Dat is als een solospelletje: je probeert alleen je eigen score te maximaliseren.
Maar in de echte wereld is het een meerdere-spelers spel. Bedrijf A probeert klanten te trekken, en Bedrijf B doet hetzelfde. Als Bedrijf A zijn prijs verlaagt, stelen ze klanten van Bedrijf B. Als Bedrijf B zijn auto's in een drukke buurt zet, heeft Bedrijf A daar minder te doen.

De onderzoekers hebben een nieuwe manier bedacht om dit te simuleren: twee "robots" die tegelijkertijd leren spelen, zonder dat ze weten wat de ander precies van plan is.

2. De Twee Spelers: De Prijsvaste en de Verplaatser

Elk bedrijf moet twee dingen beslissen:

• De Prijs: Moet ik mijn tarief iets verlagen om meer klanten te krijgen, of juist verhogen omdat het druk is?
• De Verplaatsing (Rebalancing): Waar moeten mijn lege auto's staan? Bij een druk station of bij een rustig park?

Stel je voor dat de auto's pionnen zijn op een schaakbord. De robots moeten beslissen: "Zet mijn pionnen nu naar het noorden, want daar is het druk," of "Verlaag mijn prijs, want de ander is te duur."

3. De Klant: De Slimme Kiezer

De passagiers in dit spel zijn niet dom. Ze kijken naar:

• Hoeveel kost het?
• Hoe lang moet ik wachten?
• Wat is mijn inkomen? (Rijke mensen vinden tijd belangrijker dan geld, arme mensen juist andersom).

De passagier kiest de auto die voor hem de beste deal is. Dit is als een veiling: de passagier koopt de auto die de meeste "waarde" biedt voor zijn portemonnee en zijn tijd.

4. Wat hebben ze ontdekt? (De verrassende resultaten)

A. Concurrentie maakt alles goedkoper (maar soms chaotischer)
In een wereld met één bedrijf (een monopolie) kunnen ze de prijzen hoog houden en alles perfect regelen.
Wanneer twee bedrijven strijden, daalt de prijs. Dat is goed voor jou als passagier! Je betaalt minder.

• De keerzijde: Omdat ze allebei proberen slim te zijn, kan het soms leiden tot een beetje chaos. Soms staan er te veel auto's op één plek en te weinig op een andere, omdat ze elkaar "op de hielen zitten". De wachttijden voor passagiers worden daardoor soms iets langer dan bij één grote, georganiseerde vervoerder.

B. Het hangt af van de stad
In sommige steden (zoals San Francisco in het onderzoek) is het belangrijk om je auto's slim te verplaatsen. In andere steden (zoals New York) is het belangrijker om de prijs te spelen.

• Vergelijking: In een drukke stad met veel variatie is het als een voetbalwedstrijd waar je je spelers (auto's) moet verplaatsen naar de open plekken. In een stad waar het altijd even druk is, is het meer als poker: wie de slimste prijs zet, wint.

C. De robots leren snel
Het meest indrukwekkende is dat de computerprogramma's (de robots) het heel goed doen, zelfs als ze niet weten wat de ander precies doet. Ze leren door te proberen en fouten te maken. Ze vinden een stabiel evenwicht, net als twee honden die uiteindelijk beslissen om samen in de tuin te slapen in plaats van te vechten.

5. De Grootte van het Team

Het onderzoek keek ook naar wat er gebeurt als één bedrijf veel groter is dan de ander.

• Als één bedrijf heel groot is en de ander klein, probeert de kleine speler zijn prijzen te verhogen (omdat hij "uniek" is) en de grote speler verlaagt zijn prijzen om de markt te domineren.
• Vergelijking: Het is als een grote supermarkt tegenover een kleine bakker. De supermarkt kan goedkoop zijn omdat ze veel hebben, de bakker moet zich onderscheiden met kwaliteit of specifieke producten (hoge prijzen).

Conclusie: Wat betekent dit voor jou?

Dit onderzoek laat zien dat de toekomst van zelfrijdende taxi's waarschijnlijk niet wordt gedomineerd door één gigant, maar door meerdere spelers die met elkaar concurreren.

• Goed nieuws: Je zult waarschijnlijk goedkopere ritjes krijgen.
• Uitdaging: De systemen moeten heel slim zijn om te voorkomen dat er overal auto's staan die nergens heen hoeven, of juist nergens auto's zijn waar je ze nodig hebt.

De onderzoekers zeggen eigenlijk: "We hebben een manier gevonden om deze slimme robots te trainen om samen te spelen in een drukke markt, en het werkt verrassend goed!"

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Competitive Multi-Operator Reinforcement Learning for Joint Pricing and Fleet Rebalancing in AMoD Systems", geschreven in het Nederlands.

Probleemstelling

Autonome Mobility-on-Demand (AMoD) systemen beloven de stedelijke mobiliteit te revolutioneren door betaalbare, vraaggestuurde diensten te bieden. Echter, realistische AMoD-markten zullen niet door één monopolist worden beheerd, maar door meerdere operatoren die concurreren om passagiers. Bestaand onderzoek op het gebied van Reinforcement Learning (RL) voor AMoD richt zich voornamelijk op gecentraliseerde, monopolistische scenario's waarbij één operator zowel prijsbepaling als vlootrebalancering optimaliseert.

Het centrale probleem dat dit artikel adresseert, is het ontbreken van modellen die de competitieve marktdynamiek tussen meerdere operatoren effectief simuleren en leren. Operatoren moeten strategische beslissingen nemen over prijzen en vlootpositie, waarbij hun opties direct worden beïnvloed door de acties van concurrenten (bijv. een prijsverlaging van de ene operator haalt passagiers weg bij de andere). Traditionele methoden zoals wachtrijtheorie of Model Predictive Control (MPC) hebben moeite met deze complexe, stochastische interacties en de noodzaak om onvoorspelbaar concurrentiegedrag te anticiperen zonder expliciete modellen van de markt.

Methodologie

De auteurs introduceren een competitief multi-operator RL-framework dat simultaan leert over prijsbepaling en vlootrebalancering voor twee onafhankelijke operatoren.

1. Omgeving en Marktdynamiek:

   • De omgeving wordt gemodelleerd als een gerichte graaf $G=(V, E)$ met ruimtelijke regio's.
   • Passagierskeuzes worden bepaald door een discrete choice model (Multinomial Logit). De nuttigheid ($U$) van een keuze hangt af van de ritprijs, de reistijd en het uurloon van de passagier.
   • Passagiers kiezen tussen Operator 0, Operator 1 of een alternatief vervoersmiddel. Deze keuze is endogeen: de vraagverdeling ontstaat uit de interactie van de prijzen en de servicekwaliteit van beide operatoren.
   • Er is een wachtrijmechanisme met een maximale wachttijd van 6 minuten; wordt deze overschreden, dan verlaat de passagier het systeem.

2. RL-Formulering (MDP):

   • Het probleem wordt geformuleerd als een Markov Decision Process (MDP) voor elke operator.
   • Toestand (State): Omvat de netwerkstructuur, eigen lege voertuigen per regio, voertuigen onderweg, historische prijzen (eigen en concurrent), wachtrijlengtes en eerdere vraag. Operatoren zien de prijzen van de concurrent, maar niet hun exacte vlootlocaties of vraag.
   • Actie (Action): Elke operator bepaalt per regio:
     • Een prijsfactor ($\rho$) die wordt vermenigvuldigd met een historische referentieprijs.
     • Een gewenste verdeling van lege voertuigen over de regio's.
   • Beloning (Reward): De winst van de operator, berekend als de totale rit-omzet minus operationele kosten (voor reizen met passagiers en rebalancering).

3. Architectuur:

   • Er wordt gebruik gemaakt van een Actor-Critic structuur met Graph Convolutional Networks (GCN) om de ruimtelijke afhankelijkheden in het vervoersnetwerk te modelleren.
   • Elke operator heeft zijn eigen onafhankelijke netwerken (geen parameterdeling).
   • De actor gebruikt probabilistische distributies (Beta voor prijzen, Dirichlet voor vlootverdeling) om stochastisch te handelen, wat essentieel is voor exploratie in een competitieve omgeving.
   • De rebalancering wordt uitgevoerd via een minimal-cost flow probleem dat de gewenste verdeling omzet in concrete voertuigbewegingen.

Belangrijkste Bijdragen

1. Formulering van een Competitief Dual-Operator Probleem: Het artikel breidt bestaande RL-frameworks uit van monopolistische naar competitieve markten, waarbij twee operatoren gelijktijdig leren en zich aanpassen.
2. Endogene Vraagallocatie: Door een passagierkeuzemodel met loonafhankelijke prijsgevoeligheid te integreren, wordt de vraagverdeling tussen operatoren een direct gevolg van hun leeracties, in plaats van een extern gegeven.
3. Empirische Validatie: Het gebruik van real-world taxi-rijdata uit drie steden (San Francisco, Washington DC, NYC) om te demonstreren dat concurrentie fundamenteel het geleide gedrag verandert ten opzichte van monopolistische scenario's.

Resultaten en Analyse

De experimenten tonen aan dat concurrentie de leeruitkomsten drastisch beïnvloedt:

• Prijsdaling: Concurrentie leidt overal tot lagere prijzen in vergelijking met monopolistische scenario's (tot 27% lager in San Francisco). Dit komt ten goede aan de passagiers.
• Verschillende Dominante Strategieën:
  • In San Francisco (hoge vraagvariatie) presteert gezamenlijke controle (prijs + rebalancering) het beste, omdat vlootpositionering cruciaal is om met de fluctuaties om te gaan.
  • In NYC Manhattan South (stabiel, hoge dichtheid) presteert alleen prijsbepaling het beste. Hier fungeert dynamische prijsbepaling als een effectief mechanisme voor impliciete rebalancering.
  • In Washington DC is rebalancering de dominante factor.
• Wachttijden en Efficiëntie: Hoewel passagiers profiteren van lagere prijzen, leiden gefragmenteerde vlootbeheerstrategieën (twee operatoren) tot langere wachttijden en een lagere algehele marktefficiëntie in vergelijking met een gecoördineerde monopolist.
• Robuustheid: De RL-agenten convergeren succesvol naar stabiele beleidslijnen, zelfs zonder volledige observatie van de concurrent (alleen prijzen zijn zichtbaar). Dit suggereert dat concurrentie-prijzen meer "ruis" dan actieerbare signalen introduceren in deze leeromgevingen.
• Gevoeligheidsanalyses:
  • Vlootgrootte: Grotere vlootten leiden tot lagere prijzen en meer gediende passagiers, maar na een bepaald punt nemen de rebalanceringkosten de winst over.
  • Asymmetrie: Bij ongelijke vlootverdeling (bijv. 1:9) verlaagt de kleinere operator de prijsconcurrentie door zijn prijzen te verhogen, terwijl de grotere operator zijn marktaandeel behoudt door lage prijzen aan te bieden.
  • Inkomensverschillen: Operatoren verplaatsen voertuigen naar regio's met hogere inkomens en verhogen daar de prijzen om de hogere betalingsbereidheid te benutten.

Betekenis en Conclusie

Dit onderzoek is significant omdat het de eerste stap is naar het begrijpen van RL-gestuurde AMoD-systemen in een realistische, competitieve markt. De bevindingen tonen aan dat:

1. Monopolistische optimalisatie niet direct overdraagbaar is: Strategieën die werken voor een enkele operator falen of suboptimaal zijn in een competitieve omgeving.
2. Concurrentie een dubbelzinnig effect heeft: Het verlaagt de kosten voor consumenten (lagere prijzen), maar kan de operationele efficiëntie (wachttijden) verminderen door gebrek aan coördinatie.
3. RL robuust is: Lerende agenten kunnen effectieve strategieën ontwikkelen zelfs met beperkte informatie over concurrenten.

De studie suggereert toekomstig werk gericht op het modelleren van collusie, het integreren van wachttijd als directe nuttigheidsfactor, en het onderzoeken van emergent gedrag bij asymmetrische architecturen. Het biedt een waardevol raamwerk voor beleidsmakers en bedrijven die de impact van marktregulering en concurrentie op toekomstige autonome vervoerssystemen willen begrijpen.