UrbanHuRo: A Two-Layer Human-Robot Collaboration Framework for the Joint Optimization of Heterogeneous Urban Services

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat een stad een enorm, levend organisme is. In dit organisme werken twee soorten "cellen" samen: mensen (de bezorgers die eten afleveren) en robots (de voertuigen die de luchtkwaliteit en het verkeer meten).

Vroeger werkten deze twee groepen alsof ze in verschillende universums leefden. De bezorgers haastten zich om eten op tijd te brengen, en de robots reden rond om data te verzamelen. Ze hielpen elkaar niet, wat een gemiste kans was.

Deze paper introduceert UrbanHuRo, een slim systeem dat deze twee groepen samenbrengt in een perfecte dans. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Grote Idee: "Wij doen het samen"

Stel je voor dat een bezorger op zijn scooter rijdt om een pizza te brengen. Onderweg passeert hij een drukke straat met veel uitlaatgassen.

De oude manier: De bezorger kijkt alleen naar zijn pizza. De robot rijdt ergens anders naartoe om diezelfde lucht te meten.
De UrbanHuRo manier: De bezorger wordt gevraagd om ook een "luchtmeter" te zijn. Terwijl hij de pizza bezorgt, verzamelt hij data over de lucht. Tegelijkertijd, als het piekuren is en er veel bestellingen zijn, kan een robot even helpen met het bezorgen van eten, zodat de mensen minder stress hebben.

Het doel is simpel: Iedereen wint. De mensen verdienen meer geld, de robots krijgen meer data, en de stad wordt schoner en efficiënter.

2. De Uitdaging: Een Orkestdirigent zonder Partituur

Het probleem is dat dit heel lastig te regelen is.

De bezorgers willen snel en winstgevend routes rijden (hun eigen zin).
De robots moeten precies doen wat het systeem zegt.
Soms botst het: als een robot te lang stopt om een sensor af te lezen, mist hij een bezorging. Als een bezorger te lang stopt om te meten, wordt de pizza koud.

Het systeem moet in echt beslissingen nemen: "Wie doet wat, en wanneer?" zonder dat het hele systeem vastloopt door te veel berekeningen.

3. De Oplossing: Twee Slimme Verstanden

UrbanHuRo gebruikt twee lagen van "intelligentie" die als een goed getraind duo werken:

Laag 1: De "Super-Dispatcher" (De Orkestdirigent)

Dit is de laag die beslist wie wat moet doen.

Hoe het werkt: Stel je voor dat er duizenden bestellingen en duizenden bezorgers zijn. Een menselijke planner zou hier dagen over doen. UrbanHuRo gebruikt een truc genaamd MapReduce.
De Analogie: Denk aan een gigantisch puzzelstuk dat in 40 kleinere stukjes wordt gesneden. 40 computers (werkers) werken tegelijkertijd aan hun eigen stukje van de puzzel. Ze zoeken elk de beste bezorger voor hun lokale bestellingen. Daarna komen ze samen, en een "hoofdcomputer" plakt de stukken weer perfect in elkaar.
Het resultaat: Het systeem kan in een fractie van een seconde beslissen welke robot welke bestelling moet oppakken, rekening houdend met zowel de bezorging als de sensor-waarde.

Laag 2: De "Slimme Navigator" (De Robot-Coach)

Dit is de laag die de robots vertelt waar ze naartoe moeten rijden.

Hoe het werkt: Mensen rijden hun eigen favoriete routes (de snelste weg naar huis of de meeste geld). Robots doen wat het systeem zegt. Deze laag gebruikt een Deep Learning algoritme (een soort robot-brein) dat leert van ervaring.
De Analogie: Het is alsof je een robot een kaart geeft met een "goudzoeker"-functie. De robot ziet waar de goudklompen (nieuwe, ongemeten plekken) liggen. Maar de robot is ook slim genoeg om te weten: "Als ik nu naar dat goud ga, mis ik een belangrijke bezorging." Het algoritme leert de perfecte balans: "Ik ga hier een beetje meten, maar ik blijf op tijd voor de pizza."

4. Wat is het Resultaat?

De auteurs hebben dit systeem getest met echte data van een bezorgbedrijf in Shanghai (met 160.000 bestellingen!). De resultaten waren indrukwekkend:

Meer Goud voor de Robots: De robots dekken 29,7% meer van de stad met hun metingen. Ze zien meer van de stad dan ooit tevoren.
Meer Geld voor de Mensen: De bezorgers verdienen gemiddeld 39,2% meer. Waarom? Omdat er minder bestellingen te laat aankomen (geen boetes) en ze efficiënter worden ingezet.
Minder Stress: Er zijn veel minder "overdue orders" (bestellingen die te laat zijn). Het systeem is zo goed in het plannen dat zelfs tijdens de drukke lunchpauze alles op tijd is.

Samenvattend

UrbanHuRo is als het toevoegen van een super-slimme coördinator aan een stad. Deze coördinator zorgt ervoor dat de bezorgers niet alleen eten brengen, maar ook helpen de stad te "voelen", en dat de robots niet alleen meten, maar ook helpen de stad te "voeden". Het is een win-win situatie waar technologie en menselijke arbeid hand in hand werken om een slimmere, schoner en rijkere stad te maken.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "UrbanHuRo: A Two-Layer Human-Robot Collaboration Framework for the Joint Optimization of Heterogeneous Urban Services" in het Nederlands.

Probleemstelling

In het visioen van slimme steden worden technologieën ontwikkeld om de efficiëntie van stedelijke diensten te verbeteren. Echter, bestaand onderzoek richt zich vaak op het optimaliseren van individuele diensten (zoals bezorging of stedelijke sensing) in isolatie, zonder rekening te houden met de wederzijdse interacties tussen verschillende diensten. Dit leidt tot suboptimale resourcebenutting.

De auteurs identificeren drie fundamentele uitdagingen bij het gezamenlijk optimaliseren van heterogene diensten (bijvoorbeeld bezorging door mensen en sensing door robots):

Conflicterende doelen en asynchrone feedback: Diensten hebben vaak onafhankelijke of tegenstrijdige doelen. Het is moeilijk om de impact van een enkele actie op meerdere doelen te beoordelen, vooral omdat beloningen (rewards) asynchroon worden waargenomen (bijv. de sensing-waarde van een bezorgopdracht is pas later bekend).
Real-time coördinatie in dynamische omgevingen: Het coördineren van grote aantallen agenten in real-time is computationeel zeer veeleisend.
Mens-robot samenwerking: Menselijke bezorgers (kopers) hebben verschillende voorkeuren en gedragingen dan autonome robots. Een systeem moet rekening houden met menselijke tevredenheid en bereidheid tot deelname om duurzaam te zijn.

Het doel is om een raamwerk te creëren dat bezorging (door menselijke koeriers) en stedelijke sensing (door robotvoertuigen) combineert, waarbij robots helpen bij piekmomenten en mensen data verzamelen tijdens hun route.

Methodologie: UrbanHuRo Framework

De auteurs stellen UrbanHuRo voor, een tweelaags mens-robot samenwerkingsframework dat het probleem formuleert als een Markov Beslissingsproces (MDP). Het framework bestaat uit een bovenste laag (order-dispatch) en een onderste laag (routeplanning), die gekoppeld zijn via hybride feedback.

1. Architectuur en Agenten

Agenten: Menselijke koeriers en autonome robotvoertuigen (RV's).
Acties:
- Dispatch-laag: Toewijzen van bestellingen aan agenten.
- Sensing-laag: Routeplanning voor RV's (menselijke koeriers volgen hun eigen, winstmaximerende routes).
Beloningen (Rewards): Een combinatie van bezorgopbrengst (gebaseerd op tijdigheid en tarief) en sensing-waarde (gebaseerd op gebiedsdekking en vermijden van redundantie).

2. Belangrijkste Componenten

A. Bovenste Laag: KSubMR (Order Dispatch)
Dit is een schaalbaar, gedistribueerd module voor het toewijzen van bestellingen.

Probleem: Het optimaliseren van een veel-op-veel toewijzing met zowel directe bezorgbeloningen als geschatte toekomstige sensing-waarden is complex.
Oplossing: Een MapReduce-gebaseerde K-Submodulaire maximalisatie.
- Het gebruikt de submodulaire eigenschap van de matchfunctie om approximatie-garanties te bieden.
- Twee rondes MapReduce:
  1. Top-N Dispatch: Werkmachines genereren lokale toewijzingen op basis van een "Delivery Quotient" en "Sensing Quotient".
  2. Threshold Dispatch: De hoofdmachine aggregert deze resultaten en past een drempelwaarde toe om de definitieve toewijzing te bepalen, waarbij redundantie wordt geminimaliseerd.
Hybride Feedback: De bovenste laag gebruikt niet alleen directe bezorgbeloningen, maar ook een geschatte sensing-waarde ( $V_s$ ) die door de onderste laag wordt berekend.

B. Onderste Laag: DSRQN (Route Planning voor RV's)
Dit is een Deep Reinforcement Learning (RL) algoritme voor het plannen van sensing-routes.

Algoritme: Deep Submodular Reward Q-Network (DSRQN).
Functie:
1. Genereert route-acties voor RV's om de sensing-dekking te maximaliseren.
2. Schat de geaggregeerde sensing-waarde ( $V_s$ ) voor de bovenste dispatch-laag.
Beloningsfunctie: Bestaat uit drie componenten:
- Regionale beloning: Waarde van het bezoeken van een nieuw gebied.
- Buurland-beloning: Beloning voor het bezoeken van gebieden naast nog niet-gesensde gebieden.
- Straf (Penalty): Een grote kostenfactor als een bestelling te laat wordt bezorgd, om risicovolle sensing-acties te voorkomen.
Submodulariteit: Om "diminishing returns" (afnemende meeropbrengst) door ruimtelijke redundantie te modelleren, wordt een submodulaire aggregatiefunctie gebruikt die de overlap tussen paden straft.

Kernbijdragen

Conceptueel: Het introduceren van een nieuwe paradigma voor het gezamenlijk optimaliseren van heterogene stedelijke diensten door mens-robot samenwerking, waarbij trage resources van de ene dienst worden gebruikt voor de andere.
Technisch: De ontwikkeling van UrbanHuRo met twee geïnnoveerde modules:
- KSubMR: Een schaalbare, gedistribueerde oplossing voor real-time order-dispatch die asynchrone feedback en grote schaalbaarheid aankan.
- DSRQN: Een nieuw RL-algoritme dat submodulaire beloningen integreert om dynamische sensing-routes te plannen en waarden terug te koppelen naar het dispatch-systeem.
Experimenteel: Validatie op een real-world dataset van een voedselbezorgplatform in Shanghai (160.000 bestellingen).

Resultaten

De prestaties van UrbanHuRo werden vergeleken met vijf state-of-the-art baselines (zoals FastD, HighS, en LSTAlloc) met variërende aantallen robotvoertuigen (RV's).

Sensing Dekking: UrbanHuRo verbeterde de sensing-dekking met gemiddeld 29,7% ten opzichte van de beste baselines (bij 1000-4000 RV's).
Inkomen Koeriers: Het gemiddelde uurloon van menselijke koeriers steeg met 39,2%, voornamelijk door het verminderen van boetes voor te late bezorgingen en het optimaliseren van routes.
Vertraagde Bestellingen: Het systeem reduceerde het aantal verstreken bestellingen aanzienlijk (orde van grootte lager dan baselines), zelfs tijdens piekuren, wat aantoont dat het systeem prioriteit geeft aan tijdige levering zonder de sensing-doelen te verwaarlozen.
Ablatie-studie: Toonde aan dat alle componenten van de beloningsfunctie (regio, buurland, en straf voor vertraging) essentieel zijn voor het vinden van de juiste balans tussen bezorging en sensing.

Betekenis en Impact

UrbanHuRo demonstreert dat het integreren van menselijke en robotische krachten in stedelijke diensten leidt tot een "win-win" situatie. Door de wederzijdse afhankelijkheid van diensten (bezorging en sensing) te benutten, kan de totale efficiëntie van de stad worden verhoogd. Het paper biedt een robuust technisch raamwerk voor het overwinnen van de uitdagingen van real-time coördinatie, conflicterende doelen en mens-robot interactie, wat een belangrijke stap is naar de realisatie van echt slimme en adaptieve steden.