Technische Samenvatting: HiCrowd - Hiërarchische uitlijning van menselijke doorstroom in dichte menselijke omgevingen

Probleemstelling

Mobiele robots worden geconfronteerd met aanzienlijke uitdagingen bij het navigeren in dichte menselijke omgevingen, primair door het Freezing Robot Problem (FRP). In dit scenario heeft een robot moeite met het vinden van veilige bewegingen te midden van complexe menselijke interacties en raakt hij vast, zonder zijn doel te kunnen bereiken. Traditionele reactieve planners (bijv. Social Force, ORCA) falen vaak in het vatten van complexe mens-mens interacties in dichte settings, wat leidt tot FRP. Daartegenover staan recente Reinforcement Learning (RL) benaderingen die, hoewel ze sociaal conform gedrag aanleren, vaak moeite hebben om complexe crowd-toestanden direct te mappen naar laag-niveau besturingsacties terwijl veiligheid gegarandeerd wordt. De kernuitdaging is het balanceren van navigatie-efficiëntie, veiligheid en sociale conformiteit zonder dat de robot bevriest of botst.

Methodologie: HiCrowd Framework

De auteurs stellen HiCrowd voor, een hiërarchisch framework dat Reinforcement Learning (RL) integreert met Model Predictive Control (MPC) om efficiënte en veilige navigatie mogelijk te maken. De kernhypothese is dat robots in dichte omgevingen menselijke beweging als begeleiding moeten gebruiken (afstemmen op compatibele stromen) in plaats van mensen uitsluitend te behandelen als dynamische obstakels die vermeden moeten worden.

1. Hiërarchische Architectuur

Het systeem scheidt strategische besluitvorming op de lange termijn van korte-termijn bewegingscontrole:

• Hoog-niveau (RL Policy): De RL-agent fungeert als een strategische planner. In plaats van directe besturingscommando's uit te voeren, voorspelt deze een volgpunt $(f_x, f_y)$ in het lokale kader van de robot. Dit punt stuurt de robot aan om af te stemmen op een geschikte groep voetgangers (lokale crowd flow).
• Laag-niveau (MPC Controller): De MPC-module neemt het door de RL gegenereerde volgpunt als referentie. Het optimaliseert een traject over een korte horizon om dit stuurpunt te volgen, terwijl de dynamische haalbaarheid en veiligheid (botsingsvermijding) ten opzichte van nabijgelegen mensen worden gewaarborgd.

2. Reinforcement Learning Module

De RL-policy wordt getraind met het Soft Actor-Critic (SAC) algoritme. De observatieruimte omvat de staat van de robot, het doel en de toestanden (positie, snelheid) van $n$ nabijgelegen mensen binnen een detectieradius.

• Beloningsfunctie: De beloning $r_t$ is een gewogen som van drie componenten:
  1. Doelbereiking ($r_{goal}$): Een ijle (sparse) beloning voor het bereiken van de bestemming.
  2. Doelnabijheid ($r_{dist}$): Een dichte (dense) beloning die beweging richting het doel aanmoedigt.
  3. Crowd Following ($r_{follow}$): Een nieuwe beloningscomponent die de robot aanmoedigt om af te stemmen op crowd flows.
     • Mensen worden in groepen geclusterd met behulp van DBSCAN op basis van ruimtelijke nabijheid en bewegingsgelijkenis.
     • De beloning wordt berekend op basis van de maximale score over alle groepen, waarbij de overeenkomst tussen de beweging van de robot en de gemiddelde snelheid en richting van de groep wordt gemeten.
     • Deze term stimuleert de robot expliciet om zich bij compatibele stromen te voegen, wat het leren versnelt en de prestaties verbetert.

3. Model Predictive Control Module

De MPC minimaliseert een kostenfunctie $J = J_{follow} + J_{safe}$ over een planningshorizon $H$:

• Volgkosten ($J_{follow}$): Minimaliseert de afstand tussen het voorspelde traject en het door RL verstrekte volgpunt.
• Veiligheidskosten ($J_{safe}$): Bestraft nabijheid tot mensen die voorspeld worden via een Constant Velocity Model (CVM), gebruikmakend van een exponentiële kostenfunctie om een veiligheidsradius af te dwingen.

Belangrijkste Bijdragen

1. Principe van Crowd Flow Guidance: Het artikel toont aan dat het benutten van menselijke beweging als begeleiding, in plaats van enkel als obstakel te zien, een krachtig principe biedt voor veilige en efficiënte navigatie.
2. Hiërarchisch RL-MPC Framework: De auteurs introduceren een specifieke architectuur waarbij een hoog-niveau RL-agent, getraind met een crowd-following beloning, sociaal bewuste volgpunten genereert, terwijl een laag-niveau MPC zorgt voor veilige uitvoering.
3. Validatie in de echte wereld: De methode blijkt effectief te zijn bij realtime inzet zonder hertraining, waardoor de sim-to-real kloof wordt overbrugd.

Experimentele Resultaten

De auteurs evalueerden HiCrowd tegenover baselines inclusief ORCA (reactief), SARL (flat RL), CrowdAttn (attention-based RL) en een MPC-alleen ablatie. Evaluaties werden uitgevoerd op de ETH-UCY dataset (echte opnames) en een Synthetische dataset (dichter, tegengestelde stromen) in zowel offline (mensen reageren niet) als online (mensen reageren via ORCA) settings.

• Prestatie-indicatoren: HiCrowd behaalde de hoogste Success Rate (SR) (100% in online ETH-UCY en Synthetische settings) en de laagste Navigatietijd (NT) en Trajectlengte (PL).
• Freezing Robot Problem: HiCrowd verminderde de Freezing Frequency (FF) aanzienlijk en bereikte bijna nul bevriezing in de meeste settings, terwijl baselines vaak vastliepen.
• Veiligheid: Hoewel HiCrowd niet altijd de minimale afstand tot voetgangers maximaliseerde vergeleken met sommige baselines, behield het consistent een sociale afstand boven de 1,2 meter.
• Ablatieonderzoek: Het verwijderen van de crowd-following beloning ($\lambda_f = 0$) resulteerde in een tragere convergentie van het leren en lagere prestaties, wat bevestigt dat het expliciet belonen van flow-afstemming cruciaal is.
• Inzet in de echte wereld: De robot werd ingezet in een openbaar museum en bij Expo 2025 Osaka. Zonder hertraining navigeerde de robot succesvol door dichte voetgangersstromen, waarbij hij meebewoog met groepen, tegen stromen in navigeerde en stromen kruiste zonder botsingen of bevriezing.

Betekenis en Claims

Het artikel claimt dat HiCrowd een robuuste oplossing biedt voor het freezing robot problem door het paradigma te verschuiven van "obstakels vermijden" naar "afstemmen op stromen". De auteurs betogen dat deze hiërarchische aanpak effectief de lange-termijn sociale redenering ontkoppelt van de korte-termijn veiligheidsbeperkingen. De resultaten suggereren dat het behandelen van mensen als dynamische gidsen in plaats van statische barrières de robot in staat stelt om consistente voortgang te behouden in dichte menigten. De succesvolle inzet in de echte wereld in ongestructureerde, drukke omgevingen zonder hertraining onderstreept het potentieel van de methode voor praktische toepassingen in mensgerichte robotica.

Door de auteurs opgemerkte beperkingen:

• De vaste ratio tussen hoog-niveau en laag-niveau acties kan leiden tot vertraagde reacties bij snel veranderende omstandigheden.
• Het huidige framework modelleert de ruimtelijke geometrie van groepen niet expliciet, maar vertrouwt primair op bewegingskenmerken.
• Statische obstakels (bijv. muren) waren niet het primaire focuspunt van de huidige evaluatie.