Navigating the Clutter: Waypoint-Based Bi-Level Planning for Multi-Robot Systems

Probleemstelling

Besturing van multi-robot systemen in rommelige (geclutterde) omgevingen is een complex probleem dat wordt gekenmerkt door strikte fysieke beperkingen, zoals botsingen tussen robots, botsingen met obstakels en kinematische onhaalbaarheid. Bestaande benaderingen behandelen vaak taakplanning (hoog niveau) en bewegingsplanning (laag niveau) gescheiden of slechts gedeeltelijk gekoppeld. Dit leidt tot twee fundamentele uitdagingen:

1. Taak-bewegings mismatch: Een taakplanning kan intern onhaalbaar zijn (bijv. robots toewijzen aan overlappende gebieden) of een geldige taakplanning kan falen omdat de bewegingsplanner geen botsingsvrije trajecten kan vinden in dichte omgevingen.
2. Credit Assignment Ambiguïteit: Bij gezamenlijke optimalisatie is het moeilijk te bepalen of een mislukking het gevolg is van een fout in de taakplanning of een lokale fout in de bewegingsplanning. Dit maakt het trainen van gecombineerde Reinforcement Learning (RL) systemen zeer moeilijk.

Methodologie: WAYPLAN

De auteurs stellen WAYPLAN voor, een hybride besturingsframework dat taak- en bewegingsplanning gezamenlijk optimaliseert via een tweeledig (bi-level) architectuur gebaseerd op Large Language Models (LLM's).

1. Tweeledige Architectuur:

• Taakplanner ($M_\theta$): Genereert een hoog-niveau plan dat bepaalt welke robots actief zijn, welke doelen ze moeten bereiken en of ze objecten dragen. Deze planner werkt op abstracte commando's zonder directe voorspelling van complexe bewegingstrajecten.
• Bewegingsplanner ($M_\phi$): In plaats van directe, hoogdimensionale joint-configuraties te voorspellen (zoals bij Vision-Language-Action modellen), genereert deze planner waypoints (intermediaire 3D-coördinaten). Deze waypoints worden vervolgens omgezet in uitvoerbare, kinematisch haalbare trajecten door een klassieke bewegingsplanner (zoals RRT - Rapidly-exploring Random Trees). Dit reduceert de dimensie van het leerprobleem aanzienlijk.

2. Curriculum Training Strategie:
Om de gezamenlijke optimalisatie stabiel te maken, gebruiken de auteurs een drie-fasen trainingsstrategie:

• Fase 1 (SFT Warm-up): Supervised Fine-Tuning voor zowel de taak- als bewegingsplanner op gescheiden datasets. Voor de taakplanner wordt gebruik gemaakt van "reflection-aware" prompting, waarbij het model leert redeneren over fouten (zoals botsingen of bereikbaarheidsproblemen) die tijdens het zoeken naar een oplossing (A*) zijn opgetreden.
• Fase 2 (Gescheiden RLVR): Elke planner wordt apart getraind met Reinforcement Learning from Verifiable Rewards (RLVR). De taakplanner krijgt beloning voor succesvolle taak voltooiing, en de bewegingsplanner voor succesvolle waypoint-generatie. Er is nog geen koppeling tussen de twee.
• Fase 3 (Gezamenlijke RLVR): De kerninnovatie. Hier worden beide planners samen getraind. De taakplanner krijgt een bewegingsbewuste beloning die boetes oplegt voor plannen die leiden tot onhaalbare bewegingen. De bewegingsplanner wordt getraind op bewegingsvragen die gegenereerd worden door de huidige taakplanner. Dit creëert een feedbacklus die de credit assignment-problematiek oplost: als een beweging faalt, krijgt de taakplanner direct feedback om zijn planning aan te passen.

3. Nieuwe Benchmark: BoxNet3D-OBS
De auteurs introduceren een nieuwe benchmark met tot 9 robots en dichte obstakels in een rasteromgeving om de prestaties te testen onder realistische, complexe omstandigheden.

Belangrijkste Resultaten

Experimenten op BoxNet3D-OBS tonen aan dat WAYPLAN aanzienlijk beter presteert dan bestaande methoden:

• Superieure Succesratio: De combinatie van een taakplanner met bewegingsbewustzijn en de waypoint-bewegingsplanner bereikt een succesratio van 0.62 (met een NC-REPLAN strategie). Dit is aanzienlijk hoger dan motion-agnostic baselines en zelfs grotere LLM's (zoals GPT-5) die geen bewegingsbewustzijn hebben.
• Waypoint vs. VLA: De waypoint-benadering overtreft Vision-Language-Action (VLA) modellen aanzienlijk. VLA-modellen kampen met een hoge rate van "invalid" trajecten en botsingen, zelfs met meer trainingsdata, omdat het leren van kinematische haalbaarheid vanuit demonstraties te complex is. Waypoints, gekoppeld aan een klassieke planner, garanderen fysieke haalbaarheid.
• Efficiëntie: De LLM-based planners zijn veel sneller in inferentie dan traditionele zoekalgoritmen (zoals A*), met een totale doorlooptijd van minder dan 60 seconden tegenover 580 seconden voor A* in de geteste scenario's.
• Generalisatie: Modellen getraind met de gezamenlijke RLVR-strategie generaliseren beter naar ongezette kaartgroottes en lay-outs dan modellen die alleen met SFT zijn getraind.

Bijdragen

1. BoxNet3D-OBS: Een nieuwe, uitdagende benchmark voor multi-robot besturing in rommelige omgevingen.
2. WAYPLAN Framework: Een hybride LLM-architectuur die taakbeslissingen expliciet koppelt aan bewegingshaalbaarheid via waypoints.
3. Geavanceerde Trainingsstrategie: Een curriculum-benadering met een aangepast RLVR-algoritme dat de credit assignment-ambiguïteit tussen taak- en bewegingsniveaus oplost.
4. Empirisch Bewijs: Demonstreert dat een kleiner model (4B parameters) met een goed ontworpen framework (WAYPLAN) grotere, algemene LLM's kan overtreffen in specifieke robotica-taken.

Significantie

Dit paper is significant omdat het een praktische oplossing biedt voor het "long-horizon" probleem in robotica: hoe je complexe, lange-termijn taken kunt plannen in omgevingen waar fysieke beperkingen cruciaal zijn. Door de complexiteit van bewegingsplanning te reduceren via waypoints en deze te koppelen aan taakplanning via een gestructureerde trainingscyclus, maken de auteurs multi-robot besturing in dichte omgevingen robuuster en schaalbaarder. Het resultaat is een systeem dat niet alleen "denkt" over wat er gedaan moet worden, maar ook begrijpt of het fysiek uitvoerbaar is, wat essentieel is voor de inzet van robots in magazijnen en andere real-world toepassingen.