Kinodynamic Task and Motion Planning using VLM-guided and Interleaved Sampling

Dit artikel presenteert een kinodynamische taak- en bewegingsplanner die een hybride staatboom combineert met visuele taalmodellen voor gerichte zoekruimte-exploratie en backtracking, wat resulteert in aanzienlijk hogere succespercentages en kortere planningstijden vergeleken met bestaande methoden.

De kern

Stel je voor dat je een robot wilt leren om een rommelige keuken op te ruimen en een maaltijd te bereiden. Dit klinkt simpel, maar voor een robot is het een enorme uitdaging. De robot moet twee dingen tegelijk doen:

1. Het grote plaatje zien: "Eerst de pan pakken, dan de groenten wassen, dan koken." (Dit is het taakplan).
2. De fysieke realiteit begrijpen: "Kan ik de pan echt pakken zonder dat hij omvalt? Is de weg naar de spoelbak vrij? Zie ik de groenten goed?" (Dit is het bewegingsplan).

Deze paper introduceert een slimme nieuwe manier om robots dit te leren, genaamd Kinodynamic TAMP. Laten we het uitleggen met een paar creatieve vergelijkingen.

Het Probleem: De Drie Slechte Manieren

Vroeger hadden robots drie manieren om dit aan te pakken, maar ze hadden allemaal een groot gebrek:

1. De "Dromer" (Alleen taakplanning): De robot droomt een perfect plan uit: "Ik pak de pan, ik was de sla, ik kook." Maar als hij het plan gaat uitvoeren, merkt hij pas aan het einde dat de pan vastzit of dat de sla te groot is voor de pan. Hij moet dan helemaal opnieuw beginnen. Vergelijkbaar met het tekenen van een hele route op een kaart, maar dan pas merken dat de brug gesloten is.
2. De "Willekeurige Probeerder" (Alleen beweging): De robot probeert willekeurig duizenden manieren om de pan te pakken. Hij probeert links, rechts, schuin, hard, zacht. Dit kost eeuwen en levert vaak niets op. Vergelijkbaar met het proberen van elke sleutel in een bos van 10.000 sleutels om één deur te openen.
3. De "Slimme Dromer" (LLM's): Er zijn recente robots die een "grote taalmodel" (zoals een super-intelligente chatbot) gebruiken. Deze kunnen goed praten en weten dat je eerst moet wassen voordat je kookt. Maar ze hebben geen ogen en geen gevoel voor ruimte. Ze kunnen niet zien of een pan echt past op een fornuis. Ze denken dat ze iets kunnen doen, maar in de echte wereld botst het. Vergelijkbaar met een chef-kok die alleen in zijn hoofd kookt, maar nooit in de keuken komt om te zien of het vuur wel aan staat.

De Oplossing: De "Visuele Architect"

De auteurs van dit paper hebben een nieuwe robot-architect bedacht die alle drie de problemen oplost. Ze noemen het een Hybride Boom met een Visuele Gids.

1. De Hybride Boom (De Bouwplaat)

In plaats van eerst het hele plan te maken en dan te kijken of het werkt, bouwt deze robot het plan stap voor stap, net als het bouwen van een boom.

• Elke tak van de boom is een stap in het plan (bijv. "pak de pan").
• Maar direct na elke stap checkt de robot: "Past dit fysiek? Botst het niet?"
• Als een stap niet werkt, wordt die tak van de boom direct afgebroken. Je verspillat geen tijd aan het plannen van de rest van de maaltijd als je al weet dat je de pan niet kunt pakken.

2. De Fysieke Simulator (De Proefkeuken)

Voordat de robot iets echt doet, doet hij het in een virtuele wereld (een simulator). Dit is alsof je een maaltijd eerst kookt in een video-game om te zien of het lukt.

• De robot checkt hier of de pan niet omvalt, of de arm niet vastloopt, en of de groenten niet van het aanrecht vallen.
• Dit zorgt ervoor dat het plan kinodynamisch is: rekening houdend met zwaartekracht, snelheid en krachten.

3. De VLM (De Visuele Gids met Ogen)

Dit is het meest innovatieve deel. De robot gebruikt een Visueel Taalmodel (VLM). Dit is een AI die niet alleen tekst begrijpt, maar ook kijkt naar afbeeldingen.

• De Gids: Als de robot een stap heeft gedaan, maakt de simulator een foto van de nieuwe situatie. De VLM kijkt naar deze foto en zegt: "Hé, die stap ziet er belachelijk uit! Die pan staat te scheef. Laten we een andere route proberen."
• De Backtrack (Terugkrabbelen): Als de robot vastloopt (bijvoorbeeld: "Ik kan de pan niet pakken omdat er een bord voor staat"), kijkt de VLM naar de foto's van de eerdere stappen. Ze zegt dan: "Weet je wat? We hadden dat bord eerst moeten verplaatsen. Laten we teruggaan naar stap 3 en dat bord verplaatsen."
• Zonder deze visuele gids zou de robot blindelings blijven proberen of willekeurig teruggaan. De VLM gebruikt gezond verstand en visuele cues om slimme beslissingen te nemen om uit een doodlopende straat te komen.

Waarom is dit zo goed?

In de experimenten hebben de auteurs dit getest in twee werelden:

1. De Blokkenwereld: Een stapel blokken die in een andere volgorde moet worden gestapeld.
2. De Keuken: Voedsel wassen, drogen en koken in een rommelige omgeving.

De resultaten:

• Traditionele robots faalden vaak of deden er eeuwen over.
• Robots die alleen op "slimme tekst" (LLM) vertrouwden, faalden omdat ze de fysieke ruimte niet begrepen.
• Deze nieuwe robot had veel meer succes (tot wel 10x beter in sommige gevallen) en was sneller.

De Conclusie in Eén Zin

Stel je voor dat je een robot hebt die niet alleen een recept kan lezen, maar ook in de keuken staat, kijkt of de pannen passen, en slim terugkrabbelt als hij een fout maakt, omdat hij de foto's van zijn eigen fouten kan analyseren. Dat is wat deze paper doet: het combineert het plannen van de taak met het checken van de fysieke realiteit, geleid door een AI die écht kan "zien".

Dit maakt robots veel betrouwbaarder voor complexe taken in de echte wereld, zoals het opruimen van een kamer of het koken van een maaltijd, zonder dat ze constant vastlopen of dingen laten vallen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Kinodynamic Task and Motion Planning using VLM-guided and Interleaved Sampling" in het Nederlands.

Probleemstelling

Robotmanipulatietaken vereisen vaak een combinatie van hoog-niveau taakplanning (symbolische beslissingen, bijv. "pak het rode blok op") en laag-niveau bewegingsplanning (continue geometrische en dynamische haalbaarheid, bijv. exacte grijpposities en botsingsvrije trajecten). Bestaande Task and Motion Planning (TAMP) methoden kampen met twee hoofdproblemen bij langdurige taken:

1. Excessieve sampling: Traditionele methoden genereren vaak te veel onbruikbare bewegingsproeven, wat leidt tot hoge rekenkosten.
2. Beperkingen van LLM's: Hoewel Large Language Models (LLM's) goed zijn in commonsense-redenering en taakvolgorde, missen ze 3D-ruimtelijk inzicht. Ze kunnen niet garanderen dat een plan geometrisch of dynamisch haalbaar is (bijv. kinematische beperkingen, inertie, stabiliteit). Daarnaast negeren veel bestaande TAMP-systemen kinodynamische beperkingen (zoals versnelling en koppel), waardoor geproduceerde bewegingen in de echte wereld niet uitvoerbaar zijn.

Methodologie

De auteurs stellen een nieuw kinodynamisch TAMP-framework voor dat symbolische planning en bewegingsvalidatie op elk zoekstapje met elkaar verweeft (interleaved). De kerncomponenten zijn:

1. Hybride State Tree (Hybride Toestandsboom):

   • In plaats van een gescheiden aanpak, wordt een boomstructuur gebruikt die zowel symbolische toestanden (PDDL-predicaten) als continue toestanden (objectposities, robotconfiguraties) uniform representeert.
   • Skeleton Space Generation: Een top-k symbolische planner genereert een discreet toestandsgrafiek met diverse mogelijke taakplannen (skeletten). Dit fungeert als een leidraad voor de zoekruimte.
   • Boomuitbreiding: Bij elke knoop in de hybride boom worden de symbolische acties direct "geground" met continue parameters (grijpposities, trajecten) via sampling.

2. Kinodynamische Validatie:

   • Elke gegenereerde actie wordt direct getest in een fysicasimulator (Genesis) en een motion planner (RRT-Connect).
   • De simulator controleert op botsingen, kinematische haalbaarheid (Inverse Kinematics), grijpstabiliteit en objectstabiliteit.
   • Alleen acties die zowel symbolisch als fysiek haalbaar zijn, worden toegevoegd aan de boom.

3. VLM-geleide Zoekstrategie en Backtracking:

   • Forward Search: Een Vision-Language Model (VLM, specifiek GPT-4o) bekijkt de gerenderde beelden van de huidige staat en kandidaat-volgende toestanden. Het gebruikt visuele cues en commonsense-kennis om de meest veelbelovende tak te selecteren.
   • Backtracking: Als een knoop niet kan worden uitgebreid (na $K$ willekeurige retry-pogingen), activeert het systeem een VLM-geleide backtracking.
     • De VLM ontvangt de huidige staat, het doel, de structuur van de tot nu toe uitgezette boom (in JSON) en gestructureerde feedback over de fout (bijv. "geen IK-oplossing", "botsing").
     • De VLM analyseert visuele en tekstuele feedback om de oorzaak van de mislukking te identificeren en kiest een eerdere knoop in de boom om vanaf daar opnieuw te zoeken. Dit voorkomt dat de planner vastloopt in dode hoeken.

Belangrijkste Bijdragen

• Hybride State Tree: Een nieuwe formulering die symbolische taakbeslissingen en het instantiëren van continue acties verenigt in één zoekstructuur.
• Kinodynamische Integratie: Het framework integreert fysica-simulatie en motion planning direct in de zoekloop, wat zorgt voor kinodynamisch haalbare trajecten (niet alleen geometrisch).
• VLM voor Backtracking: Het is de eerste aanpak die VLM's niet alleen gebruikt als heuristiek voor de voorwaartse zoektocht, maar ook effectief inzet voor het terugtrekken (backtracken) bij mislukkingen, gebruikmakend van visuele feedback.
• Top-k Symbolische Planning: Het gebruik van een top-k planner om een diversiteit aan taakskeletten te genereren, waardoor de zoekruimte beperkt blijft maar alternatieve oplossingen beschikbaar zijn.

Resultaten

De methode werd getest in twee gesimuleerde domeinen (Blocksworld en Kitchen) en een real-world demonstratie met een PR2/KUKA-robot.

• Prestaties: De voorgestelde methode behaalde aanzienlijk hogere successpercentages dan traditionele TAMP-planners (zoals PDDLStream) en LLM-gebaseerde planners (zoals LLM3).
  • Blocksworld: Een toename van het gemiddelde succespercentage met 32,14% tot 105,56%.
  • Kitchen: Een toename van 280,00% tot 1166,67% in succespercentage.
  • Traditionele methoden faalden vaak bij complexere problemen (hoge $n$) door time-outs of onmogelijke geometrie.
• Planningstijd: Hoewel de VLM-calls extra tijd kosten, resulteerde de methode in kortere totale planningstijden voor complexe problemen omdat het veel minder tijd verspilde aan het genereren van onbruikbare bewegingen.
• Ablatiestudies: De studie toonde aan dat de VLM-geleide backtracking cruciaal is. Zonder deze functionaliteit daalde het succespercentage aanzienlijk, vooral in domeinen met een grote taakruimte (Blocksworld), waar de VLM effectief alternatieve discrete paden vond.
• Real-World: De planner slaagde erin om plannen te genereren die direct op een fysieke robot (UR5e) konden worden uitgevoerd, met vergelijkbare succespercentages als in de simulatie, hoewel objectlocatie-onnauwkeurigheden bij occlusie soms tot mislukkingen leidden.

Betekenis en Toekomstperspectief

Dit paper markeert een belangrijke stap in de robuustheid van robotplanning. Door de kloof te overbruggen tussen symbolische redenering en kinodynamische realiteit, en door visuele feedback (via VLM) te gebruiken om fouten te corrigeren, kunnen robots langere en complexere taken in ongestructureerde omgevingen uitvoeren.

Beperkingen en Toekomstig Werk:

• De rekenkosten van fysica-simulatie nemen toe met de lengte van het plan.
• De prestaties zijn gevoelig voor de kwaliteit van de onderliggende samplers en de VLM-configuratie.
• Toekomstig werk richt zich op het uitbreiden naar gereedschapsgebruik, vervormbare objecten en taken met veel contact, evenals het integreren van geleerde samplingstrategieën om de afhankelijkheid van black-box simulatoren te verminderen.