Technische Samenvatting: Hiërarchische Prompting met Duale LLM-modules voor Robotische Taak- en Bewegingsplanning

Probleemstelling

De integratie van servicerobots in huishoudelijke omgevingen vereist systemen die in staat zijn om onnauwkeurige, incomplete of contextafhankelijke natuurlijke taalinstructies te interpreteren. Hoewel traditionele Task and Motion Planning (TAMP)-systemen vertrouwen op handmatig gedefinieerde symbolische regels (bijv. PDDL), hebben zij moeite met de open-vocabulaire aard van menselijke omgevingen. Daartegenover staan Large Language Models (LLMs), die weliswaar emergente redeneercapaciteiten vertonen voor taakdecompositie, maar significante beperkingen kennen wanneer ze direct op robotica worden toegepast:

1. Gebrek aan Fysieke Gronding: Standaard LLM's zijn niet inherent gegrond in natuurwetten en genereren vaak "gehallucineerde" plannen die kinematisch of geometrisch onhaalbaar zijn.
2. Problemen met Monolithische Prompting: Huidige promptingstrategieën dwingen een enkel modelinstance vaak om zowel abstracte logica (bijv. "Wat is een vrucht?") als precieze ruimtelijke wiskunde (bijv. "Waar is de coördinaat ten opzichte van de plaat?") af te handelen. Dit leidt tot "token-uitputting" of verward redeneren waarbij het model prioriteit geeft aan taaklogica boven ruimtelijke nauwkeurigheid.
3. Perceptie-Actie Kloof: Er is een discontinuïteit tussen hoogwaardige semantische planning en laagwaardige geometrische uitvoering, met name in ongestructureerde omgevingen waar objectgeometrie en werkruimtebeperkingen variëren.

Methodologie

De auteurs stellen een hiërarchisch, taalgestuurd framework voor dat hoogwaardige taakplanning ontkoppelt van laagwaardige ruimtelijke redenering middels een dual-module prompting-architectuur. Het systeem opereert binnen een tafelomgeving en integreert de volgende componenten:

1. Visuele Module

Het systeem maakt gebruik van een YOLOX-GDRNet pipeline voor objectperceptie:

• Detectie: YOLOX detecteert objecten in een invoerbeeld, waarbij 2D bounding boxes en klasse-labels worden geleverd.
• Pose Estimatie: Regions of Interest (ROI) worden verwerkt door een GDR-Net neuraal netwerk om 6D-poses (3D translatievector en quaternion oriëntatie) relatief aan het camerakader te voorspellen.
• Geometrische Data: Het systeem heeft toegang tot vooraf berekende 3D-modellen en diameters van gedetecteerde objecten om ruimtelijke redenering te ondersteunen.

2. High-Level LLM Agent (Taakplanner)

• Architectuur: Geïmplementeerd met Python LangChain met het Llama3.2:70B model.
• Prompting Strategie: De agent werkt via een ReAct-stijl loop (Thought, Action, Observation). Het houdt een geheugen bij van de interactiegeschiedenis om iteratief redeneren te ondersteunen.
• Tools: De agent heeft toegang tot tools voor het ophalen van objectlijsten, het oppakken van objecten, het plaatsen van objecten en het loslaten van objecten. Het is verantwoordelijk voor de algemene taaklogica en sequencing, maar delegeert de precieze coördinaatberekening.

3. Low-Level LLM Sub-module (Placing Reasoner)

• Architectuur: Een aparte, gespecialiseerde sub-module, eveneens aangedreven door Llama3.2:70B.
• Functie: Deze module handelt 3D ruimtelijke beperkingen en geometrische haalbaarheid af. Het is zich niet bewust van de interne logica van de high-level agent, wat modulariteit waarborgt.
• Prompting Strategie: Het maakt gebruik van few-shot prompting met een gestructureerde input bestaande uit objectnamen, poses en geometrische eigenschappen (bijv. diameters).
• Doel: Om ruimtelijke taal (bijv. "links van") te mappen naar consistente geometrische transformaties en specifieke 3D-coördinaten voor objectplaatsing te bepalen, om zo te voorkomen dat de high-level planner overbelast raakt door laagwaardige coördinaatwiskunde.

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

1. Dual-Module Architectuur: Een nieuw framework dat hoogwaardige taakplanning ontkoppelt van laagwaardige ruimtelijke redenering om de betrouwbaarheid van gegenereerde robotplannen te verbeteren.
2. Gespecialiseerde Ruimtelijke Sub-module: Een toegewijde component ontworpen om 3D ruimtelijke beperkingen en geometrische haalbaarheid te behandelen, wat direct inspeelt op het gebrek aan fysieke gronding in standaard LLM's.
3. Empirische Validatie: Demonstratie van de effectiviteit van het framework in 24 real-world en gesimuleerde scenario's, waarbij significante verbeteringen worden getoond bij het uitvoeren van complexe menselijke commando's in ongestructureerde omgevingen.

Evaluatie en Resultaten

Het systeem werd geëvalueerd over 24 testscenario's, inclusief eenvoudige ruimtelijke commando's, hoogwaardige instructies en onhaalbare verzoeken.

Kwantitatieve Resultaten

• Algemeen Succespercentage: Het systeem behaalde een algemeen taalsuccespercentage van 86%.
• Scenario Overzicht:
  • Eenvoudige Commando's (16 scenario's): 87,5% succespercentage, gemiddeld 4 stappen per taak.
  • Hoogwaardige Commando's (5 scenario's): 80,0% succespercentage, gemiddeld 6 stappen per taak.
  • Onhaalbare Scenario's (3 scenario's): 100% succespercentage in het correct identificeren van onmogelijkheid, gemiddeld 5 stappen om onhaalbaarheid vast te stellen.
• Planningsduur: De gemiddelde planningsduur was 5 stappen per taak.

Kwalitatieve en Ruimtelijke Analyse

• Menselijke Evaluatie: Drie onafhankelijke evaluatoren beoordeelden de afstemming tussen de initiële commando's en de uiteindelijke scènes op een schaal van 1–10. De gemiddelde score was 6,86, met hogere scores voor taken met duidelijke ruimtelijke relaties (bijv. "Maak een kom met fruit" scoorde 9,67) en lagere scores voor ambigue taken (bijv. "Maak een zoute snack" scoorde 3,00).
• Precisie van Ruimtelijk Redeneren: De placing reasoner vertoonde de hoogste precisie voor "op" en "naast" relaties (laagste coördinaatvariantie). De prestaties waren minder consistent voor diepte-gebaseerde relaties zoals "voor" en "achter", die een hogere variantie vertoonden.
• Fysieke Robotproeven: Experimenten op een PAL Robotics Tiago manipulator bevestigden dat het systeem in staat is om doelobjecten betrouwbaar te identificeren en gebruikersintentie af te leiden in rommelige omgevingen. De geobserveerde fouten waren beperkt tot laagwaardige uitvoering (bewegingsplanning en kalibratiefouten) in plaats van semantische of taakniveau redenering.

Betekenis en Claims

De auteurs beweren dat hun hiërarchische aanpak effectief de kloof overbrugt tussen natuurlijke taal en 3D geometrische relaties, en een robuuste "ruimtelijke grammatica" vertoont die geschikt is voor zero-shot plaatsing. Het artikel stelt dat:

• Modulariteit essentieel is: Het isoleren van ruimtelijke geometrische redenering in een toegewijde sub-module voorkomt dat de high-level planner faalt door de complexiteit van coördinaatwiskunde.
• Haalbaarheid boven Expressiviteit: Het framework geeft prioriteit aan de uitvoeringsbetrouwbaarheid op echte robots, waarbij een brede actie-expressiviteit wordt ingeruild voor fysieke haalbaarheid.
• Toekomstige Richting: Hoewel het systeem veelbelovend is, merken de auteurs op dat de bruikbaarheid in de echte wereld nog steeds beperkt wordt door fysieke haalbaarheid en omgevingsgeneralisatie. Zij suggereren dat toekomstig werk geometrische priors en fysieke simulators moet integreren om voorspellingen binnen dynamische, belichaamde settings te verfijnen.

Het artikel concludeert dat het samenvoegen van de symbolische flexibiliteit van LLM's met gegronde ruimtelijke perceptie een veelbelovende weg biedt naar intuïtieve en generaliseerbare mens-robot samenwerking.