Open-World Task and Motion Planning via Vision-Language Model Genereated Constraints

Deze paper introduceert OWL-TAMP, een methode die Vision-Language Models integreert in Task and Motion Planning-systemen door automatisch discrete en continue constraints te genereren, waardoor robots complexe, op natuurlijke taal gebaseerde manipulatieopdrachten in open werelden succesvol kunnen uitvoeren.

De kern

Stel je voor dat je een robot hebt die heel slim is in het begrijpen van wat je zegt en wat hij ziet, maar een beetje 'dwaas' als het gaat om het uitvoeren van complexe taken. Of stel je voor dat je een robot hebt die een perfecte planner is, maar die alleen maar taken kan uitvoeren die je hem van tevoren hebt ingeprent, en die niet begrijpt wat je bedoelt als je iets nieuws vraagt.

Deze paper introduceert OWL-TAMP, een systeem dat deze twee robots samenvoegt tot één super-robot. Hier is hoe het werkt, vertaald naar alledaagse taal:

De Twee Helden

1. De Vision-Language Model (VLM) - De "Dromer":
   Denk aan deze robot als een creatieve kunstenaar of een dromer. Hij kijkt naar een foto en hoort wat je zegt (bijvoorbeeld: "Zet de banaan bij de andere fruitsoorten"). Hij begrijpt perfect wat "bij" betekent en heeft een goed gevoel voor de wereld. Maar als je hem vraagt om precies te berekenen hoe hij zijn grijper moet bewegen zonder ergens tegenaan te stoten, raakt hij in de war. Hij is goed in het idee, maar slecht in de details.

2. Het TAMP-systeem - De "Strakke Planner":
   Dit is de robot die een strakke, wiskundige planner is. Hij denkt in stappen: "Eerst grijpen, dan bewegen, dan neerzetten." Hij is fantastisch in het berekenen van botsingen en het vinden van de perfecte route. Maar hij is een beetje stijf. Als je hem vraagt om iets "in de buurt van" iets anders te zetten, en hij heeft dat woord "in de buurt" niet in zijn woordenboek, dan faalt hij. Hij kan alleen doen wat hij al kent.

Het Probleem: De "Banaan in de Weg"

Stel je de taak voor uit de paper: "Zet de banaan neer bij de andere vruchten."

• De Dromer (VLM) zegt: "Goed idee! Pak de banaan en zet hem bij de appel en peer." Maar hij vergeet dat er een melkdoos voor de banaan staat. Als de robot probeert de banaan te pakken, botst hij tegen de melkdoos aan.
• De Strakke Planner (TAMP) ziet de melkdoos en zegt: "Ik kan de banaan niet pakken, er staat iets in de weg." Maar als je vraagt "waar moet ik de banaan dan neerzetten?", zegt hij: "Ik weet niet wat 'bij' betekent, dus ik kan het niet doen."

De Oplossing: OWL-TAMP (De "Vertaler")

OWL-TAMP is de slimme tussenpersoon die deze twee helpt samenwerken. Het werkt in drie stappen, alsof je een bouwplaat maakt:

1. De Schets (De Dromer tekent):
   Eerst vraagt OWL-TAMP aan de Dromer: "Hoe zou je dit doen?" De Dromer geeft een ruwe schets: "Pak de banaan, zet hem neer bij de appel." Maar hij maakt ook een belangrijke toevoeging: hij schrijft een regels op in een speciale code. Bijvoorbeeld: "De banaan moet binnen 5 centimeter van de appel en peer staan."

2. De Regels (De Dromer schrijft de wetten):
   Dit is het magische deel. De Dromer vertaalt zijn vaag idee ("bij de appel") naar een Python-code (een computerprogramma). Deze code is als een meetlat of een controlelijst. Hij zegt: "Als de robot een plek kiest om de banaan neer te zetten, moet deze code controleren of die plek echt 'bij' de appel is."

3. De Bouw (De Planner bouwt):
   Nu geeft OWL-TAMP deze schets en de nieuwe regels aan de Strakke Planner.

   • De Planner zegt: "Oké, ik moet de banaan pakken en neerzetten."
   • Hij probeert eerst direct te pakken, maar ziet de melkdoos. "Botsing!"
   • Hij denkt na: "Ik moet eerst de melkdoos verplaatsen."
   • Hij zoekt een plek om de banaan neer te zetten. Hij probeert een plek, maar de code-regel (die door de Dromer is gemaakt) zegt: "Nee, daar is het te ver van de appel."
   • De Planner probeert een andere plek. De code zegt: "Ja! Dat is dichtbij genoeg."

Waarom is dit zo cool?

Vroeger moesten mensen robots handmatig programmeren met duizenden regels voor elk woord dat je kunt gebruiken (zoals "links van", "op", "onder", "bij"). Als je een nieuw woord bedacht, moest je de robot opnieuw leren.

Met OWL-TAMP hoeft dat niet meer.

• Je kunt tegen de robot zeggen: "Zet de banaan in de buurt van de appel."
• Of: "Zorg dat de bestek recht staat."
• Of: "Weeg het kortste object."

De robot (de Dromer) begrijpt wat die woorden betekenen, schrijft de code-regels voor je, en de Planner zorgt dat het fysiek gebeurt zonder te crashen.

Het Resultaat

In de experimenten hielp dit systeem de robot om taken te doen die eerder onmogelijk leken, zoals het verplaatsen van obstakels om bij een fruitje te komen, of het stapelen van blokken op een specifieke manier, puur op basis van een natuurlijke taalzin.

Kortom: OWL-TAMP geeft de robot een creatieve geest (om te begrijpen wat je wilt) en een strakke verstand (om het veilig en correct uit te voeren), zodat hij niet meer vastloopt in de wereld van "als je het niet hebt ingeprent, kan je het niet doen". Het is alsof je een robot hebt die niet alleen luistert, maar ook echt begrijpt wat je bedoelt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Open-World Task and Motion Planning via Vision-Language Model Generated Constraints" in het Nederlands.

Titel: Open-World Task and Motion Planning via Vision-Language Model Generated Constraints

Auteurs: Nishanth Kumar et al. (NVIDIA Research & MIT CSAIL)

---

1. Het Probleem

Robotica staat voor een fundamentele uitdaging: het oplossen van complexe taken met een lange horizon (long-horizon tasks) die specifieke instructies in natuurlijke taal vereisen.

• Beperkingen van Vision-Language Models (VLMs): VLMs (zoals GPT-4V) zijn uitstekend in "common sense" redeneren en het interpreteren van taal en beelden. Ze kunnen echter geen nauwkeurige continue redenering uitvoeren, zoals het genereren van botsingsvrije grijpposities, stabiele plaatsingsposities of complexe bewegingsplannen. Ze missen vaak de geometrische precisie die nodig is voor fysieke manipulatie.
• Beperkingen van Task and Motion Planning (TAMP): Traditionele TAMP-systemen kunnen lange-horizon taken oplossen door discrete en continue redenering te combineren. Ze zijn echter afhankelijk van handmatig ontworpen symbolische modellen (predicaten en operatoren). Ze kunnen geen nieuwe concepten begrijpen die niet in hun vooraf gedefinieerde vocabulaire staan (bijv. het concept "dichtbij" of "rechtop staan" als deze niet expliciet zijn geprogrammeerd). Ze kunnen ook geen open-ended natuurlijke taal instructies direct interpreteren zonder uitgebreide engineering.

Kernprobleem: Hoe combineert men de talenkennis en het common sense van VLMs met de strikte, veilige en geometrisch correcte planning van TAMP-systemen, zonder dat het systeem voor elke nieuwe taak opnieuw getraind of geconfigureerd hoeft te worden?

---

2. Methodologie: OWL-TAMP

De auteurs stellen OWL-TAMP (Open-World Language-based TAMP) voor. Dit is een raamwerk dat VLMs integreert in een bestaand TAMP-systeem door constraints (beperkingen) te genereren die zowel discreet als continu zijn.

Het proces verloopt in drie fasen:

A. Genereren van Discrete Constraints (Plan Sketches)

• De VLM krijgt de natuurlijke taal instructie en een lijst van beschikbare robotacties (gegrounded op basis van de huidige omgeving).
• De VLM genereert een plan sketch: een gedeeltelijke volgorde van acties met natuurlijke taal-beschrijvingen.
• Deze sketch fungeert als een discrete constraint voor de TAMP-planner: de planner moet een oplossing vinden die deze volgorde van acties als een subsequence bevat, maar mag extra acties toevoegen (bijv. obstakels verplaatsen) om de fysieke haalbaarheid te garanderen.

B. Grounding van Open-World Predicaten (Continue Constraints)

• Traditionele TAMP-systemen gebruiken vaste predicaten (bijv. On(obj, table)). OWL-TAMP introduceert Open-World Predicaten die dynamisch worden gedefinieerd door de taal-instructie.
• De VLM genereert voor elke open-world actie een Python-code classifier (een continue constraint). Deze functie neemt continue parameters (zoals een pose of een objectpositie) als input en retourneert een boolean (waar/onwaar) om te bepalen of de parameter voldoet aan de taalspecificatie.
  • Voorbeeld: Voor de instructie "plaats de banaan dichtbij de appel", genereert de VLM een functie test_banana_pose(p) die controleert of de afstand tussen de banaan en de appel kleiner is dan een bepaalde drempel.
• Deze code fungeert als een extra filter tijdens het planningsproces, naast de traditionele robotica-constraints (zoals kinematica en botsingvermijding).

C. Planning met Constraints

• Een bestaand, "off-the-shelf" TAMP-systeem (zoals SeSaME of PDDLStream) gebruikt de gegenereerde discrete volgorde en de continue code-functies om een volledig uitvoerbaar plan te zoeken.
• Als een plan faalt (bijv. door een botsing), backtracks het TAMP-systeem en probeert het een andere volgorde of andere continue parameters, terwijl het blijft voldoen aan de door de VLM gegenereerde constraints.

---

3. Belangrijkste Bijdragen

1. Het Contract van Constraints: De auteurs introduceren een duidelijk contract om foundation models te koppelen aan domein-onafhankelijke TAMP-systemen. In plaats van dat de VLM het volledige plan direct genereert (wat vaak onnauwkeurig is), schrijft de VLM constraints die het zoekruimte van de planner beperken tot geldige oplossingen.
2. Zero-Shot Generalisatie: Het systeem vereist geen taak-specifieke training, fine-tuning of demonstratie-data. Het kan nieuwe concepten (zoals "rechtop", "dichtbij", "de kortste") direct interpreteren via de gegenereerde code.
3. Integratie van Discreet en Continu: Het is de eerste aanpak die VLMs gebruikt om zowel de volgorde van acties (discreet) als de exacte geometrische parameters (continu) te sturen binnen een geïntegreerd TAMP-raamwerk.
4. Real-World Deploy: Het systeem is succesvol gedemonstreerd op echte hardware (dual-arm robot) zonder aanpassingen aan het systeem voor specifieke taken.

---

4. Resultaten

De auteurs evalueerden OWL-TAMP op 10 gesimuleerde taken in de RAVENS-YCB-omgeving en 19 taken op een echte robot.

• Prestaties in Simulatie:

  • OWL-TAMP behaalde de hoogste successcore op 9 van de 10 taken, met een gemiddelde successrate van 92%.
  • Het overtrof baselines zoals pure VLM-aanpakken (Code as Policies), pure TAMP (zonder VLM), en andere hybride methoden.
  • Pure VLM-methoden faalden vaak bij het vinden van continue parameters die voldeden aan de constraints (lage successrate, hoge "false positives" in soundness).
  • Pure TAMP-systemen faalden bij taken die nieuwe concepten vereisten die niet in hun vocabulaire zaten.

• Soundness (Betrouwbaarheid):

  • OWL-TAMP toonde een uitzonderlijk hoge "soundness rate" (98,6%), wat betekent dat het zelden een taak als geslaagd declareert terwijl de intentie van de gebruiker niet is bereikt. Dit komt doordat de gegenereerde code-constraints strikt worden gecontroleerd door de planner.

• Real-World Hardware:

  • Het systeem slaagde erin om complexe taken uit te voeren op een Kinova Gen3 robotarm, zoals "zet de banaan neer dichtbij de andere fruitsoorten" (waarbij eerst een melkdoos moest worden verplaatst) en "weeg het kortste object en doe het in de bak".
  • Het systeem kon omgaan met obstakels, botsingen en vereiste heroriëntatie van objecten zonder menselijke tussenkomst.

---

5. Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de richting van robuuste, flexibele robotica in ongestructureerde omgevingen.

• Overbrug van de Kloof: Het lost het fundamentele probleem op dat VLMs "wiskundig zwak" zijn en TAMP-systemen "semantisch star" zijn. Door VLMs te laten fungeren als een "constraint-generator" in plaats van een directe "planner", worden de sterke punten van beide benaderingen gecombineerd.
• Open-World Redenering: Het stelt robots in staat om taken uit te voeren die buiten hun vooraf gedefinieerde symbolische vocabulaire vallen, zonder dat er nieuwe software hoeft te worden geschreven voor elke nieuwe instructie.
• Toekomstperspectief: Hoewel het systeem afhankelijk is van de kwaliteit van de gegenereerde code (en soms faalt als de VLM onmogelijke constraints genereert), biedt het een veelbelovende route naar robots die kunnen omgaan met menselijke instructies in realistische, dynamische omgevingen. De auteurs benadrukken dat dit een eerste stap is naar systemen die volledig kunnen redeneren over open-ended wereldscenario's.