A Pragmatist Robot: Learning to Plan Tasks by Experiencing the Real World

Titel: A Pragmatist Robot: Learning to Plan Tasks by Experiencing the Real World

Auteurs: Kaixian Qu et al. (ETH Zürich, Huawei Noah's Ark Lab)

---

1. Probleemstelling

Grote Taalmodellen (LLMs) en Vision-Language Models (VLMs) hebben zich bewezen als krachtige tools voor robotische taakplanning op basis van natuurlijke taal. Echter, deze modellen zijn getraind op algemene internetdata en zijn niet inherent afgestemd op de embodiment (lichaam), de specifieke vaardigheden en de fysieke beperkingen van echte robotsystemen.

De belangrijkste uitdagingen zijn:

• Mismatch tussen simulatie en realiteit: Een VLM kan een plan genereren dat logisch klinkt (bijv. "pak de tennisbal op"), maar fysiek onuitvoerbaar is omdat het object gedeeltelijk wordt geblokkeerd of de robot niet over de juiste manipulatievaardigheden beschikt.
• Gebrek aan zelfreflectie: Bestaande methoden missen vaak het vermogen om fouten in de echte wereld te detecteren, te analyseren en het plan dynamisch aan te passen zonder dure model-finetuning.
• Beperkte generalisatie: Robots leren vaak niet van eerdere mislukkingen om toekomstige taken in vergelijkbare scenario's succesvoller uit te voeren.

Het paper introduceert PRAGMABOT, een raamwerk dat robots in staat stelt taakplanning te leren door interactie met de echte wereld, geïnspireerd op verbale versterkingsleer (verbal reinforcement learning).

---

2. Methodologie

PRAGMABOT gebruikt een VLM (in dit geval GPT-4o) als het "brein" en de "ogen" van de robot. Het systeem werkt zonder de gewichten van het VLM bij te werken (geen fine-tuning), maar gebruikt in-context learning via twee geheugensystemen: Kortetermijngeheugen (STM) en Langetermijngeheugen (LTM).

Het proces verloopt als volgt:

A. Kerncomponenten

1. Taakplanner (Task Planner):
   • Interpreteert de gebruikersinstructie en de huidige visuele observatie.
   • Genereert een actie (een geselecteerde vaardigheid zoals 'pakken', 'duwen' of 'plaatsen' met parameters).
2. Succesdetector (Success Detector):
   • Een identiek VLM dat de uitkomst van een uitgevoerde actie evalueert door de beelden voor en na de actie te vergelijken.
   • Geeft een feedbacksignaal (succes/mislukking) en een semantische beschrijving van de veranderingen in de omgeving.
3. Kortetermijngeheugen (STM - Short-Term Memory):
   • Fungeert als een dynamisch logboek van de huidige taakuitvoering: {actie, feedback}.
   • Bij een mislukking voert de planner zelfreflectie uit. In plaats van netwerkgewichten te updaten, gebruikt het een "linguïstische gradiënt" (natuurlijke taal) om de oorzaak van de fout te analyseren en een nieuwe strategie te bedenken (bijv. "Ik kan de appel niet pakken omdat het blikje er voor staat; ik moet eerst het blikje wegdrukken").
4. Langetermijngeheugen (LTM - Long-Term Memory):
   • Zodra een taak succesvol is voltooid, wordt de STM samengevat door een Experience Summarizer (VLM) tot een compacte kennisunit.
   • Deze unit wordt opgeslagen als een key-value paar: de sleutel is een beschrijving van het scenario, en de waarde is de samenvatting van de ervaring.
5. Retrieval-Augmented Generation (RAG):
   • Bij een nieuwe taak zoekt het systeem relevante ervaringen in de LTM op basis van de huidige instructie en scènebeschrijving (via tekst-embeddings en cosinus-afstand).
   • Deze relevante ervaringen worden aan de prompt van de planner toegevoegd, waardoor de robot kan leren van eerdere successen en fouten in vergelijkbare situaties.

B. Geavanceerde Vaardigheden: Image Annotation

Om de ruimtelijke redenering te verbeteren, introduceert PRAGMABOT een on-demand image annotation module.

• Voor complexe objecten (bijv. een drumstick of spies) kan de VLM vragen om specifieke locaties te markeren.
• Het systeem gebruikt Grounded SAM voor segmentatie en AnyGrasp voor grijpplanning.
• De VLM selecteert de beste grijppunt of duwlocatie uit een set van kandidaten, wat leidt tot nauwkeurigere manipulatie dan puur geometrische planning.

---

3. Belangrijkste Bijdragen

1. PRAGMABOT Framework: De eerste toepassing van verbale versterkingsleer op echte robotische systemen, waarbij VLMs worden geïntegreerd met visuele feedback voor zelfreflectie en adaptatie.
2. RAG in Verbal Reinforcement Learning: Het introduceren van Retrieval-Augmented Generation om robots selectief toegang te geven tot zelf-reflectieve ervaringen, wat aanzienlijk beter presteert dan naïeve prompting.
3. On-demand Image Annotation: Een module die de ruimtelijke redenering van VLMs verbetert voor complexe 3D-manipulatie taken, verder dan alleen 6-DoF grijpen.
4. Empirische Validatie: Uitgebreide experimenten in de echte wereld die aantonen dat het systeem effectief leert zonder menselijke supervisie of dure training.

---

4. Resultaten

De auteurs testten PRAGMABOT op vier uitdagende manipulatie-taken en 12 realistische scenario's (waaronder 8 onbekende taken).

• Effect van STM (Zelfreflectie):
  • Zelfreflectie via STM verhoogde het slagingspercentage van taken van 35% naar 84%.
  • De robot toonde emergent gedrag, zoals het gebruik van hulpmiddelen (bijv. een spons gebruiken om snoepjes weg te duwen omdat de grijper te groot was) en het aanpassen van strategieën na mislukking (bijv. eerst een obstakel wegdrukken).
• Effect van LTM en RAG:
  • In 12 scenario's (inclusief nieuwe taken) steeg het slagingspercentage bij één poging van 22% naar 80% dankzij het gebruik van LTM en RAG.
  • Vergelijking met baselines (zoals COME en CaP-V) toonde aan dat PRAGMABOT aanzienlijk beter presteert, vooral bij het generaliseren naar nieuwe maar vergelijkbare situaties.
• Ablatie Studies:
  • RAG vs. Random Retrieval: RAG bereikte een nauwkeurigheid van 89% voor de eerste geplande actie, vergeleken met 17% bij willekeurige selectie en 74% bij het gebruik van het volledige geheugen (wat leidt tot afleiding).
  • Image Annotation: De module verbeterde het grijpsucces aanzienlijk voor complexe objecten (bijv. spiesen) en verkleinde de afstandsfout bij duw-taken.

---

5. Betekenis en Toekomstperspectief

PRAGMABOT biedt een nieuw paradigma voor Embodied AI dat robots in staat stelt autonoom te leren van hun eigen ervaringen in de fysieke wereld.

• Efficiëntie: Het elimineert de noodzaak voor kostbare model-finetuning of dichte menselijke supervisie.
• Generalisatie: Het systeem kan kennis overdragen tussen taken, wat essentieel is voor robuuste robots in onvoorspelbare omgevingen.
• Toekomstige werk: De auteurs wijzen op beperkingen zoals de afhankelijkheid van visuele data (tactiele of auditieve feedback zou kunnen helpen) en de schaalbaarheid van het geheugen (pruning-strategieën en multi-robot kennisdeling).

Samenvattend demonstreert PRAGMABOT dat robots door middel van zelfreflectie, geheugen en contextuele herwinning (RAG) kunnen evolueren van statische uitvoerders naar adaptieve, lerende systemen die complexere taken in de echte wereld kunnen voltooien.