Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning

Deze paper introduceert CoCo-TAMP, een hiërarchisch raamwerk dat grote taalmodellen gebruikt om algemene kennis over objectlocaties en -relaties te integreren in de toestandschatting, waardoor robots in deeltelijk waarneembare omgevingen hun plannings- en uitvoeringstijd aanzienlijk kunnen reduceren.

De kern

Stel je voor dat je een robot bent die een opdracht krijgt: "Haal de appel uit de keuken en leg hem op de salontafel." In een ideale wereld zie je alles, weet je precies waar alles staat en kun je direct naar je doel lopen. Maar in het echte leven is dat anders. De robot kan niet door muren kijken, deuren kunnen dicht zijn, en misschien staat de appel wel in een la die hij niet kan zien.

Dit is het probleem dat het artikel "CoCo-TAMP" oplost. Het is een slimme manier om robots te helpen plannen in een wereld waar ze niet alles kunnen zien.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Robot met de Blinddoek

Stel je voor dat je een robot bent die een blinddoek op heeft, maar je mag wel af en toe een oogje openen. Je moet een taak uitvoeren, maar je weet niet zeker waar de objecten zijn.

• De oude manier: De robot probeert alles te zoeken alsof hij in het donker tast. Hij gaat naar de slaapkamer, kijkt, ziet niets, en denkt: "Oké, niet hier." Dan gaat hij naar de garage, weer niets. Dit kost enorm veel tijd en energie. De robot is als een mens die elke lade in het hele huis open doet, zelfs als hij weet dat er geen sleutel in de koelkast ligt.
• Het probleem: Robots zijn vaak "dom" in het omgaan met onzekerheid. Als ze iets niet zien, denken ze vaak dat het er niet is, of ze zoeken op de verkeerde plekken.

2. De Oplossing: De "Slimme Buurman" (De LLM)

De auteurs van dit artikel hebben een oplossing bedacht: ze geven de robot een grote, slimme "buurman" in zijn hoofd. Deze buurman is een Grote Taalmodel (LLM) – hetzelfde soort technologie die achter chatbots zit.

Deze "buurman" heeft twee superkrachten:

Kracht 1: Het "Gevoel" voor waar dingen liggen

Stel je voor dat je vraagt: "Waar zou een broodrooster staan?"

• Een domme robot zegt: "Ik weet het niet, ik ga alle kamers afzoeken."
• De slimme "buurman" zegt: "Natuurlijk staat die in de keuken, op het aanrecht. In de badkamer? Nee, daar zou hij nat worden!"

De robot gebruikt deze kennis om te beginnen met een slim vermoeden. In plaats van blind te zoeken, gaat de robot eerst naar de meest logische plekken. Dit is als het verschil tussen het zoeken naar je sleutels door het hele huis te doorzoeken, versus eerst kijken op de plek waar je ze altijd laat liggen.

Kracht 2: De "Vrienden in de buurt" (Co-location)

Dit is misschien wel het leukste deel. De robot leert dat bepaalde dingen vaak samen voorkomen.

• Vergelijking: Als je een cracker ziet, is de kans groot dat er ook een boterhammenbak of pindakaas in de buurt is. Maar als je een screwdriver (schroevendraaier) ziet, is de kans klein dat er een bananen bij ligt.
• De robot gebruikt dit als een magische radar. Als de robot een object ziet, denkt hij direct: "Ah, ik heb een schroevendraaier gezien! Dan moet ik de volgende keer niet zoeken naar een banaan, maar misschien wel naar een hamer."
• Dit helpt de robot om zijn "vermoeden" (in het vakjargon: belief) over de hele wereld te updaten zonder dat hij alles fysiek hoeft te zien.

3. Hoe werkt het in de praktijk? (Het Spel van het Gokken)

Het systeem, genaamd CoCo-TAMP, werkt als een slimme speler in een spel:

1. De Start: De robot vraagt aan zijn "slimme buurman" (de LLM): "Waar denk je dat de appel zit?" De buurman zegt: "Waarschijnlijk in de keuken." De robot begint daar.
2. Het Zoeken: De robot gaat kijken. Als hij de appel ziet, is het klaar!
3. Het Niet-Zien: Als hij de appel niet ziet, denkt hij niet direct: "Hij is weg." Hij denkt: "Misschien zit hij achter de koffiezetapparaat."
4. De Hulp van de Vrienden: Als de robot in de keuken een sneeuwschep ziet (wat raar is), zegt de buurman: "Wacht, sneeuwschoppen horen niet in de keuken. Misschien is de robot in de verkeerde kamer?" De robot past zijn plan direct aan.
5. Het Herplannen: Als de robot faalt (bijvoorbeeld: de deur zit dicht), gebruikt hij al zijn nieuwe informatie om een nieuw plan te maken. Omdat hij slim begint, hoeft hij veel minder vaak te stoppen en opnieuw te plannen.

4. Wat is het resultaat?

De onderzoekers hebben dit getest in een virtueel huis en met een echte robot (een Toyota HSR).

• Zonder de slimme buurman: De robot was traag, maakte veel fouten en moest vaak opnieuw plannen. Het was alsof je een raadsel probeert op te lossen zonder hints.
• Met de slimme buurman: De robot was 62% tot 72% sneller. Hij maakte minder fouten en vond de objecten veel efficiënter.

Samenvatting in één zin

Dit artikel laat zien dat robots veel slimmer en sneller kunnen plannen als we ze niet alleen laten rekenen, maar hen ook gezonde verstand geven door ze te laten "luisteren" naar een AI die weet hoe de wereld eruitziet (waar dingen horen te staan en welke dingen bij elkaar horen).

Het is alsof je een robot niet alleen een kaart geeft, maar ook een ervaren gids die fluistert: "Kijk, daar is een broodrooster, dus de boter is waarschijnlijk ook in de buurt."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning" in het Nederlands.

1. Probleemstelling

Robotplanning in gedeeltelijk waarneembare omgevingen (waar niet alle objecten bekend of zichtbaar zijn) is een complex probleem. Traditionele Task and Motion Planning (TAMP)-oplossers, die vaak deterministisch zijn, falen in realistische scenario's met onzekerheid over objectposities en verduistering (occlusie).

Het specifieke probleem dat dit paper adresseert is Partially Observable TAMP (PO-TAMP). Hierbij moet een robot plannen voor het manipuleren van objecten die niet direct zichtbaar zijn. Een groot uitdaging is dat robots tijdens het uitvoeren van een plan onverwachte, taak-irrelevante objecten kunnen waarnemen. Naïeve planners negeren deze vaak, terwijl deze waarnemingen waardevolle informatie kunnen bevatten over de locatie van de gewenste objecten. Het doel is om de planning en uitvoering te versnellen door gebruik te maken van gezond verstand (common sense) over objectlocaties en relaties tussen objecten, zonder dit handmatig te programmeren.

2. Methodologie: COCO-TAMP

De auteurs stellen COCO-TAMP voor, een hiërarchisch raamwerk voor planning en uitvoering dat Large Language Models (LLMs) integreert om gezonde verstand-priors en co-locatie-cues te genereren. Het systeem combineert symbolische planning met Bayesiaanse state-estimation.

A. LLM-gestuurde Initiële Belief-Generatie

In plaats van uniforme verdelingen voor de initiële overtuigingen (beliefs) over waar objecten zich bevinden, gebruikt het systeem een LLM om a priori kansen te schatten.

• Methode: Het probleem wordt geformuleerd als een Multiple Choice Question Answering (MCQA)-taak. De LLM krijgt een prompt (bijv. "Waar staat een broodrooster?") met opties voor kamers en oppervlakken.
• Uitvoer: De log-probabiliteiten van de LLM-tokenvoorspellingen worden omgezet in een kansverdeling over mogelijke locaties (kamers en oppervlakken). Dit vormt de initiële belief $bel(x_{r,0}, x_{s,0})$.

B. Hiërarchische State Estimation

Het systeem onderhoudt beliefs over drie niveaus: kamer ($x_r$), oppervlak ($x_s$) en continue pose ($x_p$). Dit wordt gedaan via een hiërarchische Bayesiaanse filter:

1. Discrete Filters: Voor kamer- en oppervlaklocaties worden discrete Bayes-filters gebruikt.
2. Continue Filter: Voor de pose wordt een Particle Filter gebruikt.
3. Visibility-aware Observation Model: Het model houdt rekening met het gezichtsveld van de robot. Als een locatie niet volledig zichtbaar is, wordt een "miss" niet direct geïnterpreteerd als afwezigheid van het object.

C. Co-locatie Model (LLM Embeddings)

Een kerninnovatie is het gebruik van LLM-embeddings om de relatie tussen objecten te modelleren.

• Principe: Soortgelijke objecten bevinden zich vaak op dezelfde plek (bijv. borden en kommen in de keuken), terwijl ongelijksoortige objecten dat niet doen.
• Implementatie: De LLM genereert beschrijvende zinnen voor objecten. De cosine similarity tussen de vector-embeddings van deze zinnen bepaalt de waarschijnlijkheid dat twee objecten samen voorkomen.
  • Hoge similariteit $\rightarrow$ hoge kans op co-locatie.
  • Lage/Negatieve similariteit $\rightarrow$ lage kans op co-locatie.
• Co-location Toggler: Om fouten te voorkomen (bijv. schakelaars die overal kunnen staan), gebruikt het systeem een LLM-beslissingsmechanisme om te bepalen of het co-locatiemodel voor een specifiek waargenomen object moet worden ingeschakeld.

D. Planning en Replanning

Het systeem gebruikt PDDLStream als onderliggende planner. De kosten van waarnemingsacties ("detect") worden dynamisch aangepast op basis van de huidige belief: het is "goedkoper" om te zoeken waar de kans op succes het grootst is. Bij elke mislukte uitvoering of nieuwe waarneming wordt de belief bijgewerkt en wordt er opnieuw gepland (interleaved planning-execution).

3. Belangrijkste Bijdragen

1. Interleaved Framework: Een nieuw raamwerk voor PO-TAMP dat LLMs gebruikt voor gezonde verstand-priors en belief-updates, waardoor state-estimation nauwkeuriger wordt en planning onder onzekerheid praktisch haalbaar is.
2. Co-locatie Model: Een wiskundig model dat semantische similariteit (via LLM-embeddings) vertaalt naar probabilistische co-locatie, waardoor waarnemingen van andere objecten de zoekstrategie voor het doelobject beïnvloeden.
3. Robuustheid: Het systeem is ontworpen om robuust te blijven zelfs als de gezonde verstand-priors misleidend zijn (bijv. in adverteerbare scenario's), dankzij de combinatie met Bayesiaanse updates.

4. Resultaten

De methode is getest in grote simulaties (Housekeep dataset) en in echte experimenten met een Toyota HSR-robot.

• Efficiëntie:
  • In simulatie: Een gemiddelde reductie van 62,7% in totale planning- en uitvoeringstijd ten opzichte van een baseline zonder LLM-priors.
  • In de echte wereld: Een reductie van 72,6% in tijd.
• Vergelijking Varianten:
  • De combinatie van MCQA (voor initiële beliefs) en het Co-locatie Model presteerde het beste.
  • Alleen LLM-updates (zonder Bayesiaanse correctie) bleek onvoldoende robuust voor lange-termijn taken, wat leidde tot meer herplanning en mislukkingen in adverteerbare scenario's.
  • Het gebruik van GPT-4o leverde de beste resultaten op vergeleken met kleinere modellen.
• Replanning: Het aantal herplanningsiteraties nam aanzienlijk af, wat aangeeft dat het systeem sneller de juiste route vindt.

5. Betekenis en Conclusie

Dit paper toont aan dat Large Language Models niet alleen als planners kunnen fungeren, maar vooral als krachtige bronnen van contextuele kennis die de efficiëntie van traditionele probabilistische planners drastisch kunnen verbeteren.

Door LLM's te gebruiken om de "zoekruimte" in te perken via gezonde verstand-priors en objectrelaties, kunnen robots sneller en betrouwbaarder opereren in onbekende, gedeeltelijk waarneembare huishoudelijke omgevingen. Dit vormt een belangrijke stap naar autonome robots die complexere taken kunnen uitvoeren zonder dat elke mogelijke objectlocatie handmatig geprogrammeerd hoeft te worden. Het werk benadrukt de synergie tussen neurale netwerken (LLMs voor kennis) en symbolische/probabilistische methoden (voor planning en zekerheid).