Context Matters! Relaxing Goals with LLMs for Feasible 3D Scene Planning

Het paper introduceert ContextMatters, een raamwerk dat Large Language Models en klassieke planning combineert om via hiërarchische doelrelaxatie haalbare 3D-scèneplannen te genereren, wat resulteert in een aanzienlijke verbetering van het slagingspercentage en succesvolle implementatie op een echte TIAGo-robot.

De kern

Stel je voor dat je een robot hebt die je helpt met huishoudelijke klusjes. Je vraagt hem: "Zet het dinerbord klaar met twee vorken."

In een perfecte wereld zou de robot gewoon naar de keuken gaan, de lade openen, twee vorken pakken en ze op tafel leggen. Maar in de echte wereld gaat dat vaak mis:

• De lade zit vast.
• Er zijn geen schone vorken in huis.
• Er staan wel lepels op het aanrecht.

Hoe reageren huidige robots?

1. De "Dromer" (Alleen AI): Deze robot denkt: "Geen probleem!" en plant een route om de lade open te maken. Maar als hij er aankomt, botst hij tegen de gesloten lade aan en valt in de war. Hij hallucineerde dat de lade open zou zijn.
2. De "Stijve Regelvolger" (Klassieke planning): Deze robot kijkt naar de regels en zegt: "Lade is dicht, vorken zijn er niet. Opdracht mislukt." Hij geeft direct op, zelfs als er wel lepels zijn die je kunt gebruiken.

De oplossing: ContextMatters
De auteurs van dit paper hebben een slimme nieuwe methode bedacht, genaamd ContextMatters. Je kunt je dit voorstellen als een slimme kok die kookt met wat er in de koelkast ligt, in plaats van te zeggen "Ik kan niet koken omdat ik geen garnalen heb".

Hier is hoe het werkt, stap voor stap, met een paar creatieve vergelijkingen:

1. De Twee Assen van Slimheid

Het systeem kijkt naar twee dingen tegelijk, alsof het een kaart volgt:

• Wat moet er gebeuren? (Functie): De bedoeling van de taak.
• Wat is er mogelijk? (Haalbaarheid): Wat er echt in de kamer staat.

2. Het "Relaxeren" van de Doelen

Als de robot merkt dat zijn oorspronkelijke plan niet werkt, geeft hij niet op. In plaats daarvan "relaxt" hij het doel.

• Vergelijking: Stel je wilt een taart bakken, maar je hebt geen eieren. Een stijve robot zegt: "Taart maken is onmogelijk." Een ContextMatters-robot zegt: "Oké, geen eieren? Dan maken we een taart zonder eieren, of we maken een pannenkoek, of we halen gewoon een koekje uit de kast."
• Het systeem vraagt aan de grote taalmodel (LLM): "Kijk eens om je heen. Wat kunnen we gebruiken dat lijkt op een vork, of wat kunnen we doen als we geen vorken hebben?"

3. De Twee Sporen van Aanpassing

Het systeem gebruikt twee slimme manieren om het doel aan te passen:

• Het Verplaatsen (Shifting): Als de robot niet bij de vorken in de lade kan komen, zegt hij: "Oké, de lade is dicht. Laten we kijken of er vorken op het aanrecht staan." Hij verplaatst zijn zoektocht naar een andere plek in het huis.
• Het Verslappen (Relaxing): Als er echt geen vorken zijn, zegt hij: "Oké, we kunnen geen vorken gebruiken. Laten we de taak veranderen in: 'Zet het bord klaar met lepels'." De bedoeling (eten zetten) blijft hetzelfde, maar het middel (vorken) wordt vervangen door iets haalbaars (lepels).

4. De Controleur (De "Bureaucraat")

Tussen de dromer (AI) en de robot zit een strenge controleur (een klassieke planner).

• Vergelijking: De AI is de creatieve chef die ideeën bedenkt ("Laten we een vliegtuig bouwen!"). De controleur is de ingenieur die zegt: "Wacht, we hebben geen vleugels. Dat kan niet."
• De AI krijgt dan feedback: "Geen vleugels? Oké, dan bouwen we een auto." De AI probeert het opnieuw, maar nu met een haalbaar plan. Dit gaat door tot het plan echt werkt in de echte wereld.

Het Resultaat

In tests bleek dat deze methode 52% succesvoller was dan de beste bestaande methoden.

• Waar andere robots faalden omdat ze vastzaten aan hun oorspronkelijke plan, slaagde ContextMatters door slim te improviseren.
• Ze hebben dit zelfs getest op een echte robot (TIAGo) in een echt huis. De robot kreeg de opdracht: "Breng 4 kinder-snacks naar tafel." Er waren maar 3 snacks. In plaats van te falen, zei de robot: "Oké, ik haal 3 snacks en een blikje cola (want dat is ook iets lekkers voor kinderen, maar geen alcohol)." Hij bracht het allemaal naar tafel.

Kortom:
ContextMatters leert robots om niet als een stugge computer te denken ("Plan mislukt"), maar als een menselijk hulpje dat denkt: "Het plan werkt niet, maar ik heb een idee om het toch voor elkaar te krijgen met wat we wel hebben." Het is het verschil tussen "Ik geef op" en "Ik pas me aan".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Context Matters! Relaxing Goals with LLMs for Feasible 3D Scene Planning" in het Nederlands.

Probleemstelling

Embodied agents (robots) moeten betrouwbare actieplannen genereren in complexe, realistische 3D-omgevingen. Bestaande benaderingen kampen met twee fundamentele beperkingen:

1. Pure LLM-planners: Gebruiken gemeenschappelijke kennis (commonsense) om intenties te interpreteren, maar hallucineren vaak ontbrekende precondities of acties. Dit leidt tot optimistische plannen die in de praktijk falen omdat ze de fysieke beperkingen van de omgeving negeren.
2. Pure Classieke Planners (PDDL): Bieden formele garanties, maar behandelen niet-nageleefde precondities als "dead-ends". Als een doel (bijv. "zet twee vorken op tafel") onmogelijk is vanwege de huidige staat van de omgeving (bijv. de lade is geblokkeerd of er zijn geen schone vorken), faalt de planner volledig zonder een manier om het doel aan te passen zonder de intentie te verliezen.

De kernvraag is: Kan een agent zijn 3D-omgeving intelligent analyseren om een doel te "relaxeren" naar functioneel equivalente, maar contextueel haalbare objectieven, in plaats van te falen?

Methodologie: ContextMatters

Het paper introduceert ContextMatters, een raamwerk dat Large Language Models (LLMs) en klassieke planning combineert via een bidimensionale relaxatie-architectuur. Het systeem opereert op 3D Scene Graphs (3DSG) en gebruikt twee operatoren om van een onoplosbaar probleem naar een uitvoerbaar plan te komen:

1. Situational Shift ($\Gamma_{shift}$):

   • Past de representatie van de omgeving aan aan de hand van de 3DSG.
   • Corrigeert fouten in de symbolische domeindefinitie (PDDL) die ontstaan door hallucinaties van de LLM of mismatches met de werkelijke objecten in de scène.
   • Dit gebeurt via een iteratief proces van probleemgeneratie, validatie door een symbolische validator (VAL), en feedback-gedreven verfijning.

2. Relaxatie-operator ($\Delta_{rel}$):

   • Als het doel binnen het aangepaste domein nog steeds onbereikbaar is, wordt het doel zelf "gerelaxeerd".
   • De LLM stelt functioneel equivalente doelen voor die minder restrictief zijn (bijv. in plaats van "drie snacks en koffie", wordt "drie eetbare items en water" voorgesteld als koffie ontbreekt).
   • Dit volgt een hiërarchie van doelen van specifiek naar algemeen, waarbij de intentie van de gebruiker behouden blijft zolang de precondities haalbaar zijn.

Architectuur en Werkingsprincipe:
Het systeem bouwt een relaxatiegraaf op. Het begint met het originele doel en domein. Als planning faalt:

• Het systeem probeert eerst het domein te verschuiven (verbeteren van de wereldmodel).
• Als dat niet helpt, wordt het doel relaxeerd (verminderen van de eisen).
• Een Grounding Check zorgt ervoor dat elk gegenereerd plan daadwerkelijk gekoppeld kan worden aan bestaande objecten in de 3DSG, waardoor hallucinaties worden voorkomen.
• Het proces herhaalt zich totdat een uitvoerbaar plan wordt gevonden of een maximum aantal pogingen is bereikt.

Belangrijkste Bijdragen

1. Formalisatie van Contextuele Doel-Relaxatie: Een nieuw formalisme dat redeneert langs twee assen (functionaliteit en haalbaarheid) om gebruikersintentie te behouden terwijl uitvoerbare doelen worden gegenereerd.
2. ContextMatters Framework: Een hybride systeem dat LLM's gebruikt voor het genereren van doelvarianten en domeindefinitie, gecombineerd met klassieke PDDL-planning voor validatie en synthesese.
3. Nieuwe Dataset: Een dataset van 141 taken die specifiek ontworpen zijn om relaxatie te vereisen (waarbij essentiële objecten ontbreken maar vervangers beschikbaar zijn), compatibel met populaire 3D-omgevingen.
4. Empirische Validatie: Evaluatie op benchmarks en een succesvolle implementatie op een echte TIAGo-robot in een realistische setting.

Resultaten

De experimenten tonen aan dat ContextMatters aanzienlijk beter presteert dan state-of-the-art methoden (zoals DELTA, SayPlan en LLMAsPlanner):

• Success Rate (SR): Het systeem bereikte een 52,45% verbetering in de totale success rate (planning + grounding) ten opzichte van de beste bestaande LLM+PDDL-baselines.
• Robuustheid: Zelfs zonder domeingeneratie (waarbij het domein al bekend is) behaalde het systeem een SR van 91,54% (met grounding), vergeleken met 13,89% voor DELTA.
• Real-world Deploy: Het systeem werd succesvol getest op een TIAGo-robot. In een scenario waar de gebruiker vroeg om "4 kinder-snacks" (waarvan er maar 3 beschikbaar waren), paste het systeem het doel dynamisch aan naar "3 snacks en een cola-blik" (gebaseerd op commonsense dat cola voor kinderen acceptabeler is dan wijn, en dat het een vervangend item is). De robot voerde dit aangepaste plan correct uit.

Betekenis en Conclusie

Deze research markeert een belangrijke stap naar robuuste embodied AI. Het toont aan dat robots niet hoeven te falen wanneer de exacte wereldcondities niet overeenkomen met de ideale taakspecificatie. Door doelbewust en intelligent te relaxeren, kunnen robots hun operaties aanpassen aan de context van de omgeving zonder de kernintentie van de gebruiker te verliezen.

De integratie van LLM's voor semantisch redeneren met de formele garanties van klassieke planning biedt een praktische oplossing voor de "reality gap" tussen simulatie en de echte wereld. Dit maakt autonome systemen veerkrachtiger in ongestructureerde omgevingen, wat essentieel is voor de toekomstige inzet van robots in huishoudens en complexe werkplekken.