💻 computer science

Using Language Models as Closed-Loop High-Level Planners for Robotics Applications: A Brief Overview and Benchmarks

Dit artikel onderzoekt empirisch praktische strategieën voor het integreren van Large Language Models (LLMs) en Vision Language Models (VLMs) als gesloten-lus hoog-niveau planners in de robotica, met name door de impact van het controlehorizon en warm-starting te analyseren om handelingsgerichte aanbevelingen te bieden voor het verbeteren van planningsprestaties en robuustheid.

Oorspronkelijke auteurs: Hao Wang, Sathwik Karnik, Bea Lim, Somil Bansal

Gepubliceerd 2026-04-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Wang, Sathwik Karnik, Bea Lim, Somil Bansal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme, maar lichtelijk verstrooide robot te leren hoe je een fruitsalade maakt. Je geeft de robot een grote instructie: "Maak een salade." De robot heeft een "hersenen" (een groot taalmodel) die woorden en afbeeldingen begrijpt, maar het heeft geen eigen handen. Het moet een aparte, eenvoudigere "hand" (een laag-niveau controller) precies vertellen wat het moet doen, zoals "pak de appel op" of "leg de appel op het bord".

Dit artikel is als een handleiding voor de hersenen van de robot, waarbij drie verschillende manieren om instructies te geven worden getest om te zien welke methode het beste werkt. De auteurs hebben een keuken opgezet met verschillende niveaus van moeilijkheid (van het stapelen van simpele dozen tot het maken van een complexe salade met specifieke regels) en honderden experimenten uitgevoerd.

Hier is de uiteenzetting van hun bevindingen met behulp van simpele analogieën:

1. Het debat tussen "Open-Loop" en "Closed-Loop"

De Analogie:

Open-Loop (De "Stel en Vergeet" GPS): Je vertelt de robot: "Ga naar de winkel, koop melk en kom thuis." De robot schrijft dit hele plan aan het begin op en probeert het perfect te volgen zonder om zich heen te kijken. Als het over een tapijt struikelt of de winkel gesloten is, blijft het toch proberen naar de winkel te lopen, en faalt het herhaaldelijk.
Closed-Loop (De "Check-in" GPS): Je vertelt de robot: "Ga naar de winkel." De robot zet één stap, stopt dan om om zich heen te kijken. "Oké, ik ben bij de deur. Is de winkel open? Ja. Goed, nu ga ik naar binnen." Het controleert voortdurend zijn voortgang.

De Bevinding:
Het artikel vond dat de "Check-in" (Closed-Loop) methode bijna altijd beter is. Zelfs in een statische keuken waar niets verandert, maakt de hersenen van de robot fouten in zijn initiële plan. Door na elke stap te stoppen en zijn werk te controleren, kan de robot zijn eigen fouten herstellen voordat ze de hele taak verpesten. De "Stel en Vergeet" methode faalt veel vaker omdat het niet beseft dat het uit de bocht vliegt totdat het te laat is.

2. De "Control Horizon" (Hoe vaak moet je checken)

De Analogie:
Stel je voor dat je een auto rijdt met een copiloot (de hersenen van de robot).

Korte Horizon: De copiloot kijkt naar de kaart en geeft je een nieuwe richting na elke enkele stap die je zet.
Lange Horizon: De copiloot geeft je een richting voor de hele reis, of misschien alleen voor de volgende paar blokken, en controleert alleen opnieuw als je tegen een muur rijdt.

De Bevinding:
Intuïtief zou je denken dat het controleren van de kaart na elke enkele stap (Korte Horizon) de veiligste en meest perfecte manier zou zijn om te rijden. Het artikel vond echter dat dit niet noodzakelijk waar is.

Te vaak controleren maakte de robot niet significant slimmer of succesvoller.
Soms gaf te vaak controleren de hersenen van de robot juist te veel kansen om verward te raken of een nieuwe fout te maken.
De Conclusie: Je hoeft de robot niet na elke kleine beweging te micromanagen. Af en toe checken (zoals na een paar stappen) werkt net zo goed als constant controleren, mits je een goede manier hebt om de robot te corrigeren wanneer hij iets verprutst.

3. "Warm-Starting" (De robot een hint geven)

De Analogie:

Koude Start: De robot faalt om een appel op te pakken. Je zegt: "Probeer opnieuw!" maar je vertelt niet waarom het mislukte of wat het net deed. De robot moet vanaf nul raden.
Warm-Start: De robot faalt om de appel op te pakken. Je zegt: "Probeer opnieuw! Je probeerde net de appel te grijpen, maar je hand was te ver naar links. Probeer je hand naar rechts te bewegen." Je geeft het het vorige plan en de specifieke fout als startpunt.

De Bevinding:
Dit was de belangrijkste ontdekking. Het geven van de "Warm-Start" (het vorige plan en het foutenrapport) maakte een enorm verschil.

Zonder dit bleef de robot vaak vastzitten in een lus van herhaaldelijk falen.
Met dit kon de robot leren van zijn directe eerdere fouten en deze corrigeren.
In sommige moeilijke scenario's kon de robot simpelweg niet slagen zonder deze "hint". Het is als proberen een puzzel op te lossen met een blinddoek versus het plaatje op de doos hebben om je te leiden.

Samenvatting van Aanbevelingen

Op basis van deze experimenten suggereren de auteurs:

Gebruik altijd de "Check-in" methode (Closed-Loop): Geef de robot niet alleen een eenmalig plan. Laat het zijn werk controleren terwijl het gaat.
Gebruik altijd "Warm-Starting": Wanneer de robot opnieuw plant, laat hem dan zien wat hij net probeerde en waar het mislukte. Dit is cruciaal voor succes.
Controleer niet te vaak: Je hoeft de robot niet te dwingen na elke kleine beweging opnieuw te plannen. Een gematigd tempo van controleren is prima.
De "Hersenen" zijn het belangrijkst: Het specifieke AI-model dat wordt gebruikt (de "hersenen") is belangrijker dan hoe vaak je zijn werk controleert. Sommige modellen zijn van nature beter in plannen dan anderen.

Wat het artikel NIET zegt:
De auteurs zijn voorzichtig om te noteren dat ze alleen robots hebben getest in een gecontroleerde, statische omgeving (niets bewoog vanzelf). Ze hebben dit niet getest in chaotische, real-world scenario's zoals een drukke straat of een ziekenhuis. Ze hebben ook geen verschillende soorten robot-"handen" getest (alleen simpele op- en neerzetacties), hoewel ze geloven dat hun advies daar waarschijnlijk ook van toepassing zou zijn. Hun hoofddoel was simpelweg om de beste manier te vinden om nu met de hersenen van de robot te praten.

1. Probleemstelling

Hoewel Large Language Models (LLM's) en Vision-Language Models (VLM's) indrukwekkende redeneervermogens in de open wereld hebben aangetoond, blijft hun inzet als gesloten-lus hoog-niveau planners in de robotica uitdagend.

De Kloof: Bestaande literatuur behandelt LLM's/VLM's vaak als black-box planners zonder rigoureus te onderzoeken hoe specifieke controlemethoden (zoals replanning-frequentie of initialisatie) de prestaties beïnvloeden.
De Uitdaging: In robotische taken uit de echte wereld is open-loop uitvoering vatbaar voor falen vanwege:
1. Onjuiste hoog-niveau plannen gegenereerd door het model.
2. Falen in laag-niveau uitvoering (bijv. botsingen in bewegingsplanning).
3. Onvoorspelbare veranderingen in de omgeving.
Kernvraag: Hoe kunnen LLM's/VLM's effectief worden ingezet als gesloten-lus planners? Specifiek: hoe beïnvloeden controlehorizon (replanning-frequentie) en warm-starting (het gebruik van eerdere plannen als context) de robuustheid, het geometrische redeneren en het logische redeneren van deze systemen?

2. Methodologie

De auteurs kaderen het probleem binnen Model Predictive Control (MPC), waarbij het taalmodel fungeert als de solver voor een optimalisatieprobleem. De doelstelling wordt gedefinieerd door de gebruikersprompt, beperkingen zijn impliciet of expliciet in de prompt, en de interne kennis van het model dient als de dynamica.

Experimentele Opstelling

Taakomgevingen: Vier omgevingen van toenemende complexiteit werden ontworpen:
1. CUBE-EASY: Basis manipulatie van dozen.
2. YCB-EASY: Manipulatie van huishoudelijke objecten (YCB-set).
3. YCB-MEDIUM: Meerdere doelstellingen voor plaatsing (fruit op bord, objecten in mand).
4. YCB-HARD: Complex redeneren (het maken van een fruitsalade met eigenschapsbeperkingen zoals "zuur fruit").
Geteste Modellen: Drie VLM's werden geëvalueerd: GPT-4.1-mini, Gemini-2.5-flash en Llama-4-Maverick-17B.
Planner Variaties:
- Open-Loop (OL): Genereert één plan; geen replanning tenzij er een fout optreedt.
- Closed-Loop (CL): Replanning op basis van de bijgewerkte staat.
  - Controlehorizons:
    - Kort: Replanning elke 2 stappen.
    - Half: Replanning elke $k/2$ stappen ( $k$ = taaklengte).
    - Volledig: Alleen replanning na taakvoltooiing of falen (equivalent aan OL in statische omgevingen).
  - Warm-Starting: Het verstrekken van het vorige plan en de uitvoeringsstatus (succes/mislukking) aan het model tijdens replanning versus Non-Warm-Starting (NWS) (nieuw beginnen zonder eerdere context).
Metrieken:
- Taakvoltooiingspercentage: Succes in het voldoen aan alle logische en geometrische beperkingen.
- Doelbereikpercentage: Succes in geometrische plaatsing (logische beperkingen negerend).
- Logische Redeneringsmetrieken: Correcte Eindige Logische Plan Rate, Positieve/Negatieve Logische Correctiepercentages.

3. Belangrijkste Bijdragen

Empirische Benchmarking: De eerste systematische studie die de effecten isoleert van controlehorizon en warm-starting op VLM-gebaseerde embodied planning.
MPC Framework Toepassing: Het conceptualiseren van LLM-planning als een optimalisatieprobleem om de evaluatie van replanning-strategieën te standaardiseren.
Tegennatuurlijke Bevindingen: Het uitdagen van de algemene aanname dat "frequenter replanning altijd beter is" en het aantonen van de kritieke noodzaak van warm-starting.
Publieke Release: De auteurs hebben de volledige implementatie, benchmarks en projectwebsite vrijgegeven om reproduceerbaarheid te faciliteren.

4. Belangrijkste Resultaten & Observaties

Observatie 1: Closed-Loop is Beter dan Open-Loop

Geometrisch Redeneren: Gesloten-lus planners presteerden aanzienlijk beter dan open-loop planners in het Doelbereikpercentage (gemiddelde verbetering van 21,7%). Het vermogen om te replannen stelde het model in staat geometrische misplaatsingen te corrigeren die anders tot taakfalen zouden leiden.
Logisch Redeneren: Gesloten-lus planners vertoonden in deze specifieke opstelling geen statistisch significant voordeel in logisch redeneren ten opzichte van open-loop planners. Dit wordt toegeschreven aan het feit dat de "Volledige" controlehorizon (alleen replanning bij falen) slechts één kans bood om logische fouten te corrigeren, wat vaak onvoldoende was.

Observatie 2: Een Korte Controlehorizon is Niet Altijd Beter

In tegenstelling tot de intuïtie dat frequent replannen (korte horizon) betere robuustheid oplevert, presteerde de Korte controlehorizon (replanning elke 2 stappen) niet consequent beter dan Half of Volledige horizons.
Statistische Significantie: In slechts 2 van de 12 scenario's vertoonde de Korte horizon een statistisch significante verbetering in het Taakvoltooiingspercentage.
Redenering: Hoewel frequent replannen meer correctiekansen biedt, verhoogt het ook de waarschijnlijkheid dat de VLM negatieve logische correcties introduceert (het plan verslechteren). De prestaties zijn zwaarder afhankelijk van het vermogen van de specifieke VLM die wordt gebruikt dan van de frequentie van replanning.

Observatie 3: Warm-Starting is Kritiek

Algemene Prestaties: Warm-starting (het verstrekken van het vorige plan en de uitvoeringsstatus) verbeterde consequent de prestaties. Warm-started varianten presteerden beter dan non-warm-started varianten in 21 van de 24 scenario's (gemiddelde verbetering van 28,2%).
Geometrisch Redeneren: Warm-starting verbeterde de Doelbereikpercentages met 31,7%. Expliciete feedback over waar en hoe een vorig plan faalde, stelde het model in staat specifieke geometrische fouten te corrigeren.
Logisch Redeneren: Warm-starting verminderde Negatieve Logische Correcties aanzienlijk (minder fouten maken). Het verminderde echter lichtjes Positieve Logische Correcties (het model werd meer bevooroordeeld ten opzichte van het vorige, potentieel onjuiste, plan).
Falenmodus: In verschillende scenario's (bijv. Llama op YCB-MEDIUM) stortten non-warm-starting planners volledig in (0% succes), terwijl warm-starting een succesvolle taakvoltooiing mogelijk maakte. Dit suggereert dat zonder context de waarschijnlijkheid om een reeks succesvolle acties aan elkaar te rijgen geometrisch afneemt met de taaklengte.

5. Betekenis en Aanbevelingen

Robuustheid boven Frequentie: Het artikel stelt dat voor VLM-gebaseerde robotica warm-starting een kritieker factor voor succes is dan de frequentie van replanning.
Praktische Richtlijnen:
1. Gebruik Altijd Closed-Loop: Zelfs in statische omgevingen is gesloten-lus planning de voorkeur om VLM-inferentiefouten te corrigeren.
2. Prioriteit aan Warm-Starting: Geef het model altijd het vorige plan en de uitvoeringsstatus. Zonder dit falen complexe taken vaak.
3. Controlehorizon: Kies een horizon die het systeem voldoende reactief maakt voor de taak, maar ga er niet van uit dat de kortst mogelijke horizon (replanning elke stap) optimaal is.
4. Modelselectie: De keuze van de VLM is de dominante factor in prestaties; verschillende modellen vertonen sterk verschillende redeneervermogens.

Conclusie

Dit werk stelt vast dat hoewel LLM's/VLM's krachtig zijn voor hoog-niveau planning, hun betrouwbaarheid in de robotica sterk afhankelijk is van hoe ze in de regellus worden geïntegreerd. De studie toont aan dat warm-starting essentieel is om de kloof te overbruggen tussen VLM-redeneren en fysieke uitvoering, terwijl de voordelen van frequent replanning genuanceerd en modelafhankelijk zijn. Deze bevindingen bieden een fundamentele benchmark voor het ontwikkelen van robuustere embodied AI-systemen.