🤖 AI

Evidence-Gated Task and Motion Planning with Vision-Language Models

Dit artikel stelt Evidence Acquisition and Feasibility Gating (EAFG) voor, een framework dat Vision-Language Models integreert met Task and Motion Planning om dynamisch visueel bewijs te verzamelen en planningsbeslissingen te controleren, waardoor de succespercentages bij langdurige manipulatietaken onder partiële observeerbaarheid worden verbeterd door uitvoering op niet-geverifieerde aannames te voorkomen.

Oorspronkelijke auteurs: Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

Gepubliceerd 2026-08-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots die zich door onze huizen en keukens bewegen, staan voor een fundamentele uitdaging: ze moeten niet alleen begrijpen wat ze moeten doen, maar ook of ze het daadwerkelijk kunnen doen. Om een eenvoudige instructie zoals "maak soep" op te volgen, moet een machine twee zeer verschillende werelden overbruggen. Ten eerste moet het de betekenis van de woorden begrijpen, wetende dat soep ingrediënten zoals kip en zout vereist, en dat deze zaken verhit moeten worden. Dit is het domein van taal en gezond verstand. Ten tweede moet het de fysieke wereld begrijpen, wetende waar de pan precies staat, of de kastdeur geopend kan worden zonder tegen een muur aan te botsen, en of de arm van de robot bij de kruidenpot kan reiken. Jarenlang hebben onderzoekers geprobeerd deze twee vaardigheden te combineren, waarbij geavanceerde computermodellen die kunnen zien en lezen werden gebruikt om robots te helpen hun acties te plannen. Echter, een hardnekkig probleem bleef bestaan: wat gebeurt er wanneer de robot in de keuken kijkt en niet alles kan zien wat hij nodig heeft? Als een cruciaal ingrediënt verborgen zit in een gesloten lade, of als het er simpelweg niet is, kan de robot een gok wagen op basis van wat hij weet uit zijn trainingsgegevens. De robot zou kunnen plannen om een wortel op te pakken die niet bestaat, wat leidt tot een mislukte taak of een verwarde machine die blijft proberen naar een lege ruimte te grijpen.

Een team van onderzoekers van de Waseda Universiteit en de Flinders Universiteit heeft een nieuwe manier voorgesteld om dit probleem op te lossen, een manier die de robot dwingt om eerst te kijken voordat hij springt. Hun benadering, genaamd Evidence Acquisition and Feasibility Gating, verandert de volgorde van handelingen. In plaats van onmiddellijk de soep te gaan koken op basis van een gok, gedraagt de robot zich eerst als een nieuwsgierige ontdekkingsreiziger. Hij is geprogrammeerd om kleine, veilige taken uit te voeren die uitsluitend bedoeld zijn om informatie te verzamelen, zoals het openen van een gesloten kastje of het verplaatsen van een doos die het zicht mogelijk blokkeert. Zodra de robot deze acties uitvoert, maakt hij een nieuwe foto van de scène. Een krachtig visie-taalmodel beoordeelt vervolgens dit nieuwe visuele bewijs om te beslissen wat de volgende stap is. Het systeem stelt een eenvoudige maar cruciale vraag: "Heb ik nu genoeg bewijs om de kooktaak te plannen?" Als het antwoord ja is, gaat de robot over tot het plannen van de volledige reeks kookstappen. Als het antwoord nee is, maar er zijn nog steeds plaatsen om te zoeken, gaat de robot terug naar de exploratiefase. Als het antwoord nee is, en het duidelijk wordt dat een vereist item ontbreekt, stopt de robot volledig in plaats van tijd te verspillen aan het proberen te gebruiken van iets dat er niet is.

De onderzoekers testten deze methode in een gesimuleerde keukenomgeving die ontworpen is om de complexiteit van een echt huis na te bootsen. De robot kreeg één arm en kreeg de taak om kippensoep te maken, een proces dat het vinden van ingrediënten, het gebruiken van een fornuis en het beheren van diverse containers omvat. Ze stelden drie verschillende scenario's op om te zien hoe het nieuwe systeem zou presteren in vergelijking met oudere methoden die niet eerst controleren op bewijs. In het eerste scenario waren alle noodzakelijke items aanwezig en duidelijk vermeld in de instructies. Hier presteerde het nieuwe systeem net zo goed als de standaardbenadering, wat bewees dat het toevoegen van deze extra stap van controle de robot niet vertraagt of in verwarring brengt wanneer alles duidelijk is. Het echte verschil kwam naar voren in het tweede scenario, waar de instructies vaag waren. De robot kreeg de opdracht om "kippensoep te maken" zonder dat hem werd verteld dat hij zout of peper moest gebruiken. Zonder het nieuwe systeem slaagde de robot zelden, omdat hij niet wist dat hij naar deze verborgen kruiden moest zoeken. Met de methode van bewijsverzameling opende de robot succesvol kasten, vond hij het zout en de peper, en voltooide hij het recept in veertig procent van de proeven, een significante verbetering ten opzichte van de baseline.

Het derde scenario testte het vermogen van het systeem om te herkennen wanneer een taak onmogelijk is. De robot kreeg de instructie om soep te maken met zout, peper en een wortel, maar de wortel was niet in de keuken aanwezig. Een standaard systeem zou vaak in een lus terechtkomen, waarbij het herhaaldelijk probeert de ontbrekende wortel te vinden of te gebruiken, wat tijd en energie verspilt. Het nieuwe systeem leerde echter te stoppen. Door actief te zoeken op de waarschijnlijke plaatsen waar een wortel zou kunnen zijn en niets te vinden, besloot de interne poort van de robot de taak te staken. In deze tests stopte het systeem in negentig procent van de gevallen correct voor één van de modellen en in maar liefst honderd procent voor het andere, terwijl het aantal mislukte pogingen om de ontbrekende groente te grijpen drastisch werd verminderd. Dit vermogen om te zeggen "ik kan dit niet doen" is net zo belangrijk als het vermogen om te slagen, omdat het voorkomt dat de robot handelt op basis van valse aannames.

De onderzoekers erkennen dat hun methode niet perfect is. Het vertrouwt op het vermogen van de robot om deuren te openen en objecten te verplaatsen om een beter zicht te krijgen. Als de robot een kastje niet kan openen vanwege een mechanisch probleem of een fysieke beperking, kan hij het bewijs dat hij nodig heeft mogelijk niet vinden, zelfs als het object er wel is. Ondanks deze beperking toont het werk een duidelijke weg vooruit voor robots die in onzekere omgevingen moeten opereren. Door een stap van actieve informatieverzameling in te voegen vóór de uiteindelijke planningsfase, zorgt het systeem ervoor dat de acties van de robot geworteld zijn in wat hij daadwerkelijk kan zien, in plaats van in wat hij slechts aanneemt. Deze verschuiving van gokken naar verifiëren stelt robots in staat om de rommelige, onvolledige realiteit van menselijke ruimtes effectiever te hanteren, wat hen tot meer betrouwbare partners maakt in taken die variëren van het bereiden van een maaltijd tot het organiseren van een kamer.

Technische Samenvatting: Evidence-Gated Task and Motion Planning met Vision-Language Models

1. Probleemstelling

Robots die langdurige manipulatietaken uitvoeren op basis van natuurlijke taalinstructies staan voor een fundamentele uitdaging: ze moeten tegelijkertijd redeneren over semantische taakstructuren en geometrische haalbaarheid. Hoewel Vision-Language Models (VLM's) uitblinken in het afleiden van algemeen menselijk begrip (commonsense) en het genereren van hoogwaardige subdoelen, en Task and Motion Planning (TAMP) ervoor zorgt dat geometrische en kinematische beperkingen worden nageleefd, faalt de integratie hiervan vaak onder partiële observeerbaarheid.

In omgevingen waar doelgerelateerde objecten verborgen kunnen zijn (bijv. in gesloten kasten) of volledig afwezig zijn, neigen bestaande VLM-TAMP-systemen te vertrouwen op de voorkennis of de algemene aannames van de VLM. Dit leidt tot het genereren van subdoelen die geen observationele ondersteuning hebben, wat resulteert in uitvoeringsfouten, inefficiënte herhaalde pogingen om niet-bestaande objecten te manipuleren, of onbedoelde uitkomsten. Huidige methoden gaan doorgaans uit van een volledig observeerbare objectgeoriënteerde staat en missen een mechanisme om ongeobserveerde objecten actief te verifiëren voordat er aan een taakplan wordt begonnen.

2. Methodologie: Evidence Acquisition and Feasibility Gating (EAFG)

De auteurs stellen Evidence Acquisition and Feasibility Gating (EAFG) voor, een framework dat is ontworpen om actief visueel bewijs te verzamelen en het planningsproces te filteren (gaten te leggen) op basis van dat bewijs. Het systeem werkt via een pre-planning loop die voorafgaat aan de generatie van het definitieve taakplan.

2.1 Kernpipeline

De EAFG-pipeline (geïllustreerd in Figuur 1 van het paper) functioneert als volgt:

Input: Het systeem ontvangt een doel in natuurlijke taal ( $G_{eng}$ ).
Evidence Acquisition Loop:
- De VLM genereert een sequentie van evidence-acquisition subdoelen ( $G^{EA}_t$ ). Dit zijn strikt exploratieve acties (bijv. deuren openen, occluderende objecten optillen) die bedoeld zijn om regio's te inspecteren waar doelgerelateerde objecten verborgen zouden kunnen zijn.
- Beperking: De VLM is beperkt tot een vooraf gedefinieerde set veilige, omkeerbare acties. Tijdens deze fase mag de VLM geen onomkeerbare taakacties uitvoeren (bijv. koken, verwarmen).
- Uitvoering: Een TAMP-module (specifiek PDDLStream) probeert deze subdoelen te instantiëren in geometrisch haalbare actiesequenties. De robot voert deze uit.
- Observatie: Resulterende observatiebeelden worden opgenomen en samengevoegd in een beeldcollage ( $I_t$ ).
- State Update: De VLM werkt een evidence state ( $E_t$ ) bij, die de uitvoeringgeschiedenis ( $H_t$ ), een tekstuele samenvatting van geobserveerde feiten ( $O_t$ ) en behouden bevindingen ( $F_t$ ) bevat. De VLM regenereert deze tekstuele componenten om verouderde of tegenstrijdige beschrijvingen te verwijderen, zodat de staat de huidige realiteit weerspiegelt.
Feasibility Gating:
- Na elke iteratie evalueert de VLM de evidence state tegenover het doel en geeft een gate status uit ( $s_t$ $s_{t}$ ):
  - Ready to plan: Voldoende bewijs aanwezig; het systeem verlaat de loop en gaat over naar taakplanning.
  - Need more evidence: Bewijs is onvoldoend, maar relevante onverkende regio's blijven bestaan. De VLM genereert nieuwe evidence-acquisition subdoelen ( $G^{EA}_{t+1}$ ) en de loop gaat door.
  - Halt: Vereiste objecten of condities kunnen niet worden geverifieerd (bijv. een object is afwezig na controle van alle plausibele locaties). Het systeem stopt de uitvoering om planning gebaseerd op ononderbouwde aannames te voorkomen.
Evidence-Conditioned Planning:
- Als de status "Ready to plan" is, genereert het systeem de definitieve taaksubdoelen ( $G_{task}$ ) met gebruik van de geaccumuleerde evidence state ( $E_T$ ) als expliciete tekstuele context. Dit zorgt ervoor dat het definitieve plan gegrond is in geverifieerde observaties in plaats van aannames.

3. Belangrijkste Bijdragen

Het paper schetst drie primaire bijdragen:

Pre-planning Evidence Acquisition: Een mechanisme dat VLM's aanzet tot het plannen van informatieverzamelende subdoelen om verborgen regio's te onthullen en de aanwezigheid van doelgerelateerde objecten te verifiëren voordat enige taakuitvoering begint.
Feasibility Gating: Een beslissingsmechanisme dat evalueert of verkregen bewijs een haalbare taakplanning ondersteunt. Het vraagt dynamisch om verdere observaties of stopt de uitvoering als de doelvereisten onondersteund blijven.
Empirische Validatie in Kookscenario's: Het ontwerp en de evaluatie van drie specifieke kookscenario's (expliciet gespecificeerd, ondergespecificeerd en scenario's met ontbrekende objecten) die aantonen dat EAFG de gegronde taakvoltooiing en detectie van onhaalbaarheid verbetert vergeleken met standaard VLM-TAMP baselines.

4. Experimentele Resultaten

De auteurs evalueerden EAFG in een keukenomgeving met een robot met één arm, waarbij de focus lag op een "maak kippensoep" taak. Drie instellingen werden getest:

S1 (Expliciet-en-Aanwezig): De instructie specificeerde alle objecten (zout, peper), en deze waren aanwezig.
- Resultaat: EAFG bleef competitief met de baseline. Voor GPT-5.5 verbeterde de Recipe Completion Rate (CR) van 0.20 naar 0.45, en de stapvoltooiing voor gespecificeerde kruiden bereikte 1.00.
S2 (Ondergespecificeerd): De instructie was "maak kippensoep" zonder zout of peper te specificeren.
- Resultaat: EAFG presteerde aanzienlijk beter dan de baseline. Zonder EAFG was de Recipe CR bijna nul (0.05 voor GPT-5.5). Met EAFG steeg deze naar 0.40 voor GPT-5.5 en 0.20 voor Gemini-3.5-Flash. Het systeem slaagde erin de onvermelde maar noodzakelijke objecten te ontdekken door exploratie.
S3 (Expliciet-maar-Afwezig): De instructie vereiste een wortel, die afwezig was in de omgeving.
- Resultaat: EAFG verbeterde het vermogen van het systeem om onhaalbaarheid te herkennen drastisch. Voor GPT-5.5 steeg de Halt Success Rate (SR) van 0.45 naar 0.90, en het aantal pogingen om de ontbrekende wortel te manipuleren daalde van 4.00 naar 0.55. Voor Gemini-3.5-Flash bereikte de Halt SR 1.00 met 0.00 pogingen tot manipulatie van het ontbrekende object.

5. Betekenis en Claims

Het paper beweert dat EAFG een kritieke kloof in langdurige robotmanipulatie aanpakt: de disconnect tussen semantische inferentie en fysieke realiteit onder partiële observeerbaarheid. Door evidence acquisition vóór de taakplanning te plaatsen, zorgt het framework ervoor dat plannen gegrond zijn in geverifieerde observaties.

De auteurs stellen dat EAFG:

Gegronde Voltooiing Verbetert: Het stelt robots in staat om recepten te voltooien door verborgen, taakrelevante objecten te ontdekken die niet expliciet in de prompt worden vermeld.
Onbedoelde Uitkomsten Voorkomt: Het vermindert herhaalde, vruchteloze pogingen om niet-bestaande objecten te manipuleren door de uitvoering te stoen wanneer het bewijs onvoldoende is.
Compatibiliteit Handhaaft: Het framework is ontworpen om te werken met bestaande VLM-TAMP architecturen door de evidence state als tekstuele context aan de planner prompt toe te voegen.

De auteurs erkennen beperkingen en merken op dat EafG afhankelijk is van de TAMP-module om exploratieve subdoelen succesvol uit te voeren; als TAMP er niet in slaagt een haalbaar pad te vinden voor een evidence-gathering actie, kan het systeem niet over de nodige informatie beschikken om een correcte gating beslissing te nemen. Zij stellen echter dat naarmate de onderliggende planning en feedbackmechanismen verbeteren, de robuustheid van EAFG dienovereenkomstig zal toenemen.