ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

Dit paper introduceert ViPlan, het eerste open-source benchmark voor het vergelijken van symbolische planning met Vision-Language Models (VLMs) versus directe VLM-planning, en toont aan dat de optimale aanpak afhangt van het domein: symbolische planning presteert beter in gestructureerde omgevingen zoals Blocksworld, terwijl directe planning superieur is in complexe huishoudelijke scenario's.

De kern

Stel je voor dat je een robot wilt bouwen die niet alleen kan kijken, maar ook echt kan nadenken en plannen om taken uit te voeren, zoals het opruimen van een kamer of het stapelen van blokken. Dat klinkt geweldig, maar hoe leer je die robot dat?

In dit paper, genaamd ViPlan, hebben onderzoekers een nieuwe manier bedacht om te testen hoe slim deze robots (of eigenlijk de 'hersenen' erachter, de Vision-Language Models) zijn. Ze hebben een soort gymzaal voor robotplanners gebouwd.

Hier is wat er gebeurt, vertaald naar alledaags taal:

1. Twee manieren om te plannen: De "Directe" vs. De "Vertaler"

De onderzoekers vergelijken twee verschillende manieren waarop robots plannen kunnen maken:

• De "Directe Planner" (VLM-as-planner):
  Dit is als een kunstenaar die direct schildert. De robot kijkt naar een foto en zegt direct: "Ik ga nu dit doen, en dan dat." Hij probeert het hele plan in zijn hoofd te houden en te tekenen zonder tussenstappen. Hij vertrouwt op zijn eigen gevoel en wat hij eerder heeft geleerd.

  • Sterk punt: Hij is goed in situaties waar veel taal en context bij komt kijken (zoals "zet de borden in de kast").
  • Zwak punt: Hij kan snel in de war raken als hij de exacte positie van dingen moet onthouden. Hij hallucineert soms dingen die er niet zijn.

• De "Vertaler" (VLM-as-grounder):
  Dit is als een architect met een vertaler. De robot kijkt naar de foto, maar in plaats van direct te plannen, vraagt hij aan een vertaler: "Zie ik hier een blok? Is het blokje bovenop het andere?" De vertaler (de AI) vertaalt de foto naar een simpele lijst met feiten (bijv. "Blok A is bovenop Blok B"). Een strenge, logische computer (een symbolische planner) gebruikt die lijst om een perfect plan te maken.

  • Sterk punt: Hij is supernauwkeurig in simpele, logische puzzels (zoals blokken stapelen). Hij maakt geen fouten in de logica.
  • Zwak punt: Als de kamer rommelig is en hij kan niet alles zien (bijvoorbeeld omdat een kastdeur dicht is), raakt hij in paniek. Hij kan niet "gissen" wat erachter zit.

2. De Gymzaal: Twee verschillende sporten

Om deze twee methoden te testen, hebben ze twee verschillende sporten bedacht:

• Sport 1: De Blokkenwereld (Blocksworld)
  Denk aan een simpele puzzel met gekleurde blokken die je moet stapelen. Alles is zichtbaar, alles is logisch.

  • Resultaat: De Vertaler wint hier met grote voorsprong. Omdat de regels strak zijn en alles zichtbaar, is de nauwkeurige vertaling van foto naar feiten perfect. De Directe Planner maakt hier veel fouten omdat hij probeert te "gissen" in plaats van te tellen.

• Sport 2: De Huisrobot (Household Robotics)
  Denk aan een robot die een echt huis moet opruimen. Er zijn veel objecten, sommige zijn verborgen achter deuren, en de robot moet navigeren.

  • Resultaat: Hier wint de Directe Planner. Waarom? Omdat de Vertaler vastloopt. Hij kan niet zien wat er achter de gesloten deur zit, en omdat hij niet kan "gissen" of "vermoeden" (zoals een mens dat doet), stopt hij. De Directe Planner gebruikt zijn taal-kennis ("meestal staan borden in de kast") om een plan te maken, zelfs als hij niet alles ziet.

3. De grote verrassing: "Denk na" helpt niet altijd

Een populaire truc bij AI is om te vragen: "Denk eerst stap-voor-stap na voordat je antwoordt" (dit heet Chain-of-Thought). Je zou denken dat dit de robot slimmer maakt.

• Het resultaat: Niet echt. In deze tests maakte het vaak juist meer fouten. De robot begon te "overdenken", bleef hangen in een kringetje van gedachten en raakte de draad kwijt. Het was alsof je iemand vraagt om een ingewikkeld rekenprobleem op te lossen, maar hij begint te praten over het weer in plaats van te rekenen.

4. Wat betekent dit voor de toekomst?

De boodschap van dit paper is simpel: Er is geen "beste" manier.

• Als je een robot nodig hebt voor een simpele, logische taak (zoals een fabriek of een puzzel), gebruik dan de Vertaler (koppel de camera aan een strenge logica).
• Als je een robot nodig hebt voor een chaotische, echte wereld (zoals een huishouden), gebruik dan de Directe Planner (laat de robot zelf plannen maken op basis van wat hij ziet en weet).

De onderzoekers hebben deze "gymzaal" (ViPlan) openbaar gemaakt, zodat iedereen in de wereld zijn eigen robot-hersenen kan testen en zien waar ze sterk en zwak zijn. Het is een belangrijke stap om robots echt bruikbaar te maken in onze huizen, in plaats van ze alleen maar in theorie te laten werken.

Technische samenvatting

Probleemstelling

Het integreren van Large Language Models (LLMs) met symbolische planners wordt gezien als een veelbelovende richting om verifieerbare en onderbouwde plannen te genereren. Recent werk heeft dit concept uitgebreid naar visuele domeinen met behulp van Vision-Language Models (VLMs). Er zijn echter twee fundamentele benaderingen voor het gebruik van VLMs in planning:

1. VLM-as-planner: Het model selecteert direct acties op basis van visuele input.
2. VLM-as-grounder: Het model vertaalt visuele waarnemingen naar symbolische representaties (predicaten in een taal zoals PDDL), waarna een klassieke symbolische planner het plan genereert.

Het huidige probleem is dat er een gebrek is aan rigoureuze benchmarks om deze twee methoden onder gelijke omstandigheden te vergelijken. Bestaande benchmarks focussen vaak op directe planning of gebruiken gesloten bronnen en privé-datasets, waardoor het moeilijk is om te bepalen welke aanpak beter is voor specifieke taken. Bovendien is het onduidelijk hoe goed huidige VLMs zijn in het "grounden" (koppelen van symbolen aan visuele data) en het redeneren over visuele relaties.

Methodologie: Het ViPlan Benchmark

Om deze kloof te dichten, stellen de auteurs ViPlan voor, het eerste open-source benchmark voor visuele planning. Het benchmark bestaat uit twee complementaire domeinen die verschillende redeneeruitdagingen presenteren:

1. ViPlan-Blocksworld (ViPlan-BW):

   • Een visuele variant van het klassieke blokkenwereld-planningsprobleem.
   • Karakteristieken: Volledig waarneembaar, abstract, en vereist precieze visuele grounding (bijv. "is blok X bovenop blok Y?").
   • Opzet: 25 gegenereerde problemen verdeeld over drie moeilijkheidsgraden (simpel, medium, hard).

2. ViPlan-Household (ViPlan-HH):

   • Een gesimuleerde robotica-omgeving (gebaseerd op iGibson 2.0) met de Fetch-robot.
   • Karakteristieken: Deels waarneembaar (partial observability), realistisch, met navigatie en manipulatie. Vereist linguïstische kennis om handelingen te plannen ondanks visuele ambiguïteit.
   • Opzet: 25 taken (zoals tafels dekken of opruimen) verdeeld over drie moeilijkheidsgraden.

Evaluatie-Methoden:
De auteurs evalueren twee hoofdklassen van methoden, elk met vier varianten (inclusief Chain-of-Thought prompting en geheugen-augmentatie):

• VLM-as-planner: De VLM genereert direct een plan of de volgende actie (in JSON-formaat) op basis van de huidige afbeelding en doel.
• VLM-as-grounder: De VLM beantwoordt ja/nee-vragen over de waarheid van predicaten (bijv. "Houdt de agent een kom vast?") om de symbolische staat te initialiseren en te verifiëren. Een symbolische planner (Fast Downward) genereert het plan.

Modelselectie:
Er werden 21 open-source VLMs getest. Op basis van een voorselectie werden de top 5 modellen (o.a. InternVL3.5 38B, Qwen3-VL 32B, Gemma-3 27B) geselecteerd voor de uiteindelijke uitgebreide benchmark. Ook drie gesloten modellen (GPT-4.1, GPT-5.2) werden als referentie getest.

Belangrijkste Bijdragen

1. ViPlan Benchmark: De eerste open-source benchmark die een directe vergelijking mogelijk maakt tussen VLM-as-planner en VLM-as-grounder methoden in twee visuele domeinen.
2. Uitgebreide Evaluatie: Evaluatie van 21 modellen en 8 methoden-varianten, inclusief analyse van Chain-of-Thought (CoT) prompting.
3. Kwalitatieve Analyse: Een diepgaande analyse van faalpatronen (zoals hallucinaties bij grounding, inconsistenties in planning en parsing-fouten).
4. Open Source: Het volledige framework, inclusief domeinen, scripts en data, is beschikbaar gemaakt voor reproduceerbaarheid.

Resultaten

De resultaten tonen een duidelijk trade-off tussen de twee benaderingen, afhankelijk van het domein:

• In ViPlan-BW (Blocksworld):

  • VLM-as-grounder presteert aanzienlijk beter (46% succes) dan VLM-as-planner (9% succes).
  • Reden: In dit domein is visuele grounding cruciaal en relatief eenduidig. De symbolische planner kan effectief werken zodra de VLM de staat correct heeft vertaald. Directe planning faalt vaak omdat de VLMs moeite hebben met het intern simuleren van toekomstige toestanden zonder expliciete symbolische structuur.

• In ViPlan-HH (Household):

  • VLM-as-planner presteert aanzienlijk beter (34% succes) dan VLM-as-grounder (5% succes).
  • Reden: In dit complexe, deels waarneembare domein helpt de linguïstische voorkennis van de VLM bij het voorstellen van plausibele acties. De VLM-as-grounder-methode wordt gehinderd door de deels waarneembare aard van de omgeving; kleine fouten in het beantwoorden van ja/nee-vragen over predicaten cumuleren en leiden tot het falen van het hele plan.

• Impact van Chain-of-Thought (CoT):

  • CoT prompting levert geen consistente verbetering op. In veel gevallen (vooral bij VLM-as-planner in ViPlan-HH) leidt het zelfs tot een prestatiedaling.
  • Oorzaak: Modellen raken vaak in herhalende denkpatronen, vullen hun token-budget op zonder tot een geldig plan te komen, of genereren inconsistenties. Dit suggereert beperkingen in de huidige visuele redeneercapaciteiten van VLMs.

• Foutanalyse:

  • VLM-as-planner: Faalt vaak door het genereren van niet-uitvoerbare acties of door formatfouten (parsing errors).
  • VLM-as-grounder: Faalt voornamelijk door incorrecte grounding van precondities (bijv. een object verkeerd identificeren als "bereikbaar" of "niet bereikbaar"), wat leidt tot dode hoeken of eindeloze lussen.

Betekenis en Conclusie

ViPlan onthult fundamentele tekortkomingen in zowel directe visuele planning als symbolische grounding met VLMs. De studie concludeert dat er geen enkele "beste" methode is; de keuze hangt af van de aard van de taak:

• Voor taken met een duidelijke, volledig waarneembare structuur (zoals Blocksworld) is de VLM-as-grounder aanpak superieur.
• Voor complexe, realistische taken met linguïstische nuances en deels waarneembare toestanden (zoals household robotics) is de VLM-as-planner aanpak effectiever, omdat deze kan profiteren van linguïstische priors.

De paper benadrukt dat huidige VLMs nog moeite hebben met consistente visuele redenering en dat CoT prompting op dit moment geen wondermiddel is voor visuele planning. ViPlan dient als een cruciaal hulpmiddel voor de gemeenschap om robuuste planningssystemen te ontwikkelen die zowel de strengheid van symbolische planning als de flexibiliteit van visuele waarneming kunnen combineren.