Technische Samenvatting: CoSPlan: Corrective Sequence Planning via Scene Graph Incremental Updates

1. Probleemdefinitie

Vision Language Models (VLM's) hebben significante capaciteiten getoond in tekstuele redenering en planning, met name bij het gebruik van technieken zoals Chain-of-Thought (CoT). Hun vermogen om sequentiële planning uit te voeren binnen het visuele domein blijft echter onderbelicht. Bestaande benchmarks richten zich vaak op statische visuele puzzels of gaan uit van ideale, foutvrije instructies, waardoor ze er niet in slagen de complexiteit van real-world besluitvorming te vatten, waarbij agenten fysieke beperkingen moeten navigeren en fouten in de uitvoering moeten herstellen.

Het paper identificeert een kritieke kloof: VLM's hebben moeite met het handhaven van coherente meerstaps visuele redenering, vooral wanneer ze worden gevraagd om foutieve stappen binnen een sequentie te detecteren en te corrigeren. Huidige modellen hebben de neiging om redenering van een initiële staat naar een einddoel te comprimeren tot een enkele stap, waarbij ze lange actiesequenties impliciet simuleren zonder expliciete intermediaire representaties. Dit leidt tot falen in "Step Completion" (het plannen van resterende acties) en "Error Detection" (het identificeren van waar een sequentie fout is gegaan), wat vaak resulteert in prestaties nabij willekeurig gokken wanneer fouten worden geïntroduceerd.

Om dit aan te pakken, introduceren de auteurs CoSPlan (Corrective Sequence Planning), een multimodale benchmark die ontworpen is om VLM's te evalueren op hun vermogen om door een sequentie van visuele acties te navigeren van een initiële scène ($I_0$) naar een doelscène ($I_g$), gegeven een initiële context die ten minste één intentionele, niet-optimale of foutieve actie ($A_E$) bevat.

2. Methodologie

2.1 De CoSPlan Benchmark

CoSPlan evalueert modellen op twee afzonderlijke taken:

1. Error Detection: Het identificeren van de specifieke foutieve stap binnen de verstrekte initiële context (of het bepalen of er geen fout bestaat).
2. Step Completion: Het selecteren van de juiste sequentie van resterende acties om de doeltoestand te bereiken, waardoor het traject dat door de fout is gevestigd, effectief wordt gecorrigeerd.

De benchmark bestaat uit vier verschillende taken, die elk intentionele suboptimale fouten bevatten (behalve één specifieke casus die hieronder wordt vermeld):

• Maze-E: Navigatietaken waarbij de agent van een startcel naar een doelcel moet bewegen terwijl hij obstakels vermijdt. Fouten omvatten het buiten de grenzen bewegen, tegen obstakels aanrijden of illegale diagonale bewegingen maken.
• Blocks-World-E: Blokherrangementstaken waarbij het doel is om een initiële stapelconfiguratie te transformeren naar een doelconfiguratie. Fouten betreffen fysiek onmogelijke bewegingen (bijv. het bewegen van niet-bovenste blokken, zwevende blokken) of inefficiënte stapeling.
• Shuffle-E: Beeldreconstructietaken waarbij verschoven beeldfragmenten moeten worden verwisseld om het originele beeld te herstellen. Noot: Vanwege de cascade-aard van fouten in deze taak wordt er slechts één fout geïntroduceerd, maar het wordt opgemerkt dat dit een unieke uitdaging creëert voor uniformiteit.
• Robo-VQA-E: Real-world object reorganisatietaken met gecureerde beeld-tekst paren. Fouten omvatten suboptimale plaatsingen, willekeurige interacties met niet-bestaande objecten, of ongeldige acties (bijv. een al geopende deur openen).

Design Safeguards: Om te voorkomen dat modellen "valsspelen" door simpelweg een optie te selecteren die visueel overeenkomt met de eindtoestand ($I_g$) zonder door de beperkingen te redeneren, bevat CoSPlan afleidingsopties (distractors). Deze distractoren bereiken de eindtoestand maar falen in het corrigeren van de specifieke fout in de initiële context, waardoor het model gedwongen wordt de geschiedenis en beperkingen van de scène te begrijpen.

2.2 Voorgestelde Oplossing: Scene Graph Incremental Updates (SGI)

In het besef dat standaard CoT en statische Scene Graph (SG) benaderingen moeite hebben met langdurige visuele redenering, stellen de auteurs SGI voor, een training-vrije methode.

• Kernconcept: In plaats van direct op afbeeldingen te redeneren of de gehele sequentie in een enkele stap te comprimeren, transformeert SGI afbeeldingen naar tekstuele Scene Graphs. Het voert vervolgens iteratieve, stap-voor-stap redenering uit in de tekstruimte.
• Algoritme:
  1. Vanilla Scene Graphs: De VLM genereert een initiële Scene Graph ($S_0$) vanuit $I_0$ en een doel Scene Graph ($S_g$) vanuit $I_g$.
  2. Incremental Update: Startend vanaf $S_0$ wordt het model geprompt om elke actie in de initiële context (inclusief de fout) te "simuleren" om de graaf incrementeel bij te werken, wat een intermediaire staat-graaf ($S_c$) produceert.
  3. Option Simulation: Voor elke multiple-choice optie (die een potentiële toekomstige sequentie vertegenwoordigt), simuleert het model de acties beginnend vanaf $S_c$, waarbij een hypothetische eindgraaf ($S_m$) voor die optie wordt gegenereerd.
  4. Similarity Comparison: Het model vergelijkt elke hypothetische graaf ($S_m$) met de doelgraaf ($S_g$) om te bepalen welke optie het beste aansluit bij de doelbeperkingen, waardoor effectief het pad wordt geselecteerd dat de fout corrigeert.

Deze aanpak ontbindt de redeneerlast, waardoor het model expliciet evoluerende staten kan bijhouden in plaats van te vertrouwen op impliciete visualisatie.

3. Belangrijkste Bijdragen

1. CoSPlan Benchmark: De eerste multimodale benchmark die VLM's evalueert op sequentiële planning in het visueel-talige domein onder foutgevoelige omstandigheden. Het combineert uniek temporele actiesequenties met de vereiste voor foutdetectie en -correctie over vier diverse taaktypen.
2. Empirische Analyse van VLM-zwakheden: Het paper biedt een rigoureuze evaluatie van state-of-the-art VLM's (inclusclusief GPT-4o, GPT-5.1, Intern-VLM, Qwen, en anderen). Het onthult dat zelfs geavanceerde modellen slecht presteren op deze taken, wat wijst op een significante onbekwaamheid om tussenliggende stappen te visualiseren en in-context fouten af te handelen.
3. SGI Methode: Een nieuwe, training-vrije techniek die Scene Graphs gebruikt voor incrementele updates. SGI laat een significante verbetering zien ten opzichte van vanilla Scene Graphs en Chain-of-Thought baselines door intermediaire staten expliciet te modelleren.

4. Resultaten

• Baseline Prestaties: Vanilla VLM's en die met standaard CoT of statische SG presteren slecht, vaak nabij of onder het niveau van willekeurig gokken (bijv. ~20% nauwkeurigheid op 5-optie MCQs). Dit duidt op een fundamentele strijd met visuele sequentieplanning wanneer fouten aanwezig zijn.
• SGI Prestaties: De SGI-methode levert een consistente verbetering over alle taken.
  • Step Completion: SGI bereikt een gemiddelde verbetering van ~4,4% ten opzichte van standaard Scene Graph-methoden, met winsten die oplopen tot 10,3% voor specifieke modellen zoals Intern-VLM 2.
  • Error Detection: SGI verbetert de nauwkeurigheid van foutdetectie met een gemiddelde van 4,1% tot 9,2% afhankelijk van het model.
  • Generalisatie: SGI demonstreert robuustheid op externe datasets, waarbij verbeteringen worden getoond op VQA (Visual Question Answering) taken en de PlanBench (tekst-gebaseerde planning) benchmark, wat suggereert dat de bruikbaarheid van de methode verder reikt dan de specifieke CoSPlan-taken.
• Foutgevoeligheid: De studie toont aan dat VLM's excelleren in foutvrije settings maar significant degraderen wanneer een enkele fout wordt geïntroduceerd. Bovendien dalen de prestaties naarmate het aantal MCQ-opties toeneemt, wat wijst op een afhankelijkheid van optie-bias in plaats van werkelijke redenering.

5. Betekenis en Claims

Het paper claimt dat CoSPlan een kritieke beperking in huidige VLM's blootlegt: hoewel ze mogelijk sterke zero-shot generalisatie bezitten in tekst of statische beeldbegrip, missen ze de coherente meerstaps visuele redenering die vereist is voor real-world besluitvorming waar fouten optreden.

De betekenis van het werk ligt in:

• Realisme: Door fouten te introduceren, bootst CoSPlan realistische implementatiescenario's na (bijv. robotica, autonome navigatie) waarbij agenten moeten herstellen van suboptimale acties, een capaciteit die momenteel ontbreekt in de meeste benchmarks.
• Methodologische Verschuiving: Het succes van SGI suggereert dat het transformeren van visuele redenering naar iteratieve tekstuele redenering (via Scene Graphs) een levensvatbaar pad is om de "long-horizon" redeneergap in VLM's te overbruggen, zonder uitgebreide hertraining te vereisen.
• Diagnostische Waarde: De benchmark dient als een rigoureuze test om onderscheid te maken tussen modellen die louter een eindtoestand "hallucineren" en modellen die daadwerkelijk de causale relaties en beperkingen van een visuele sequentie begrijpen.

De auteurs concluderen dat hoewel SGI de prestaties aanzienlijk verhoogt, de prestaties nabij willekeurig gokken van veel modellen, zelfs met SGI, benadrukt dat het simuleren van visuele stappen een inherent moeilijke uitdaging blijft voor huidige architecturen, wat verdere research naar robuuste visuele redeneermechanismen noodzakelijk maakt.