Visual Planning: Let's Think Only with Images

Dit paper introduceert Visual Planning, een nieuw paradigma waarbij redenering plaatsvindt via sequenties van afbeeldingen in plaats van tekst, wat door middel van een versterkingsleerframework (VPRL) leidt tot aanzienlijke verbeteringen in visuele navigatietaken.

De kern

🧠 Het Grote Idee: "Denk met je ogen, niet met je mond"

Stel je voor dat je een ingewikkeld labyrint moet doorlopen.

• De oude manier (wat AI nu meestal doet): Je kijkt naar de kaart, beschrijft de muren en paden in woorden ("ik ga drie stappen naar rechts, dan een links..."), en probeert dan in je hoofd een route te bedenken op basis van die tekst. Het is alsof je een film probeert te regisseren door alleen de scripttekst te lezen, zonder de beelden te zien. Dit werkt vaak niet goed, vooral bij ruimtelijke puzzels.
• De nieuwe manier (Visual Planning): Je kijkt naar de kaart en tekent direct de route op een vel papier. Je denkt niet in zinnen, maar in beelden. Je ziet het volgende vakje, dan het volgende, en zo ontstaat er een visuele route.

De onderzoekers van dit paper (uit Cambridge en Google) zeggen: "Waarom moeten we voor visuele taken altijd eerst alles in tekst omzetten? Laten we gewoon denken in plaatjes."

---

🎨 De Analogie: De Schilder versus de Verteller

Om dit te begrijpen, kun je twee soorten kunstenaars voorstellen:

1. De Verteller (De huidige AI): Deze kunstenaar moet een schilderij van een storm beschrijven. Hij schrijft een lang verhaal: "De wind waait hard, de bomen buigen..." Maar als hij moet voorspellen hoe een tak precies breekt, raakt hij in de war. Hij probeert de fysica van de wereld te vertalen naar woorden, en dat gaat vaak mis.
2. De Schilder (De nieuwe AI): Deze kunstenaar pakt zijn penseel en schildert direct het volgende moment. Hij ziet de tak buigen en schildert hem gebroken. Hij hoeft niet na te denken over de woorden "buigen" of "breken"; hij ziet het gebeuren en maakt het na.

Dit paper introduceert een AI die werkt als De Schilder. In plaats van een tekstueel antwoord te geven ("ga naar links"), genereert de AI een reeks nieuwe plaatjes die laten zien hoe de situatie verandert.

---

🚀 Hoe werkt het? (De "Visual Planning" methode)

De onderzoekers hebben een nieuwe manier bedacht om deze "Schilder-AI" slim te maken, genaamd VPRL (Visual Planning via Reinforcement Learning).

Stel je voor dat je een kind leert lopen in een donkere kamer:

1. Stap 1: Het Leren van de Vorm (Supervised Fine-Tuning):
   Eerst laat je het kind een paar keer zien hoe het moet lopen. Je houdt zijn hand vast en leidt hem langs de juiste weg. Dit is de basis, maar het kind leert alleen de vaste route na te bootsen. Als de kamer anders wordt, weet het kind niet wat het moet doen.

2. Stap 2: De Leermeester met Prikken (Reinforcement Learning):
   Nu laat je het kind zelf proberen.

   • Als het kind tegen een muur loopt (een fout), krijgt het een "prik" (een negatieve score).
   • Als het kind een stap dichter bij de uitgang komt (een goede stap), krijgt het een "koekje" (een positieve score).
   • Als het kind op de juiste plek blijft staan (geen vooruitgang), krijgt het niets.

   Door duizenden keren te proberen en te leren van de "prikken" en "koekjes", leert het kind niet alleen de weg, maar ook hoe het moet denken in de ruimte. Het ontwikkelt een gevoel voor wat wel en niet werkt, zonder dat iemand het in woorden uitlegt.

---

🏆 Wat hebben ze ontdekt?

Ze hebben deze nieuwe AI getest op drie soorten puzzels:

1. FrozenLake: Een ijsbaan met gaten waar je niet in mag vallen.
2. Maze: Een doolhof.
3. Mini-Behavior: Een robot die een printer moet oppakken en op een tafel moet zetten.

De resultaten waren verrassend:

• De AI die alleen in plaatjes dacht (Visual Planning), was veel slimmer dan de AI die alleen in tekst dacht.
• De "tekst-AI" maakte vaak fouten omdat het de ruimte niet goed kon "voelen" door de vertaling naar woorden. Het was alsof iemand probeert een auto te besturen door alleen naar de handleiding te lezen in plaats van naar de weg te kijken.
• De "plaatjes-AI" kon zelfs beter omgaan met moeilijkere situaties (grotere doolhoven) en maakte veel minder fouten.

---

💡 Waarom is dit belangrijk?

Vroeger dachten we dat AI slim moest zijn door te praten (zoals wij mensen). Maar dit onderzoek laat zien dat voor taken die te maken hebben met ruimte, beweging en visuele logica, praten juist een rem kan zijn.

Het is alsof je een dansstap probeert uit te leggen in woorden ("linkervoet naar voren, dan rechterarm omhoog") versus het gewoon voordoen. Voor complexe ruimtelijke taken is het "voordoen" (denken in plaatjes) veel natuurlijker en effectiever.

Kort samengevat:
Deze AI is als een visuele dromer die de toekomst in beelden ziet, in plaats van een verteller die de toekomst in zinnen probeert te beschrijven. En voor het oplossen van puzzels en het navigeren door de wereld, werkt dat beeldend denken gewoon beter!

Technische samenvatting

Probleemstelling

Recente vooruitgangen in Large Language Models (LLMs) en Multimodal Large Language Models (MLLMs) hebben de redeneercapaciteiten van machines aanzienlijk verbeterd. Echter, deze modellen vertrouwen bijna uitsluitend op tekst als medium om redenering te structureren en uit te drukken, zelfs wanneer visuele informatie beschikbaar is.

De auteurs stellen dat taal niet altijd de meest natuurlijke of effectieve modus is voor redenering, vooral bij taken die zwaar leunen op ruimtelijke en geometrische informatie (zoals het plannen van een route door een doolhof). Het vertalen van visuele informatie naar tekst voordat er geredeneerd wordt, introduceert een modale kloof (modality gap). Deze vertaalslag kan leiden tot inaccuracies in het vastleggen van visuele kenmerken en staatsovergangen, wat de prestaties beperkt bij "vision-first" taken. Bestaande methoden zoals "Visual Chain-of-Thought" gebruiken vaak tekst als hoofdredenering met visuele hulpmiddelen als bijlage, maar redeneren niet puur in beelden.

Methodologie: Visual Planning via Reinforcement Learning (VPRL)

Het paper introduceert een nieuw paradigma genaamd Visual Planning, waarbij plannen wordt uitgevoerd via een reeks beelden in plaats van tekst. Het doel is om een model te laten "denken" en plannen puur binnen de visuele modus, zonder taalintermediair.

De kern van de aanpak is VPRL (Visual Planning via Reinforcement Learning), een tweestaps trainingsframework dat is gebaseerd op GRPO (Group Relative Policy Optimization). Het gebruikte model is een Large Vision Model (LVM) dat uitsluitend is getraind op afbeeldingen en videoframes, zonder enige blootstelling aan tekstdata, om de invloed van taal volledig te elimineren.

De twee fasen van VPRL:

1. Fase 1: Policy Initialisatie (Supervised Fine-Tuning):

   • Het model wordt geïnitieerd met willekeurige trajecten (random walks) in de omgeving.
   • Doel: Het model leren om geldige sequenties van visuele staten te genereren en een exploratiecapaciteit te behouden in een gesimuleerde omgeving.
   • Het model leert hierbij de format van de output (beeld-naar-beeld) en voorkomt overfitting op specifieke overgangen door stochastische sampling.

2. Fase 2: Reinforcement Learning (GRPO):

   • Het model genereert een groep van $G$ kandidaat-antwoorden (volgende visuele staten) voor een gegeven prefix.
   • Beloning (Reward): Een geavanceerde beloningsfunctie evalueert of de gegenereerde visuele staat betekenisvolle vooruitgang boekt naar het doel.
     • Dynamische Interpreter: Parseert de overgang tussen staten om geldige acties te identificeren (bijv. beweging, pick, drop) en detecteert ongeldige acties (bijv. door muren lopen).
     • Progress Estimator: Berekent de afstand tot het doel.
     • Beloningsstructuur:
       • Optimale acties (verkleinen afstand): +1
       • Geldige maar niet-optimale acties: 0
       • Ongeldige acties (schending van constraints): -5
   • GRPO: In plaats van een critic-model te gebruiken, berekent GRPO relatieve voordelen binnen de groep van gegenereerde antwoorden. Het beleid wordt geüpdatet om antwoorden met een hoger voordeel te maximaliseren.

Belangrijkste Bijdragen

1. Nieuw Redeneerparadigma: Het introduceren van "Visual Planning", het eerste onderzoek dat aantoont dat modellen plannen kunnen uitvoeren puur via visuele representaties, zonder tekstuele tussenkomst.
2. VPRL Framework: Een innovatief tweestaps trainingsframework dat Reinforcement Learning toepast op sequentiële beeldgeneratie voor planning, aangedreven door GRPO.
3. Empirisch Bewijs: Het aantonen dat visuele planning significant beter presteert dan traditionele tekstuele redeneermethoden in ruimtelijke planningstaken, met name in termen van generalisatie naar onbekende scenario's.

Resultaten

De methode is geëvalueerd op drie visuele navigatietaken: FROZENLAKE, MAZE en MINIBEHAVIOR.

• Prestaties: VPRL overtreft alle andere methoden, inclusief tekstuele Chain-of-Thought (CoT) en Supervised Fine-Tuning (SFT) op tekstuele modellen.
  • VPRL bereikte een gemiddelde Exact Match (EM) van 80,6% over alle taken, vergeleken met 53,6% voor tekstuele SFT en slechts 12,8% voor tekstuele CoT bij open-source modellen.
  • Er is een verbetering van ongeveer 27% in EM ten opzichte van tekstuele baselines.
• Generalisatie: VPRL toont een sterkere generalisatie naar Out-of-Distribution (OOD) scenario's (bijv. grotere roosters) dan SFT-methoden. Terwijl de prestaties van tekstuele modellen (zoals Gemini 2.5 Pro) sterk dalen naarmate de complexiteit toeneemt, behoudt VPRL een hoge nauwkeurigheid.
• Validiteit: VPRL reduceert het percentage mislukte trajecten veroorzaakt door ongeldige acties aanzienlijk (van ~70% bij VPFT naar ~30% bij VPRL), wat aantoont dat het model effectief leert binnen de geldige actieruimte te blijven.
• Exploratie: De initiële fase met willekeurige trajecten is cruciaal; zonder deze fase (direct starten met SFT) daalt de entropie van het model snel, wat leidt tot beperkte exploratie en falend RL.

Betekenis en Conclusie

Dit werk toont aan dat taal niet de enige of zelfs niet de beste weg is voor redenering in visueel gedomineerde taken. Door direct te plannen in de visuele modus, omzeilt het model de inefficiënties en fouten die ontstaan bij het vertalen van visuele ruimtelijke relaties naar tekst.

De studie opent nieuwe wegen voor multimodale AI, waarbij systemen kunnen leren om intuïtief en direct te redeneren via beelden, vergelijkbaar met hoe mensen schetsen of visueel plannen. Dit heeft grote implicaties voor toepassingen zoals robotica, navigatie en visuele probleemoplossing, waar snelle en accurate ruimtelijke redenering essentieel is. De code is beschikbaar gemaakt voor reproduceerbaarheid.