From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning

Probleemstelling

Multimodale Large Language Models (MLLMs) presteren indrukwekkend op veel visuele taken, maar er bestaat twijfel over hoe ze deze taken oplossen. De centrale vraag is of modellen werkelijk ruimtelijk plannen (zoals mensen doen door visueel een pad te traceren) of dat ze de oplossing vinden door brute-force zoektochten in de token-ruimte. Bestaande benchmarks meten vaak alleen de nauwkeurigheid, wat misleidend kan zijn als het model de juiste uitkomst bereikt via een fundamenteel inefficiënte en niet-menselijke strategie.

Methodologie: MAZEBENCH

De auteurs introduceren MAZEBENCH, een nieuwe benchmark specifiek ontworpen om visuele ruimtelijke redenering te isoleren van andere vaardigheden.

• Dataset: De benchmark bestaat uit 110 procedurally gegenereerde mazen in pixel-art stijl, verdeeld over negen gecontroleerde groepen. Deze variëren in:
  • Grootte: Van 5×5 tot 20×20 (ultra-hard).
  • Complexiteit: Variatie in muurdichtheid (0–55%), valstrikken (traps), en randmuren.
  • Diagnostische groepen: Groepen om visuele parsing (herkenning van het raster) te scheiden van redenering (bijv. onbereikbare mazen, diagnostische lege mazen).
• Taakdefinitie: Het model moet een JSON-objct retourneren met de exacte kortste route (U/D/L/R), de lengte ervan, en of het doel bereikbaar is. Geen gedeeltelijke punten; de route moet exact overeenkomen met de ground truth (berekend via BFS).
• Experimentele Opzet:
  • Modellen: 16 configuraties van OpenAI (GPT-5.4), Anthropic (Claude Opus/Sonnet/Haiku), Google (Gemini 3.1 Pro/Flash) en Alibaba (Qwen 3.5).
  • Controlevariabelen: De auteurs variëren systematisch de "redeneringsinspanning" (reasoning effort/budget) en meten het totale tokenverbruik per oplossing.
  • Ablatie-studies: Specifiek voor Claude-modellen werd een test uitgevoerd waarbij de invoer niet een afbeelding was, maar het correcte tekstuele raster (grid), om te zien of de fout in visuele extractie of in het redeneren zit.

Belangrijkste Resultaten

1. Hoge Nauwkeurigheid verbergt Brute-Force Strategieën:

   • Modellen zoals GPT-5.4 (91% succes) en Gemini 3.1 Pro (79%) lijken goed te presteren, maar ze lossen mazen niet op door visuele planning. Ze vertalen de afbeelding eerst naar een tekstgrid en enumereren vervolgens paden stap-voor-stap in natuurlijke taal (essentieel: een BFS-algoritme uitgevoerd in tekst).
   • Dit proces is extreem inefficiënt: GPT-5.4 verbruikt gemiddeld 1.710 tokens per oplossing, terwijl Gemini 3 Flash er 15.171 voor nodig heeft. Mensen doen dit in seconden zonder deliberatie.

2. Redeneringsbudget vs. Prestaties:

   • Zonder extra redeneringsbudget ("no thinking") scoren alle modellen slecht (2–12%).
   • Bij GPT-5.4 leidt een verhoging van het redeneringsbudget tot een enorme stijging (van 12% naar 85% en 91%), wat aantoont dat ze de oplossing vinden door simpelweg meer tokens te "brute-forcen" in plaats van door slimme ruimtelijke heuristieken.
   • Op de "Ultra-Hard" mazen (20×20) falen de modellen omdat ze de tokenlimiet bereiken voordat ze het pad hebben gevonden, zelfs als het pad bestaat.

3. Visuele Extractie is de Bottleneck (specifiek bij Claude):

   • Een cruciale bevinding is dat Claude-modellen (Opus, Sonnet, Haiku) vaak het raster zelf verkeerd interpreteren (verkeerde afmetingen, muren op de verkeerde plek).
   • Ablatie-resultaat: Wanneer Claude Sonnet 4.6 het correcte tekstgrid krijgt in plaats van de afbeelding, stijgt de score van 6% naar 80%. Dit bewijst dat hun redeneringsengine (de zoektocht) concurrerend is, maar dat hun visuele extractie faalt. Ze zoeken brute-force op een "hallucinerend" raster.

4. Modelgrootte garandeert geen ruimtelijk redeneren:

   • De grootste Claude-modellen (Opus) presteren even slecht als de kleinste (Haiku) op deze taak. Ruimtelijk plannen blijkt geen emergente eigenschap van schaal te zijn binnen deze architecturen.

5. Prompting werkt niet:

   • Zelfs wanneer modellen expliciet worden gevraagd geen tekstgrid te maken en visueel te redeneren, vallen ze terug op hun standaardstrategie van grid-constructie en enumeratie. Ze negeren de instructie stilzwijgend als ze de taak niet op de gevraagde manier kunnen oplossen.

Bijdragen

• MAZEBENCH: Een gestandaardiseerde benchmark die niet alleen "of" een model een taak oplost, maar "hoe" het dat doet, door token-efficiëntie en redeneringsstrategie te meten.
• Inzicht in "BFS in Prose": Het paper onthult dat hoge scores op visuele plannings taken vaak het resultaat zijn van een twee-staps strategie: (1) Image-to-Grid vertaling en (2) seriële pad-enumeratie in tokens, in plaats van echte ruimtelijke perceptie.
• Kritiek op huidige evaluaties: Het toont aan dat benchmark-scores misleidend kunnen zijn; een model kan 90% scoren terwijl het fundamenteel een andere, veel duurdere cognitieve strategie gebruikt dan bedoeld.

Significantie en Conclusie

De conclusie is dat hoge nauwkeurigheid op visuele plannings taken niet impliceert menselijk-achtig ruimtelijk begrip. Modellen lossen mazen op door pixels om te zetten in tekst en vervolgens in die tekstruimte te zoeken, wat computatierijk en kwetsbaar is voor schaal (tokenlimieten).

Dit heeft grote implicaties voor de evaluatie van multimodale AI:

• Scores alleen zijn onvoldoende; men moet kijken naar de strategie, efficiëntie (tokens per oplossing) en foutmodi.
• De "zwakte" van sommige modellen (zoals Claude) ligt vaak in de visuele encoder (parsing), niet per se in de redeneringslogica.
• De "sterkte" van andere modellen (zoals GPT/Gemini) is vaak een betere visuele extractie gecombineerd met brute-force zoektochten, niet noodzakelijk echte visuele intelligentie.

Het paper pleit voor een verschuiving in evaluatiemethoden die verder gaan dan alleen correctheid, en die inzicht geven in de onderliggende cognitieve mechanismen van multimodale modellen.