TraversalBench: Challenging Paths to Follow for Vision Language Models

Probleemstelling

Vision-Language Models (VLMs) presteren over het algemeen sterk op veel multimodale benchmarks. Echter, hun vermogen om complexe visuele paden te volgen – een taak die voor menselijke waarnemers vaak intuïtief is – blijft onderbelicht en blijkt breekbaar. Bestaande evaluaties verwarren vaak verschillende bronnen van moeilijkheid, zoals OCR (tekstherkenning), semantische interpretatie, domeinkennis en routeplanning. Dit maakt het lastig om te bepalen of een model faalt door een gebrek aan visuele gronding (visual grounding) of door andere factoren.

De kernvraag is niet alleen of VLMs paden kunnen traceren, maar specifiek waarom en waar ze falen. Bestaande modellen lijken moeite te hebben met het behouden van visuele gronding bij ambigue situaties, zoals kruisingen of verstoringen door afleidende lijnen.

Methodologie: TraversalBench

De auteurs introduceren TRAVERSALBENCH, een gecontroleerde benchmark voor exact visueel padtracering. Het doel is om het vermogen van modellen om een visuele structuur trouw te volgen, te isoleren van andere vaardigheden.

Ontwerp en Dataset:

• Taak: Het model moet een enkel, continu polylijn-pad volgen, beginnend bij een uniek startmarker, en de exacte volgorde van de markers (glyphs) langs de vertexen reproduceren.
• Beperkingen: De taak is ontworpen om afhankelijkheid van OCR, wereldkennis en open-ended planning te minimaliseren. De output is strikt een lijst van markers.
• Gecontroleerde Complexiteitsfactoren: De dataset varieert systematisch vier interpreteerbare factoren om de moeilijkheidsgraad te bepalen:
  1. Zelfkruisingen (Self-intersections): Het aantal keren dat het pad zichzelf kruist.
  2. Tortuositeit (Tortuosity): De mate van kronkelen van het pad.
  3. Aantal vertexen (Vertex count): De lengte/complexiteit van het pad in termen van knooppunten.
  4. Verwarrende lijnen (Confounding lines): Nabijgelegen, niet-doelwit lijnen die als afleiding dienen zonder het doelwitpad te veranderen.
• Generatie: De dataset wordt gegenereerd met een "render-aware" aanpak, waarbij geometrische constraints (zoals segmentlengte en afstand tussen glyphen) worden toegepast om te voorkomen dat de moeilijkheid wordt veroorzaakt door rendering-artefacten in plaats van de padstructuur.

Experimentele Opstelling:
Zes verschillende VLMs werden geëvalueerd, variërend van sterke propriëtaire modellen (bijv. Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.6) tot open-weight en lichtere modellen (Qwen3-VL 32B, Gemini Flash Lite). De evaluatie gebruikte twee metrieken:

• Exact Match (EM): De volledige voorspelde sequentie moet exact overeenkomen met de ground truth.
• Token-level Accuracy (TokAcc): De nauwkeurigheid per positie in de sequentie.

Belangrijkste Resultaten

1. Zelfkruisingen zijn de dominante bron van fouten:

   • De prestaties dalen scherp naarmate het aantal zelfkruisingen toeneemt.
   • Locale Bottleneck: Een analyse van de "eerste kruising" toont aan dat fouten sterk gelokaliseerd zijn. Modellen presteren vaak goed direct voor de kruising, maar de nauwkeurigheid daalt abrupt op het moment dat ze de juiste voortzetting moeten kiezen. Dit suggereert dat modellen het pad kunnen volgen tot een punt van visuele ambiguïteit, maar dan vastlopen.
   • Sterke modellen vertonen een "lokaal afgronden" (cliff) op kruispunten, terwijl zwakkere modellen een grotere daling zien gevolgd door een blijvende drift.

2. Verwarrende lijnen veroorzaken cumulatieve interferentie:

   • In tegenstelling tot kruisingen, die een lokale bottleneck vormen, veroorzaken nabijgelegen afleidende lijnen een bredere, persistentere degradatie van de prestaties.
   • Deze negatieve invloed cumuleert: hoe meer afleidingen een model tegenkomt, hoe lager de token-nauwkeurigheid wordt. Dit wijst op een probleem met het behouden van focus in een rommelige omgeving.

3. Leesvolgorde-bias:

   • Een auxiliary benchmark toonde aan dat modellen een voorkeur hebben voor paden die overeenkomen met een links-naar-rechts serialisatie (zoals lezen). Echter, deze bias verklaart niet de hoofd-effecten van padcomplexiteit; kruisingen blijven de grootste uitdaging.

4. Redeneringsbudget (Reasoning Budget):

   • Het verhogen van het interne redeneerbudget (bijv. via "thinking" tokens) helpt niet altijd. Hoewel het soms de nauwkeurigheid verbetert op specifieke moeilijke voorbeelden, leidt het vaak tot een lagere "answer rate" (het model geeft geen antwoord).
   • Interessant is dat een model met minder redeneerbudget (Gemini 3.1 Pro low) soms beter presteerde dan de auto-redenerende versie, wat suggereert dat meer intern redeneren niet automatisch leidt tot betere visuele gronding en soms zelfs inefficiënt is.

Belangrijkste Bijdragen

• Introductie van TRAVERSALBENCH: Een nieuwe, gecontroleerde benchmark die specifiek gericht is op het testen van "path-faithful" visueel redeneren zonder storende factoren zoals OCR of domeinkennis.
• Decoupling van Complexiteitsfactoren: Het paper isoleert en kwantificeert het effect van vier specifieke factoren (kruisingen, kronkelen, lengte, afleiding), waardoor duidelijk wordt dat kruisingen de grootste uitdaging vormen.
• Diagnostische Inzichten: Het paper identificeert dat VLM-falen bij padtracering vaak niet een volledig gebrek aan vermogen is, maar een instabiliteit bij lokale ambigue punten (kruisingen) en een gebrek aan het herankeren van de visuele gronding tijdens sequentiële generatie.

Significantie en Conclusie

De studie toont aan dat zelfs de sterkste huidige VLMs nog ver verwijderd zijn van het perfect volgen van visuele paden, vooral in omgevingen met veel kruisingen en afleiding. De resultaten suggereren dat het probleem niet alleen een kwestie is van "tunnelvisie" (het niet kunnen zoeken), maar eerder een gebrek aan sustained visual grounding (het vermogen om de visuele context actief vast te houden terwijl er sequentieel wordt nagedacht).

Dit heeft belangrijke implicaties voor de ontwikkeling van toekomstige modellen:

• Het verhogen van het redeneerbudget alleen is geen oplossing.
• Er is waarschijnlijk behoefte aan meer trainingsdata die specifiek gericht is op het behouden van visuele gronding over lange sequenties.
• Architecturale veranderingen die de aandacht voor visuele tokens tijdens generatie verbeteren, kunnen noodzakelijk zijn.

TRAVERSALBENCH dient als een essentieel diagnostisch hulpmiddel om de voortgang van VLMs in ruimtelijk redeneren en het omgaan met visuele ambiguïteit en rommel (clutter) te meten.