Technische Samenvatting: VLM's traceren zonder tracking: Diagnose van fouten bij visueel padvolgen

Probleemstelling

Hoewel Vision-Language Models (VLM's) sterke prestaties laten zien op brede multimodale benchmarks, ontbreekt het hen vaak aan robuuste controle over basisvisuele bewerkingen. Dit artikel onderzoekt specifiek padtracering: het vermogen van een model om een geselecteerd visueel pad te volgen door middel van opeenvolgende lokale voortzettingen. De auteurs betogen dat huidige VLM's moeite hebben de identiteit van een geselecteerd pad te behouden wanneer er nabije concurrerende alternatieven aanwezig zijn, zelfs in situaties zonder complexe topologische kenmerken zoals kruisingen of semantische ambiguïteiten. Deze fout is onderscheidend van algemene tekortkomingen in ruimtelijk redeneren; het is een specifiek onvermogen om de aandacht vast te houden op een continue structuur tegen lokale visuele afleidingen.

Methodologie

De studie hanteert een gecontroleerde diagnostische aanpak om het traceringmechanisme te isoleren van verstorende factoren zoals semantische shortcuts, afhankelijkheden op lange afstand en complexe topologie.

1. Gecontroleerde Traceringstaken

De auteurs ontwierpen twee primaire taken om externe moeilijkheden weg te nemen:

• Gewijzigde Kringverbindingstaak: Gebaseerd op eerdere werken over gladde visuele zoekopdrachten, verwijdert deze taak draadkruisingen en overlappingen. Modellen moeten een specifieke draad traceren van een startpoort naar een component, waarbij een reeks gekleurde stippen die langs de draad zijn geplaatst, worden gerapporteerd. Dit isoleert het vermogen om een enkel pad te volgen in een omgeving met meerdere draden.
• Swirl-taak: Een abstracte dataset bestaande uit een enkel spiraalvormig pad met acht uniek gekleurde stippen. De taak varieert in rotatiedichtheid (Laag, Gemiddeld, Hoog) om de nabijheid van aangrenzende bochten te controleren. Dit elimineert domeinspecifieke aannames (zoals kringpoorten) en richt zich puur op de moeilijkheid om de juiste lokale voortzetting te onderscheiden van een visueel vergelijkbare aangrenzende bocht.

2. Diagnostische Interventies

Om het mechanisme van de fout te bepalen, voerden de auteurs diverse analyses uit:

• Stresstests voor lokale gelijkenis: In de Swirl-taak construeerden ze condities waarbij nabije afleidingen varieerden in structurele gelijkenis met het doelpad (bijvoorbeeld "Gedeeld segment" versus "Helemaal anders").
• Causale masking: Ze pasten occlusiemaskers toe op specifieke gebieden (de afleiding, het doelpad of willekeurige pleisters) om te testen of het verwijderen van het concurrerende signaal de prestaties herstelt.
• Analyse van interne representaties: Met behulp van open-source modellen (Qwen3-VL en InternVL3.5) maten ze:
  • Aandachtsvoorkeur: Of de aandacht van het model vanaf de huidige positie de ware volgende stip verkiest boven een afleiding.
  • Representatievoorkeur: Of de verborgen toestand van de huidige positie in de inbeddingsruimte geometrisch dichter bij de ware voortzetting ligt dan bij de afleiding.
• Evaluatie van remedieën: Het artikel testte standaard mitigeringsstrategieën:
  • Modelvergroting: Evaluatie van modellen van verschillende groottes (2B tot 235B parameters) binnen de Qwen3-VL-familie.
  • Redeneren: Testen van modellen met redeneervermogen om te zien of stap-voor-stap overweging de tracering verbetert.
  • Expliciete instructies: Het verstrekken van prompts die expliciet verbieden om op basis van nabijheid te selecteren en het volgen van lijnen voorschrijven.

3. Generalisatietests

Om te verifiëren dat fouten geen artefacten zijn van synthetische data, evalueerden de auteurs modellen op:

• HANDLOOM-dataset: Traceren van verwarde kabels met zelf-overlappingen en kruisingen.
• Metrokaarten: Traceren van routes op vervoerskaarten met dichte labels en kruisende lijnen.

Belangrijkste Resultaten

1. Systematische Fouten bij Padwisseling

Zelfs state-of-the-art VLM's (waaronder Claude Sonnet 4.5, GPT-5.4 en Gemini3-Flash) falen aanzienlijk op deze taken.

• Kringtaak: Claude Sonnet 4.5 behaalde slechts 6,2% nauwkeurigheid. De dominante foutmodus (90–98% van de fouten) was een sprong naar een aangrenzende draad, waarbij het model correct begint maar overschakelt naar een nabije draad.
• Swirl-taak: De prestaties verslechteren scherp met toenemende rotatiedichtheid. Bij hoge dichtheid daalt GPT-5.4 naar ongeveer 20%, en Claude Sonnet 4.5 en Qwen3-VL-235B bereiken 0%. De dominante fout is een sprong naar een aangrenzende bocht.

2. Mechanisme: Lokale Competitie

De fouten worden gedreven door lokale visuele competitie, niet door willekeurige ruis of globale redeneergrenzen.

• Gevoeligheid voor gelijkenis: De nauwkeurigheid daalt significant alleen wanneer de afleiding lokale structuur deelt (bijvoorbeeld een parallel segment) met het doelpad. Wanneer de gelijkenis wordt verwijderd, herstellen de prestaties zich.
• Causaal bewijs: Het maskeren van het afleidingsgebied verhoogt de nauwkeurigheid met ongeveer 13,5 punten, terwijl het maskeren van het doelpad de prestaties vernietigt. Dit bevestigt dat de afleiding het model actief van koers trekt.
• Drift in interne toestand: Interne analyses tonen aan dat, naarmate de lokale gelijkenis toeneemt, de aandacht van het model en de verborgen representaties verschuiven van de ware voortzetting naar de afleiding. In condities met "Gedeeld segment" ligt de interne toestand vaak dichter bij de afleiding dan bij het ware pad.

3. Doeltreffendheid van Standaard Remedieën

• Schaalvergroting: Het vergroten van de modelgrootte (tot 235B parameters) levert slechts marginale winsten op, die afnemen onder hogere moeilijkheidsgraden.
• Redeneren: Modellen met redeneervermogen voeren geen echte visuele tracering uit. In plaats daarvan vertrouwen ze op heuristische vervangers (bijvoorbeeld "ringdecompositie" of "hoekmatige matching") om de reeks te raden. Hoewel dit soms de nauwkeurigheid verbetert, gaat dit gepaard met enorme tokenkosten (duizenden tokens voor een eenvoudige trace) en elimineert het niet de fouten bij sprongen naar aangrenzende elementen (die 71–84% van de fouten blijven uitmaken).
• Instructies: Het expliciet instrueren van modellen om de lijn te volgen en nabijheid te negeren verlaagt de nauwkeurigheid bij alle modellen, wat suggereert dat huidige architecturen niet simpelweg via prompts naar betrouwbare tracering kunnen worden gestuurd.

4. Persistentie in de Wereld

Dezelfde fout bij padwisseling blijft bestaan in complexe, realistische omgevingen zoals verwarde kabels en metrokaarten. Modellen schakelen frequent over naar nabije kabels of stations, en redeneertraces tonen vaak dat modellen routes reconstrueren op basis van globale aanwijzingen in plaats van lokale verificatie.

Betekenis en Claims

Het artikel stelt dat robuste visuele tracering onder lokale competitie een fundamentele, onopgeloste bottleneck is in huidige VLM-architecturen.

• Diagnostische waarde: De auteurs stellen voor dat lijntracering dient als een concreet, meetbaar diagnosemiddel voor het vermogen om een verbonden visuele structuur te behouden.
• Architecturale beperking: De fout is niet te wijten aan een gebrek aan redeneervermogen of trainingsdatagrootte, maar eerder aan een gebrek aan toegewijde mechanismen om padidentiteit te behouden tegen lokale afleidingen. Huidige modellen lijken te vertrouwen op taalkundige aannames of grove statistieken in plaats van echte, stap-voor-stap visuele voortzetting.
• Praktische noodzaak: Aangezien VLM's worden ingezet in toepassingen die betrouwbare padvolging vereisen (bijvoorbeeld het lezen van vervoerskaarten, het volgen van vervormbare objecten, het analyseren van flowcharts), is het aanpakken van deze specifieke foutmodus een praktische noodzaak, niet slechts een theoretische zorg.

De auteurs concluderen dat toekomstig onderzoek zich moet richten op het ontwikkelen van mechanismen die het geselecteerde pad kunnen behouden over opeenvolgende voortzettingen, aangezien huidige architecturen dit niet betrouwbaar doen, zelfs wanneer de taak is ontdaan van alle andere complexiteiten.