TraceVision: Trajectory-Aware Vision-Language Model for Human-Like Spatial Understanding

TraceVision introduceert een baanbrekend vision-language model dat menselijke visuele aandachtstrajectories integreert via een Trajectory-aware Visual Perception-module en een drie-fasen trainingspipeline, waardoor het state-of-the-art prestaties bereikt in ruimtelijk begrip, trajectvoorspelling en interpreteerbare beeldanalyse.

De kern

Stel je voor dat je naar een foto kijkt en iemand vraagt: "Wat zie je?" Een gewone computer ziet de hele foto als één grote, vage vlek. Hij zegt misschien: "Ik zie een voetbalwedstrijd." Maar hij weet niet precies waar je naar kijkt of in welke volgorde je je ogen hebt bewogen.

TraceVision is een slimme nieuwe computer die doet alsof hij een mens is. Het kijkt niet alleen naar de foto, maar begrijpt ook hoe je met je ogen over de foto hebt glijden.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Wazige" Camera

Stel je voor dat je een foto van een drukke markt bekijkt. Een gewone AI kijkt er als een vliegende drone boven: hij ziet alles tegelijk, maar mist de details. Hij ziet "een markt", maar hij ziet niet dat je eerst naar de fruitkraam keek, toen naar de man met de hoed, en toen naar de hond.

Mensen doen dit anders. Onze ogen bewegen als een dans of een stippenlijn. We scannen, stoppen even bij iets interessants, en bewegen dan verder. Bestaande computers kunnen die dans niet volgen. Ze raken vaak afgeleid door de verkeerde dingen.

2. De Oplossing: TraceVision (De "Oogvolger")

TraceVision is als een slimme gids die naast je staat. Hij heeft een speciaal apparaatje dat precies ziet waar je vinger of oog over de foto beweegt.

• De "Dans" van de ogen: TraceVision ziet de lijn die je oog trekt niet als een saaie reeks cijfers, maar als een verhaal. Hij denkt: "Ah, deze lijn gaat van de boom naar de vogel, dus de vogel is belangrijk!"
• De Schaar (Geometrische Vereenvoudiging): Menselijke oogbewegingen zijn vaak onrustig en vol kleine trillingen (net als als je met een trillende hand tekent). TraceVision gebruikt een slimme "schaaar" die de onnodige trillingen weghaalt, maar de belangrijke bochten en hoeken behoudt. Het is alsof je een rommelig krabbel-lijntje omzet in een strakke, duidelijke route op een kaart.

3. Hoe Het Werkt: De Twee-Weg Snelweg

In de paper wordt een module beschreven die "TVP" heet. Je kunt dit zien als een twee-weg snelweg tussen twee vrienden:

1. De Foto-Vriend: Zegt: "Hier is een rode auto."
2. De Oog-Lijn-Vriend: Zegt: "Ik heb net naar die plek gekeken!"

Normaal praten deze twee niet goed met elkaar. TraceVision zorgt ervoor dat ze constant met elkaar communiceren. De oog-lijn helpt de foto-vriend om te focussen op de juiste plek, en de foto helpt de oog-lijn om te begrijpen wat er eigenlijk te zien is. Het is alsof ze samen een puzzel oplossen in plaats van elk hun eigen ding te doen.

4. De Leermeester: De "RILN" Dataset

Om deze computer slim te maken, hebben de onderzoekers een enorme hoeveelheid oefenmateriaal gemaakt, genaamd RILN.

• Stel je voor dat je een kind leert lezen. Je geeft het niet alleen woorden, maar je wijst ook met je vinger naar de letters terwijl je voorleest.
• TraceVision heeft duizenden voorbeelden gekregen waar een mens naar een foto kijkt, met een vinger die over het scherm glijdt, en tegelijkertijd vertelt wat hij ziet.
• De computer heeft hierdoor geleerd: "Als de lijn hierheen gaat, moet ik praten over dit object."

5. Wat Kan Het Nu?

TraceVision is niet alleen slim in het kijken, maar ook in het doen:

• Het kan beschrijven: "Kijk naar deze lijn," zegt jij, en de computer beschrijft precies wat er op die lijn te zien is.
• Het kan tekenen: "Beschrijf deze auto," zegt jij, en de computer tekent een lijn over de auto om aan te geven waar hij naar keek.
• Het kan knippen: Het kan precies het stukje van de foto "uitsnijden" (segmenteren) waar jij naar keek, alsof het een schaar is die precies langs de oogbeweging loopt.

Samenvattend

TraceVision is als het geven van ogen en een vinger aan een computer. In plaats van alleen naar een foto te staren, begrijpt het de reis die je ogen hebben gemaakt. Hierdoor praat het niet alleen over "wat" er te zien is, maar ook over "waar" en "hoe" je het hebt bekeken, precies zoals een mens dat doet.

Het maakt computers niet alleen slimmer, maar ook begrijpelijker, omdat we nu precies kunnen zien waar ze naar kijken en waarom ze dat zeggen.

Technische samenvatting

Probleemstelling

Huidige Large Vision-Language Models (LVLMs) hebben indrukwekkende prestaties geleverd in beeldbegrip en het genereren van natuurlijke taal. Echter, deze modellen vertonen aanzienlijke beperkingen in het modelleren van ruimtelijke aandacht. Ze focussen vaak op globale beeldkenmerken en missen de nuance van menselijke visuele aandachtstrajectoria. Mensen sturen hun visuele aandacht natuurlijk via vingerbewegingen of oogbewegingen (trajecten) om complexe visuele inhoud te begrijpen. Bestaande methoden voor regionaal begrip vertrouwen vaak op statische, discrete elementen zoals bounding boxes of maskers, wat de continuïteit en temporele dynamiek van menselijke aandacht niet kan modelleren. Dit leidt tot een gebrek aan vermogen om de interactie tussen continue ruimtelijke aandacht en linguïstische expressies te begrijpen, evenals een tekort aan datasets met rijke traject-tekst uitlijning.

Methodologie: TraceVision

TraceVision is een unificerend, end-to-end vision-language model dat menselijke aandachtstrajecten direct interpreteert en voorspelt. Het model behandelt trajecten als fijngestippelde, temporeel gestructureerde records van menselijke intentie.

1. Architectuur en Kernmodules:

• Trajectory-aware Visual Perception (TVP) Module: Dit is het hart van het model. De TVP-module voert een bidirectionele fusie uit tussen visuele kenmerken en trajectinformatie via kruisende aandacht (cross-attention).
  • Trajectory-Aware Visual Enhancement: Visuele kenmerken worden verrijkt met trajectgidsing.
  • Visually-Informed Trajectory Refinement: Verbeterde visuele kenmerken verfijnen de trajectrepresentaties.
  • Deze wederzijdse versterking zorgt voor precieze lokalisatie terwijl de globale context behouden blijft.
• Geometrische Vereenvoudiging (Geometric Simplification): Ruwe menselijke trajecten bevatten veel ruis en redundantie. TraceVision gebruikt een semantisch geleide variant van het Douglas-Peucker-algoritme. In plaats van uniforme steekproeven, past het algoritme de tolerantie aan op basis van de semantische belangrijkheid van de onderliggende tekst (bijv. cruciale objectbeschrijvingen behouden meer geometrische details, terwijl minder belangrijke secties agressiever worden vereenvoudigd). Dit reduceert het aantal punten met ~91% (van 410 naar 37) zonder de ruimtelijke structuur te verliezen.
• Tokenisatie: De vereenvoudigde coördinaten worden genormaliseerd en omgezet in discrete tokens die compatibel zijn met de vocabulaire van het taalmodel.

2. Uitbreidingen:

• Video Begrip: Het model verwerkt meerdere frames als input, wat coherente beschrijvingen van lange videosequenties en cross-frame tracking mogelijk maakt.
• Segmentatie: Een lichtgewicht segmentatiedecoder (gebaseerd op een codebook van 6 leerbare embeddings) wordt geïntegreerd. Wanneer het model een [SEG]-token genereert, worden pixel-level maskers gegenereerd op basis van de trajectgebaseerde ruimtelijke priors.

3. Dataset: RILN (Reasoning-based Interactive Localized Narratives):
Om het model te trainen in complex redeneren, hebben de auteurs de RILN-dataset geconstrueerd (320.000 samples). Deze dataset is gebaseerd op bestaande bronnen (zoals COCO Localized Narratives) maar verrijkt met:

• Hiërarchisch Redeneren: Taken variëren van globaal scene-begrip tot fijnmazige object-locatie.
• Interactieve Q&A: Multi-turn dialogen waarbij trajecten worden gebruikt om vragen te beantwoorden of omgekeerd.
• Generatie: Geautomatiseerde generatie van instructies en antwoorden met behulp van geavanceerde VLMs (GPT-4o, Qwen2.5VL, Gemini-2.5 Pro) om diverse redeneerpatronen te creëren.

4. Trainingsstrategie:
Een drie-fasen curriculum learning aanpak:

1. Pre-training: Focus op de uitlijning van trajecten, beelden en taal (alleen TVP en traject-embeddings worden getraind).
2. End-to-End Joint Training: Alle parameters worden ontvroren en samen getraind voor optimale multimodale fusie.
3. Instruction Fine-tuning: Training op de RILN-dataset voor complex redeneren en instructie-opvolging.

Belangrijkste Bijdragen

1. TraceVision: Het eerste end-to-end LVLM dat menselijke aandachtstrajecten modelleert voor bidirectionele traject-taalbegrip.
2. TVP Module & Geometrische Vereenvoudiging: Een innovatieve architectuur die onregelmatige trajecten effectief fuseert met visuele kenmerken voor precieze ruimtelijke redenering.
3. RILN Dataset: Een nieuwe, grote dataset (320k samples) die logisch redeneren en interactief ruimtelijk begrip mogelijk maakt, wat een gat vult in bestaande datasets.
4. State-of-the-Art Prestaties: Het bewijzen dat trajectgebaseerde aanpakken superieur zijn aan statische methoden voor diverse taken.

Resultaten

TraceVision heeft uitgebreide experimenten ondergaan op diverse benchmarks:

• Traject-geleide Captioning & Voorspelling: TraceVision behaalt de beste resultaten (SOTA) op de Localized Narratives dataset voor het genereren van beschrijvingen op basis van trajecten en het voorspellen van trajecten op basis van tekst (gemeten met BLEU, METEOR, CIDEr en LBM scores).
• Regionale Captioning: Op benchmarks zoals RefCOCOg, Visual Genome en Ref-L4 overtreft het bestaande modellen (zoals Ferret, PAM, VP-SPHINX) op METEOR en CIDER scores.
• Referentiële Lokalisatie & Segmentatie: Het model bereikt SOTA prestaties op RefCOCO (bounding box) en RefCOCOg/RefCOCO+ (segmentatie met cIoU), zelfs met een zeer lichte decoder (12M parameters) in vergelijking met zware decoders zoals SAM of Mask2Former.
• Video Begrip: Op HC-STVG en VideoRefer-Bench-D behaalt het de hoogste scores, wat aantoont dat het model temporele dynamiek effectief kan verwerken.
• Ablatie Studies: De studies bevestigen dat de bidirectionele TVP-module, de vaste trainingsvolgorde en de RILN-dataset cruciaal zijn voor de prestaties (bijv. +23% verbetering in ruimtelijk redeneren ten opzichte van baselines zonder RILN).

Significantie

TraceVision markeert een paradigmaverschuiving in visueel-taalmodellen door menselijke visuele aandacht expliciet te integreren als een eerste-class input.

• Interpreteerbaarheid: Door trajecten te gebruiken, wordt het model "interpreteerbaarder" omdat het laat zien waar en in welke volgorde het kijkt om tot een conclusie te komen.
• Mens-Computer Interactie: Het legt de basis voor meer intuïtieve interactie, waarbij gebruikers kunnen wijzen (of een traject kunnen tekenen) om specifieke objecten te benoemen of te segmenteren, wat dichter bij natuurlijke menselijke communicatie ligt.
• Toepassingen: De technologie is relevant voor domeinen zoals autonoom rijden (voorspellen van bestuurdersblik), virtuele realiteit, en geavanceerde beeldanalyse waar contextuele en temporele aandacht essentieel is.

Kortom, TraceVision lost het probleem op van statische ruimtelijke beperkingen in LVLMs door de continuïteit en dynamiek van menselijke waarneming te omarmen, wat leidt tot robuustere en menselijker visuele intelligentie.