Technische Samenvatting: GazeVLM: Actieve Visie via Interne Aandachtcontrole voor Multimodaal Redeneren

Probleemstelling

Moderne Vision-Language Models (VLM's) lijden aan een fundamenteel onbalans tussen tekstuele generatie en visuele perceptie. Hoewel Chain-of-Thought (CoT) prompting het redeneren in taalmodellen heeft verbeterd, verwerken VLM's visuele informatie passief. Ze vertrouwen op de statische accumulatie van enorme tokencontexten, wat ervoor zorgt dat oorspronkelijke visuele kenmerken progressief ondergewaardeerd worden naarmate autoregressief redeneren uitdijt. Dit leidt tot een overmatige afhankelijkheid van linguïstische priors, wat resulteert in objecthallucinaties en logische drift weg van de ruimtelijke inhoud van de afbeelding.

Bestaande oplossingen proberen dit aan te pakken, maar erven beperkingen van passieve verwerking:

1. Gegrond Redeneren: Dwingt modellen om bokscoördinaten te genereren, maar verandert niet de interne aandachtwichten van de visuele encoder tijdens de generatie.
2. Externe "Inzoomen"-tools: Frameworks zoals V*, Pixel Reasoner en Ground-R1 knippen en hersleutelen expliciet afbeeldingspatches. Hoewel dit effectief is voor detailonttrekking, brengt deze aanpak een aanzienlijke computereconomische straf met zich mee door het vergroten van het contextvenster met duizenden extra visuele tokens en het fragmenteren van de globale ruimtelijke context van het model.

Menselijk visueel redeneren daarentegen vertrouwt op actieve visie: een metacognitief proces waarbij top-down controle dynamisch foveale focus routeert naar taakrelevante details, terwijl tegelijkertijd perifere bewustzijn van het globale tafereel behouden blijft. Huidige VLM's missen dit vermogen om vloeiend over te schakelen tussen globaal bewustzijn en gelokaliseerd focaal redeneren zonder externe agenten.

Methodologie

De auteurs stellen GazeVLM voor, een multimodaal architectuur dat actieve visie direct internaliseert in de redeneerlus van de VLM. In plaats van afbeeldingspatches opnieuw te sleutelen, past GazeVLM top-down controle direct toe op het causale aandachtsmasker van vooraf gesleutelde visuele kenmerken.

Kernarchitectuur en Mechanisme

• Interne Blik-Tokens: Het model genereert autonoom speciale <LOOK>-tokens, geannoteerd met bokscoördinaten (bbox=[x1, y1, x2, y2]) en een sluitende </LOOK>-token.
• Aandachtsturing: Bij het genereren van een <LOOK>-token activeert het model een continue onderdrukkingsbias ($\beta$) die wordt toegepast op de attentielogits van visuele tokens.
  • Plateau-onderdrukking: Tokens die strikt binnen de boks liggen, ontvangen geen straf. Tokens buiten de box ontvangen een onderdrukkingsbias die afneemt volgens een Gaussisch profiel op basis van de Euclidische afstand tot de rand van de box.
  • Logit-modulatie: Deze bias wordt additief ingebracht in de attentiescores ($s$) uitsluitend wanneer de query-token afkomstig is uit de tekst ($1_{text}(q_t) = 1$), zodat de focus van het taalmodel wordt gericht op het foveale gebied, terwijl de interne representaties van het globale tafereel behouden blijven.
• Temporele Accumulatie: Voor meerstapsredenering accumuleert het model niet-onderdrukte receptieve velden over een reeks blikken. De effectieve bias voor elke token is het elementsgewijze maximum over alle historische bliktoestanden, waardoor het model bewijs uit meerdere discrete regio's kan integreren zonder nieuwe tokens aan het contextvenster toe te voegen.
• Redeneerflow: Het model wisselt logisch redeneren (<THINK>) af met actieve visuele navigatie (<LOOK>), en geeft uiteindelijk het antwoord (<ANSWER>) uit.

Trainingsparadigma

GazeVLM maakt gebruik van een tweestaps trainingspijplijn:

1. Warm-start Supervised Fine-Tuning (SFT): Een sterk gecureerde dataset van redeneersporen wordt gesynthetiseerd met behulp van een expertmodel (Qwen3-VL-235B). Deze sporen demonstreren iteratieve, mensachtige scanpatronen. Het model wordt getraind om de <LOOK>/</LOOK>-structuur te volgen en de visuele consequenties van zijn blikcoördinaten te leren.
2. Versterkend Leren (GRPO): Het model wordt verfijnd met Group Relative Policy Optimization (GRPO). Een speciaal ontworpen beloningsfunctie prikkelt:
   • Juistheid: Antwoordnauwkeurigheid.
   • Visuele Navigatie: Geldige geometrische gronding van <LOOK>-boxen.
   • Efficiëntie: Strafpunten voor redundante blikken, excessive overlap tussen boxen en verbaal uitgebreide outputs.

Belangrijkste Bijdragen

1. Gecureerde Blik-Redeneerdataset: Een gespecialiseerde dataset ontworpen om modellen over te laten schakelen van passieve observatie naar actieve, multi-regionale visuele navigatie, gesynthetiseerd om strikte structurele en ruimtelijke gronding af te dwingen.
2. Aandachtsturende Architectuur: Een intern mechanisme dat dynamisch de causale aandachtsmasker van de VLM bias. Dit stelt het model in staat om autonoom de focus te verschuiven van globale weergaven naar lokale details en terug, waarbij foveale fixatie wordt gesimuleerd zonder de computereconomische overhead van opnieuw sleutelen of het toevoegen van visuele tokens.
3. Prestaties met Verminderde Kosten: GazeVLM (4B parameters) bereikt state-of-the-art prestaties in zijn parameterklasse, met name op hoogresolutie benchmarks, terwijl het aanzienlijk minder outputtokens genereert dan agentgebaseerde benaderingen.

Experimentele Resultaten

Geëvalueerd op een reeks benchmarks, waaronder MathVista, MMBench, ChartQA en hoogresolutiedatasets (HRBench-4k, HRBench-8k), toont GazeVLM significante verbeteringen:

• Hoogresolutie Redeneren: Op HRBench-4k scoort GazeVLM 83,4 (+3,9 ten opzichte van de basis Qwen3-VL-4B) en 78,0 op HRBench-8k (+4,4). Het presteert beter dan agentpijplijnen zoals DeepEyes en Ground-R1 met meer dan 5% op deze datasets.
• Algemeen Redeneren: Het bereikt sterke resultaten op MathVista (73,3) en MMBench (89,2), en overtreft andere RL-getrainde VLM's en op SFT gebaseerde redeneermodellen.
• Computereconomische Efficiëntie: In tegenstelling tot externe "inzoomen"-agenten (zoals DeepEyes) die gemiddeld meer dan 1.300 outputtokens per spoor genereren door opnieuw te sleutelen, produceert GazeVLM gemiddeld ~266 tokens op HRBench-4k. Het bereikt superieure nauwkeurigheid (+8,3% ten opzichte van DeepEyes) met ongeveer 5x minder outputtokens.
• Ablatie-insights:
  • Training versus Inference Bias: Verrassend presteert het model het beste tijdens inference wanneer de expliciete wiskundige onderdrukkingsbias uitgeschakeld is. Dit geeft aan dat het top-down routeermechanisme tijdens training succesvol is geïnternaliseerd in de gewichten van het model, en fungeert als een regularisator die het gedrag van het beleid vormt zonder dat de hard-coded masker nodig is op het testmoment.
  • Onderdrukkingssterkte: Een gematigde onderdrukkingssterkte ($\alpha_s = 4$) is voldoende om perifeer ruis te filteren; extreme onderdrukking levert afnemende meeropbrengst op.

Betekenis en Claims

Het artikel claimt dat GazeVLM een paradigmaverschuiving vertegenwoordigt door metacognitieve toezicht direct te internaliseren in de redeneerlus. Door de VLM de macht te geven om autonoom bliktokens te genereren en zijn eigen aandachtsmasker te controleren, bereikt het model een vloeiende overgang tussen globale ruimtelijke bewustzijn en gelokaliseerd focaal redeneren.

De betekenis ligt in het aantonen dat een taalmodel zelfgestuurde controle over zijn visuele verwerking kan worden aangeleerd, wat echoot van de top-down routing van menselijke blik. Deze aanpak elimineert de behoefte aan externe agentische constructies (zoals kniptools) en vermijdt de inflatie van het contextvenster die gepaard gaat met het verwerken van nieuwe visuele patches. De auteurs positioneren dit als een stap richting bredere metacognitieve controle van de eigen berekeningen van een model, waardoor efficiënt, hoogresolutie multimodaal redeneren mogelijk wordt dat zowel nauwkeuriger is als computereconomischer dan huidige state-of-the-art agentpijplijnen.