Technische Samenvatting: DeepGaze3.5-VL

Probleemstelling

Het modelleren van menselijke visuele aandacht over tijd (scanpath-voorspelling) heeft historisch gezien vertrouwd op gespecialiseerde architecturen die gebruikmaken van handmatig ontworkte geometrische priors, zoals beperkte Lévy-exploratie, saccadische biases of inhiberende tagging. Hoewel deze modellen fixatiesequenties succesvol vastleggen, beperken hun rigide structurele biases de uitbreidbaarheid en flexibele conditionering. Het integreren van taakspecifieke instructies of het aanpassen aan verschillende kijkeridentiteiten vereist traditioneel aangepaste, afzonderlijke architecturale toevoegingen. Bovendien trainen bestaande generatieve benaderingen (bijv. diffusiemodellen, neurale puntprocessen) vaak vanaf nul op enkel gaze-data, waardoor ze niet profiteren van de rijke sequentiële priors die beschikbaar zijn in foundation models. Een kritieke bottleneck blijft de evaluatie: continue generatieve modellen kunnen niet van nature exacte ruimtelijke waarschijnlijkheidsdichtheden berekenen, wat dwingt tot het vertrouwen op heuristische sequentie-uitlijningsmetrieken (zoals ScanMatch) in plaats van strikte informatie-theoretische maten.

Methodologie

De auteurs stellen DeepGaze3.5-VL voor, een framework dat scanpath-voorspelling puur herformuleert als een discrete sequentiemodelleringstaak met behulp van Large Vision-Language Models (LVLMs).

Kernformulering

• Autoregressieve Token-voorspelling: In plaats van continue coördinaten te regresseren, voorspelt het model de gaze als een sequentie van discrete tokens. Ruimtelijke coördinaten $(x, y)$ worden in kaart gebracht naar zero-padded tweecijferige gehele getallen (00–99) die procentuele posities langs de beelddimensies vertegenwoordigen. Dit zorgt ervoor dat elke fixatie precies vier tokens bijdraagt (twee voor $x$, twee voor $y$), wat een uniforme tokenlengte en eerlijke probabilistische vergelijking garandeert.
• LVLM Integratie: Het systeem maakt gebruik van vooraf getrainde LVLMs (specifiek InternVL3.5-8B) die via Low-Rank Adaptation (LoRA) zijn gefinetuned. Het model codeert de invoerafbeelding $I$ en optionele conditioneringsfactoren $C$ (bijv. taakbeschrijvingen, subject-ID's) via natuurlijke taalprompts.
• Trainingsdoel: Het model wordt getraind via standaard next-token prediction op ground-truth scanpaths. De autoregressieve structuur maakt de exacte berekening van de log-likelihood van elke geldige fixatiesequentie mogelijk:
  $$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$$

Evaluatiestrategie

• Information Gain (IG): De auteurs maken gebruik van de autoregressieve uitlijning om exacte Information Gain te berekenen, gedefinieerd als de verbetering in log-likelihood ten opzichte van een center-bias baseline. In tegenstelling tot continue modellen, maakt deze formulering de exacte berekening van ruimtelijke waarschijnlijkheidsdichtheden mogelijk zonder heuristieken.
• Efficiënte Berekening: Om volledige ruimtelijke distributies (bijv. voor AUC) over een $100 \times 100$ grid te berekenen, gebruiken de auteurs een prefix tree strategie. Door Key-Value states bij gedeelde prefixes te cachen, decomponeren zij de gezamenlijke waarschijnlijkheid in een 4-fase expansie (marginale $x_1$, conditionele $x_2$, conditionele $y_1$, conditionele $y_2$), wat slechts 1.111 forward passes vereist in plaats van 10.000. Voor IG specifiek zijn slechts 4 forward passes per fixatie nodig.

Belangrijkste Bijdragen

1. Formulering als Autoregressieve Token-voorspelling: Door LVLMs te finetunen om discrete coördinaat-tokens te voorspellen, maken de auteurs gebruik van vooraf getrainde semantische en sequentiële priors. Deze aanpak bereikt een state-of-the-art 2.18 bits aan Information Gain op de MIT1003 dataset, een verbetering van 46% ten opzien van de gematchte-backbone DeepGaze III baseline.
2. Exacte en Efficiënte Evaluatie: Het framework exploiteert de autoregressieve structuur om volledige ruimtelijke gezamenlijke waarschijnlijkheden te decomponeren, wat een exacte en snelle Information Gain berekening op schaal mogelijk maakt, waarmee een belangrijke evaluatiebottleneck voor generatieve scanpathmodellen wordt opgelost.
3. Flexibele Conditionering en Generalisatie: Het model absorbeert op natuurlijke wijze diverse variatiefactoren via natuurlijke taalprompting. Het vertoont sterke out-of-distribution generalisatie (Leave-One-Dataset-Out) en kan worden geconditioneerd op taakdoelen (free-viewing versus visual search) of individuele waarnemeridentiteiten zonder architecturale wijzigingen.
4. In-silico Interventie: Het generatieve framework dient als een computationeel instrument voor gecontroleerde gedragsinterventies, waardoor scenario's (bijv. variërende fixatieduur) gesimuleerd kunnen worden die moeilijk experimenteel uit te voeren zijn.

Resultaten

• Prestaties: DeepGaze3.5-VL vestigt nieuwe state-of-the-art prestaties over vijf diverse datasets (MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm). Op MIT1003 bereikt het 2.18 bits IG vergeleken met 1.49 bits voor DeepGaze III (opnieuw getraind met dezelfde InternViT-6B backbone).
• Rol van Representaties: De prestatiewinst is niet uitsluitend toe te schrijven aan betere visuele kenmerken. Een controle-experiment toonde aan dat DeepGaze III met de superieure InternViT-6B encoder nog steeds onderpresteerde ten opzien van de VLM. Bovendien werd een sterke correlatie ($\rho = 0.93$) waargenomen tussen Information Gain en de MMMU benchmark score (een maatstaf voor multimodale redenering), wat suggereert dat hoogwaardig semantisch begrip de kwaliteit van de scanpath-voorspelling drijft.
• Sequentieel versus Ruimtelijk: Ablatie-studies onthullen dat hoewel statische ruimtelijke saliency vroege fixaties aanstuurt, sequentiële afhankelijkheden (de geschiedenis van de specifieke waarnemer) de dominante voorspeller worden voor latere fixaties. Het volledige model presteert beter dan "geschiedenis-invariante" en "alleen-ruimtelijke" varianten, met name in de latere stadia van een scanpath.
• Conditioneringseffecten:
  • Duur: Conditionering op fixatieduur verbetert de ruimtelijke voorspelling, met name voor korte fixaties (<100 ms), waarbij bekende oculomotorische fenomenen zoals geprogrammeerde saccades worden hersteld.
  • Subject Identiteit: Het verstrekken van subject-ID's verbetert de IG met +0.09 bits/fixatie, waardoor het model onderscheidende ruimtelijke priors per waarnemer kan leren.

Betekenis en Claims

Het artikel claimt dat het formuleren van scanpath-voorspelling als autoregressieve token-voorspelling de kloof overbrugt tussen gespecialiseerde gaze-modellering en algemene foundation models. De auteurs stellen dat:

• Semantisch Begrip Cruciaal is: De kwaliteit van geleerde multimodale representaties (gemeten via redeneerbenchmarks) is een primaire drijfveer voor scanpath-voorspelling, wat cognitieve theorieën ondersteunt dat top-down taakdoelen en semantisch begrip de visuele exploratie aansturen.
• Natieve Evaluatie: De autoregressieve formulering brengt scanpath-voorspelling in lijn met het natuurlijke trainingsdoel van foundation models, waardoor Information Gain een directe manifestatie wordt van het next-token prediction doel, wat de noodzaak voor surrogaatmetrieken elimineert.
• Generatieve Nut: Naast voorspelling fungeert het framework als een krachtig instrument voor "in-silico" gedragsinterventies. De auteurs demonstreren dat het model bekende oculomotorische fenomenen (zoals de modulatie van ruimtelijke entropie door fixatieduur) louter uit datastatistieken kan herstellen, wat gecontroleerde simulaties mogelijk maakt zonder extra dataverzameling.

Het werk suggereert dat de rigide, handmatig ontworkte priors van eerdere generaties niet langer noodzakelijk zijn, aangezien de sequentiële en semantische priors inherent aan LVLMs voldoende zijn om complexe menselijke gaze-dynamica met grotere flexibiliteit en nauwkeurigheid te modelleren.