💻 computer science

DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction

DeepGaze3.5-VL stabilisce un nuovo stato dell'arte nella predizione dei percorsi di scansione visiva riformulando il compito come generazione autoregressiva di token all'interno di un Modello Visione-Linguaggio, consentendo un condizionamento flessibile sulle identità degli osservatori e sui compiti, pur ottenendo guadagni di prestazione significativi e facilitando simulazioni comportamentali in silico controllate.

Autori originali: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Pubblicato 2026-07-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di prevedere dove guarderà un uomo con gli occhi la prossima volta che vede un'immagine. Per molto tempo, gli scienziati hanno costruito macchine speciali e rigide appositamente per questo compito. Queste macchine avevano regole fisse (come "le persone guardano sempre prima al centro") e non potevano essere istruite facilmente a imparare nuovi trucchi, come "questa persona è un medico che cerca una diagnosi" o "questa persona è un bambino che cerca un giocattolo".

Il documento presenta un nuovo modello chiamato DeepGaze3.5-VL che cambia le regole del gioco. Invece di costruire una macchina speciale, gli autori trattano i movimenti oculari come se stessero scrivendo una storia.

Ecco la suddivisione di come funziona e di cosa hanno scoperto, utilizzando analogie semplici:

1. L'idea centrale: I movimenti oculari come una storia "testuale"

Pensa al percorso degli occhi di una persona (chiamato scanpath) come a una frase.

Il vecchio modo: Costruivi un robot personalizzato per scrivere la frase, ma se volevi cambiare lo stile (ad esempio, dalla calligrafia di un bambino a quella di un adulto), dovevi ricostruire il robot.
Il nuovo modo: Gli autori si sono resi conto che i movimenti oculari sono solo una sequenza di coordinate (come "guarda qui, poi guarda lì"). Hanno insegnato a un'IA gigante pre-addestrata (un Large Vision-Language Model) a trattare queste coordinate come parole in una frase.

Trasformando le posizioni oculari in "token" (come le lettere di una parola), l'IA può utilizzare il suo enorme cervello — già addestrato a comprendere immagini e linguaggio — per prevedere la "parola" successiva (il prossimo posto dove l'occhio guarderà).

2. La "Magia" del Prompt

Poiché questo modello pensa in termini di linguaggio, puoi dargli istruzioni proprio come faresti con un chatbot.

L'analogia: Immagina una guida turistica. Se dici alla guida, "Mostrami il museo come un turista", lei ti mostrerà le statue famose. Se dici, "Mostramelo come un esperto d'arte", lei indicherà le pennellate.
Il risultato: I ricercatori hanno dimostrato che, semplicemente cambiando il prompt testuale (ad esempio, "Prevedi lo sguardo di una persona che cerca un gatto" rispetto a "Prevedi lo sguardo di una persona che guarda semplicemente intorno"), il modello si adatta istantaneamente. Non ha bisogno di nuovo hardware o di complessi cambiamenti al codice; legge semplicemente l'istruzione.

3. Perché è meglio: Il dibattito "Intelligente" vs "Grande"

I ricercatori si sono chiesti: Questo modello è bravo solo perché è enorme, o perché comprende davvero la scena?

Il test: Hanno confrontato il loro modello con altri modelli all'avanguardia che utilizzavano esattamente gli stessi "occhi" (encoder visivo) ma con "cervelli" diversi.
La scoperta: Il "cervello" (la parte linguistica dell'IA) conta più di avere semplicemente "occhi" più grandi. Un modello che comprende il significato dell'immagine e la storia del movimento oculare ottiene prestazioni molto migliori rispetto a un modello che vede solo pixel.
Il punteggio: In un test standard (MIT1003), il loro modello ha migliorato l'accuratezza della previsione del 46% rispetto al precedente miglior metodo.

4. L'esperimento della "Macchina del Tempo" (Interventi)

Una delle cose più interessanti che il documento dimostra è la capacità di eseguire scenari "cosa succederebbe se" (what-if) all'interno del computer, senza bisogno di esseri umani reali.

L'analogia: Immagina un videogioco in cui puoi mettere in pausa il tempo, cambiare una variabile (come "il giocatore era stanco") e vedere istantaneamente come cambiano le cose.
L'esperimento: I ricercatori hanno preso un momento specifico in cui un essere umano ha guardato un'immagine per un breve periodo (50 ms) e hanno chiesto al modello: "E se avesse guardato per un tempo lungo (600 ms) invece?".
Il risultato: Il modello ha previsto che gli sguardi brevi tendono a essere rapidi, istintivi (come un riflesso), mentre gli sguardi lunghi portano a un'esplorazione più erratica e riflessiva. Il modello ha compreso questi complessi comportamenti umani puramente leggendo i dati, agendo come un sandbox digitale per la visione umana.

5. Il fattore "Chi" (Personalizzazione)

Il modello può anche essere istruito su chi sta guardando.

L'analogia: Se sai che il tuo amico ama i cani, e gli mostri l'immagine di un parco, sai che guarderà prima il cane. Se mostri la stessa immagine a qualcuno che ama gli uccelli, guarderà l'albero.
Il risultato: Alimentando il modello con un "Subject ID" specifico (come "Subject A3F8"), ha imparato a prevedere le abitudini uniche di quella specifica persona. Non aveva bisogno di una nuova architettura; ha solo imparato che diversi "personaggi" hanno diverse "storie".

Riassunto

DeepGaze3.5-VL è un nuovo modo per prevedere dove guardano gli esseri umani. Invece di costruire strumenti rigidi e specializzati, gli autori hanno trasformato l'eye-tracking in un problema di linguaggio. Facendo questo, hanno creato un modello che è:

Più intelligente: Comprende il contesto e il significato della scena.
Flessibile: Puoi cambiare il suo comportamento semplicemente digitando una nuova istruzione.
Accurato: Supera tutti i record precedenti con un ampio margine.
Sperimentale: Permette di simulare istantaneamente scenari "cosa succederebbe se" riguardanti la visione umana, senza dover eseguire nuovi esperimenti fisici.

Sintesi Tecnica: DeepGaze3.5-VL

Definizione del Problema

La modellazione dell'attenzione visiva umana nel tempo (predizione del scanpath) si è storicamente basata su architetture specializzate che incorporano prior geometrici progettati a mano, come l'esplorazione di Lévy vincolata, i bias saccadici o il tagging inibitorio. Sebbene questi modelli catturino con successo le sequenze di fissazione, i loro rigidi bias strutturali ne limitano l'estensibilità e la flessibilità di condizionamento. L'integrazione di istruzioni specifiche per il compito o l'adattamento a diverse identità di osservatori richiede tradizionalmente aggiunte architettoniche custom e disgiunte. Inoltre, gli approcci generativi esistenti (ad esempio, modelli di diffusione, processi puntiformi neurali) spesso vengono addestrati da zero solo sui dati di sguardo, non riuscendo a sfruttare i ricchi prior sequenziali disponibili nei modelli di fondazione. Un collo di bottiglia critico rimane nella valutazione: i modelli generativi continui non possono calcolare nativamente densità di probabilità spaziale esatte, costringendo al ricorso a metriche di allineamento di sequenza euristiche (come ScanMatch) piuttosto che a rigorose misure informazione-teoretiche.

Metodologia

Gli autori propongono DeepGaze3.5-VL, un framework che inquadra la predizione del scanpath puramente come un compito di modellazione di sequenze discrete utilizzando Large Vision-Language Models (LVLMs).

Formulazione Core

Predizione Autoregressiva di Token: Invece di regredire coordinate continue, il modello predice lo sguardo come una sequenza di token discreti. Le coordinate spaziali $(x, y)$ sono mappate in interi a due cifre con padding di zeri (00–99) che rappresentano posizioni percentuali lungo le dimensioni dell'immagine. Ciò garantisce che ogni fissazione contribuisca esattamente con quattro token (due per $x$ , due per $y$ ), garantendo una lunghezza di token uniforme e un confronto probabilistico equo.
Integrazione LVLM: Il sistema utilizza LVLM pre-addestrati (specificamente InternVL3.5-8B) perfezionati tramite Low-Rank Adaptation (LoRA). Il modello codifica l'immagine di input $I$ e i fattori di condizionamento opzionali $C$ (ad esempio, descrizioni del compito, ID del soggetto) tramite prompt in linguaggio naturale.
Obiettivo di Addestramento: Il modello è addestrato tramite la classica predizione del next-token su scanpath reali (ground-truth). La struttura autoregressiva permette il calcolo esatto della log-verosimiglianza di qualsiasi sequenza di fissazione valida:
$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$

Strategia di Valutazione

Guadagno di Informazione (IG): Gli autori sfruttano l'allineamento autoregressivo per calcolare l'esatto Guadagno di Informazione, definito come il miglioramento della log-verossimiglianza rispetto a un baseline di bias centrale. A differenza dei modelli continui, questa formulazione consente il calcolo esatto delle densità di probabilità spaziale senza ricorrere a euristiche.
Calcolo Efficiente: Per calcolare le distribuzioni spaziali complete (ad esempio, per l'AUC) attraverso una griglia $100 \times 100$ , gli autori impiegano una strategia ad albero di prefisso (prefix tree). Utilizzando la cache degli stati Key-Value per i prefissi condivisi, decompongono la probabilità congiunta in un'espansione a 4 fasi (marginale $x_1$ , condizionale $x_2$ , condizionale $y_1$ , condizionale $y_2$ ), richiedendo solo 1.111 passaggi in avanti invece di 10.000. Per l'IG specificamente, sono necessari solo 4 passaggi in avanti per ogni fissazione.

Contributi Chiave

Formulazione come Predizione Autoregressiva di Token: Perfezionando gli LVLM per predire token di coordinate discrete, gli autori sfruttano i prior semantici e sequenziali pre-addestrati. Questo approccio raggiunge uno stato dell'arte di 2,18 bit di Guadagno di Informazione sul dataset MIT1003, un miglioramento del 46% rispetto al baseline DeepGaze III con backbone corrispondente.
Valutazione Esatta ed Efficiente: Il framework sfrutta la struttura autoregressiva per decomporre le probabilità congiunte spaziali complete, consentendo il calcolo rapido ed esatto del Guadagno di Informazione su larga scala, risolvendo un importante collo di bottiglia nella valutazione dei modelli generativi di scanpath.
Condizionamento Flessibile e Generalizzazione: Il modello assorbe naturalmente diversi fattori di variazione attraverso il prompting in linguaggio naturale. Dimostra una forte generalizzazione fuori distribuzione (Leave-One-Dataset-Out) e può essere condizionato su obiettivi di compito (visione libera vs. ricerca visiva) o identità di osservatori individuali senza cambiamenti architettonici.
Intervento In-silico: Il framework generativo funge da strumento computazionale per interventi comportamentali controllati, permettendo la simulazione di scenari controfattuali (ad esempio, variare la durata delle fissazioni) che sono difficili da condurre sperimentalmente.

Risultati

Performance: DeepGaze3.5-VL stabilisce nuove prestazioni allo stato dell'arte attraverso cinque dataset diversificati (MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm). Su MIT1003, raggiunge 2,18 bit di IG rispetto ai 1,49 bit di DeepGaze III (riaddestrato con lo stesso backbone InternViT-6B).
Ruolo delle Rappresentazioni: Il guadagno di performance non è dovuto esclusivamente a migliori caratteristiche visive. Un esperimento di controllo ha mostrato che DeepGaze III con il superiore encoder InternViT-6B sottoperforma ancora rispetto al VLM. Inoltre, è stata osservata una forte correlazione ( $\rho = 0,93$ ) tra il Guadagno di Informazione e il punteggio del benchmark MMMU (una misura del ragionamento multimodale), suggerendo che la comprensione semantica di alto livello guidi la qualità della predizione del scanpath.
Sequenziale vs. Spaziale: Gli studi di ablazione rivelano che mentre la salienza spaziale statica guida le prime fissazioni, le dipendenze sequenziali (la storia del particolare osservatore) diventano il predittore dominante per le fissazioni successive. Il modello completo supera le varianti "invarianti rispetto alla storia" e "solo spaziali", particolarmente nelle fasi avanzate di un scanpath.
Effetti di Condizionamento:
- Durata: Il condizionamento sulla durata della fissazione migliora la predizione spaziale, in particolare per le fissazioni brevi (<100 ms), recuperando fenomeni oculomotori noti come le saccadi pre-programmate.
- Identità del Soggetto: Fornire gli ID dei soggetti migliora l'IG di +0,09 bit/fissazione, permettendo al modello di apprendere distinti prior spaziali per ogni osservatore.

Significato e Rivendicazioni

Il paper sostiene che inquadrare la predizione del scanpath come predizione autoregressiva di token colmi il divario tra la modellazione del gaze specializzata e i modelli di fondazione generali. Gli autori affermano che:

La Comprensione Semantica è la Chiave: La qualità delle rappresentazioni multimodali apprese (misurate tramite benchmark di ragionamento) è un driver primario della predizione del scanpath, a supporto delle teorie cognitive secondo cui gli obiettivi di compito top-down e la comprensione semantica guidano l'esplorazione visiva.
Valutazione Nativa: La formulazione autoregressiva allinea la predizione del scanpath con l'obiettivo di addestramento nativo dei modelli di fondazione, permettendo al Guadagno di Informazione di essere una manifestazione diretta dell'obiettivo di predizione del next-token, eliminando la necessità di metriche surrogate.
Utilità Generativa: Oltre alla predizione, il framework agisce come un potente strumento per interventi comportamentali "in-silico". Gli autori dimostrano che il modello può recuperare fenomeni oculomotori noti (come la modulazione dell'entropia spaziale dalla durata della fissazione) puramente dai dati statistici, consentendo simulazioni controllate senza ulteriori raccolta dati.

Il lavoro suggerisce che i rigidi prior progettati a mano delle generazioni precedenti non sono più necessari, poiché i prior sequenziali e semantici intrinseci negli LVLM sono sufficienti per modellare complessi dinamismi del gaze umano con maggiore flessibilità e accuratezza.