💻 computer science

DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction

DeepGaze3.5-VL etabliert einen neuen Stand der Technik in der Vorhersage visueller Scanpfade, indem es die Aufgabe als autoregressive Token-Generierung innerhalb eines Vision-Language-Modells neu definiert, was eine flexible Konditionierung auf Betrachteridentitäten und Aufgaben ermöglicht, während gleichzeitig signifikante Leistungssteigerungen erzielt und kontrollierte In-silico-Verhaltenssimulationen erleichtert werden.

Ursprüngliche Autoren: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wohin die Augen eines Menschen als Nächstes blicken werden, wenn er ein Bild sieht. Lange Zeit bauten Wissenschaftler spezielle, starre Maschinen nur für diese Aufgabe. Diese Maschinen hatten feste Regeln (wie „Menschen schauen immer zuerst in die Mitte“) und konnten nicht leicht neue Tricks lernen, wie zum Beispiel „dieser Mensch ist ein Arzt, der nach einer Diagnose sucht“ oder „dieser Mensch ist ein Kind, das nach einem Spielzeug sucht“.

Das Paper stellt ein neues Modell namens DeepGaze3.5-VL vor, das alles verändert. Anstatt eine spezielle Maschine zu bauen, behandeln die Autoren Augenbewegungen wie das Schreiben einer Geschichte.

Hier ist die Aufschlüsselung, wie es funktioniert und was sie herausgefunden haben, unter Verwendung einfacher Analogien:

1. Die Kernidee: Augenbewegungen als eine „Text“-Geschichte

Betrachten Sie den Pfad der Augen eines Menschen (einen sogenannten Scanpath) als einen Satz.

Der alte Weg: Sie bauten einen maßgeschneiderten Roboter, um den Satz zu zeichnen, aber wenn Sie den Stil ändern wollten (z. B. von der Handschrift eines Kindes zu der eines Erwachsenen), mussten Sie den Roboter neu bauen.
Der neue Weg: Die Autoren erkannten, dass Augenbewegungen einfach eine Sequenz von Koordinaten sind (wie „hierhin schauen, dann dorthin schauen“). Sie brachten einer riesigen, vortrainierten KI (einem Large Vision-Language Model) bei, diese Koordinaten wie Wörter in einem Satz zu behandeln.

Indem sie die Augenpositionen in „Tokens“ (ähnlich wie Buchstaben in einem Wort) umwandeln, kann die KI ihr massives Gehirn – das bereits darauf trainiert ist, Bilder und Sprache zu verstehen – nutzen, um das nächste „Wort“ (den nächsten Ort, an den das Auge blicken wird) vorherzusagen.

2. Die „Magie“ des Prompts

Da dieses Modell in Sprache denkt, können Sie ihm Anweisungen geben, genau wie wenn Sie einem Chatbot eine Frage stellen würden.

Die Analogie: Stellen Sie sich einen Reiseführer vor. Wenn Sie dem Reiseführer sagen: „Zeigen Sie mir das Museum wie ein Tourist“, zeigt er mir die berühmten Statuen. Wenn Sie sagen: „Zeigen Sie es mir wie ein Kunsthistoriker“, weist er auf die Pinselstriche hin.
Das Ergebnis: Die Forscher zeigten, dass das Modell allein durch Ändern des Text-Prompts (z. B. „Sage den Blickpfad einer Person voraus, die nach einer Katze sucht“ gegenüber „Sage den Blickpfad einer Person voraus, die nur umherblickt“) sofort reagiert. Es benötigt keine neue Hardware oder komplexe Code-Änderungen; es liest einfach die Anweisung.

3. Warum es besser ist: Die „Smart“ vs. „Big“-Debatte

Die Forscher fragten: Ist dieses Modell nur deshalb gut, weil es riesig ist, oder weil es die Szene tatsächlich versteht?

Der Test: Sie verglichen ihr Modell mit anderen Top-Modellen, die exakt dieselben „Augen“ (Vision Encoder) verwendeten, aber unterschiedliche „Gehirne“ besaßen.
Die Erkenntnis: Das „Gehirn“ (der Sprachteil der KI) ist wichtiger als nur großflächige „Augen“ zu haben. Ein Modell, das die Bedeutung des Bildes und die Geschichte der Augenbewegung versteht, schneidet viel besser ab als ein Modell, das nur Pixel sieht.
Die Punktzahl: In einem Standardtest (MIT1003) verbesserte ihr Modell die Vorhersagegenauigkeit um 46 % im Vergleich zur bisher besten Methode.

4. Das „Zeitreisen“-Experiment (Interventionen)

Eines der coolsten Dinge, die das Paper demonstriert, ist die Fähigkeit, im Computer „Was-wäre-wenn“-Szenarien durchzuführen, ohne echte Menschen zu benötigen.

Die Analogie: Stellen Sie sich ein Videospiel vor, in dem Sie die Zeit anhalten, eine Variable ändern können (wie „der Spieler war müde“) und sofort sehen können, wie sich das Spiel dadurch verändert.
Das Experiment: Die Forscher nahmen einen spezifischen Moment, in dem ein Mensch ein Bild für eine kurze Zeit betrachtete (50 ms), und fragten das Modell: „Was wäre, wenn sie länger geschaut hätte (600 ms)?“
Das Ergebnis: Das Modell sagte voraus, dass kurze Blicke dazu neigen, schnelle, instinktive Blitze zu sein (wie ein Reflex), während lange Blicke zu einem eher wandernden, nachdenklichen Erkunden führen. Das Modell verstand diese komplexen menschlichen Verhaltensweisen rein durch das Lesen der Daten und fungierte so als digitaler Sandkasten für die menschliche Vision.

5. Der „Wer“-Faktor (Personalisierung)

Das Modell kann auch angewiesen werden, wer gerade schaut.

Die Analogie: Wenn Sie wissen, dass Ihr Freund Hunde liebt, und Sie ihm ein Bild eines Parks zeigen, wissen Sie, dass er zuerst auf den Hund schauen wird. Wenn Sie dasselbe Bild jemandem zeigen, der Vögel liebt, wird er auf den Baum schauen.
Das Ergebnis: Durch die Eingabe einer spezifischen „Subject ID“ (wie „Subject A3F8“) lernte das Modell, die einzigartigen Gewohnheiten dieser spezifischen Person vorherzusagen. Es benötigte keine neue Architektur; es lernte einfach, dass verschiedene „Charaktere“ auch unterschiedliche „Handlungsstränge“ haben.

Zusammenfassung

DeepGaze3.5-VL ist eine neue Art, vorherzusagen, wohin Menschen blicken. Anstatt starre, spezialisierte Werkzeuge zu bauen, haben die Autoren das Eye-Tracking in ein Sprachproblem verwandelt. Durch dies erreichten die Autoren ein Modell, das:

Intelligenter ist: Es versteht den Kontext und die Bedeutung der Szene.
Flexibel ist: Man kann sein Verhalten ändern, indem man einfach eine neue Anweisung tippt.
Genauer ist: Es schlägt alle bisherigen Rekorde um eine große Marge.
Experimentell ist: Es ermöglicht Wissenschaftlern, „Was-wäre-wenn“-Szenarien über die menschliche Vision sofort zu simulieren, ohne neue physische Experimente durchführen zu müssen.

Technisches Resümee: DeepGaze3.5-VL

Problemstellung

Die Modellierung der menschlichen visuellen Aufmerksamkeit über die Zeit (Scanpath-Vorhersage) stützte sich historisch auf spezialisierte Architekturen, die handgefertigte geometrische Priors wie eingeschränkte Lévy-Exploration, sakkadische Biases oder inhibitorisches Tagging einbeziehen. Während diese Modelle Fixationssequenzen erfolgreich erfassen, begrenzen ihre starren strukturellen Biases die Erweiterbarkeit und die flexible Konditionierung. Die Integration aufgabenspezifischer Instruktionen oder die Anpassung an unterschiedliche Betrachteridentitäten erforderte traditionell maßgeschneiderte, diskrete architektonische Ergänzungen. Zudem trainieren bestehende generative Ansätze (z. B. Diffusionsmodelle, neuronale Punktprozesse) oft ausschließlich auf Gaze-Daten von Grund auf, ohne die reichhaltigen sequenziellen Priors zu nutzen, die in Foundation Models verfügbar sind. Ein kritisches Flaschenhals bleibt die Evaluierung: Kontinuierliche generative Modelle können keine exakten räumlichen Wahrscheinlichkeitsdichten nativ berechnen, was eine Abhängigkeit von heuristischen Sequenz-Alignment-Metriken (z. B. ScanMatch) anstelle strenger informationstheoretischer Maße erzwingt.

Methodik

Die Autoren schlagen DeepGaze3.5-VL vor, ein Framework, das die Scanpath-Vorhersage rein als Aufgabe der diskreten Sequenzmodellierung mittels Large Vision-Language Models (LVLMs) neu definiert.

Kernformulierung

Autoregressive Token-Vorhersage: Anstatt kontinuierliche Koordinaten zu regredieren, sagt das Modell den Blick als eine Sequenz diskreter Tokens voraus. Räumliche Koordinaten $(x, y)$ werden auf nullaufgefüllte zweistellige Ganzzahlen (00–99) abgebildet, die die prozentuale Position entlang der Bilddimensionen repräsentieren. Dies stellt sicher, dass jede Fixation exakt vier Tokens beiträgt (zwei für $x$ , zwei für $y$ ), was eine einheitliche Token-Länge und einen fairen probabilistischen Vergleich garantiert.
LVLM-Integration: Das System nutzt vortrainierte LVLMs (speziell InternVL3.5-8B), die mittels Low-Rank Adaptation (LoRA) feinabgestimmt wurden. Das Modell kodiert das Eingabebild $I$ und optionale Konditionierungsfaktoren $C$ (z. B. Aufgabenbeschreibungen, Subjekt-IDs) über natürliche Sprachprompts.
Trainingsziel: Das Modell wird mittels Standard-Next-Token-Prediction auf Ground-Truth-Scanpaths trainiert. Die autoregressive Struktur ermöglicht die exakte Berechnung der Log-Likelihood jeder gültigen Fixationssequenz:
$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$

Evaluierungsstrategie

Information Gain (IG): Die Autoren nutzen die autoregressive Ausrichtung, um den exakten Information Gain zu berechnen, der als Verbesserung der Log-Likelihood gegenüber einer Center-Bias-Baseline definiert ist. Im Gegensatz zu kontinuierlichen Modellen erlaubt diese Formulierung die exakte Berechnung räumlicher Wahrscheinlichkeitsdichten ohne Heuristiken.
Effiziente Berechnung: Um vollständige räumliche Verteilungen (z. B. für AUC) über ein $100 \times 100$ Gitter zu berechnen, verwenden die Autoren eine Präfixbaum-Strategie. Durch das Caching von Key-Value-Zuständen bei gemeinsamen Präfixen zerlegen sie die gemeinsame Wahrscheinlichkeit in eine 4-Phasen-Expansion (marginal $x_1$ , konditional $x_2$ , konditional $y_1$ , konditional $y_2$ ), was nur 1.111 Vorwärtsläufe anstelle von 10.000 erfordert. Speziell für IG sind nur 4 Vorwärtsläufe pro Fixation nötig.

Zentrale Beiträge

Formulierung als autoregressive Token-Vorhersage: Durch das Fine-Tuning von LVLMs zur Vorhersage diskreter Koordinaten-Tokens nutzen die Autoren vortrainierte semantische und sequenzielle Priors. Dieser Ansatz erreicht einen State-of-the-Art-Wert von 2,18 Bits Information Gain auf dem MIT1003-Datensatz, was eine Verbesserung um 46 % gegenüber dem passenden Backbone-Modell DeepGaze III darstellt.
Exakte und effiziente Evaluierung: Das Framework nutzt die autoregressive Struktur, um die vollständigen räumlichen gemeinsamen Wahrscheinlichkeiten zu zerlegen, was eine mathematisch exakte und schnelle Berechnung des Information Gain in großem Maßstab ermöglicht und somit ein großes Evaluierungs-Flaschenhals für generative Scanpath-Modelle löst.
Flexible Konditionierung und Generalisierung: Das Modell absorbiert natürlich diverse Variationsfaktoren durch Natural Language Prompting. Es zeigt eine starke Out-of-Distribution-Generalisierung (Leave-One-Dataset-Out) und kann auf Aufgabenobjektive (Free-Viewing vs. Visual Search) oder individuelle Beobachteridentitäten ohne architektonische Änderungen konditioniert werden.
In-silico-Intervention: Das generative Framework dient als Werkzeug für kontrollierte Verhaltensexperimente, das die Simulation kontrafaktischer Szenarien (z. B. Variation der Fixationsdauer) ermöglicht, die experimentell schwer durchzuführen sind.

Ergebnisse

Performance: DeepGaze3.5-VL etabliert neue State-of-the-Art-Leistungen über fünf diverse Datensätze hinweg (MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm). Auf MIT1003 erreicht es 2,18 Bits IG im Vergleich zu 1,49 Bits für DeepGaze III (das mit demselben InternViT-6B Backbone neu trainiert wurde).
Rolle der Repräsentationen: Der Performance-Gewinn resultiert nicht allein aus besseren visuellen Merkmalen. Ein Kontrollexperiment zeigte, dass DeepGaze III mit dem überlegenen InternViT-6B Encoder immer noch hinter dem VLM zurückblieb. Zudem wurde eine starke Korrelation ( $\rho = 0,93$ ) zwischen dem Information Gain und dem MMMU-Benchmark-Score (ein Maß für multimodales Denken) beobachtet, was darauf hindeutet, dass hochgradiges semantisches Verständnis die Qualität der Scanpath-Vorhersage antreibt.
Sequenziell vs. Räumlich: Ablationsstudien zeigen, dass während statische räumliche Salienz frühe Fixationen steuert, sequenzielle Abhängigkeiten (die Historie des spezifischen Beobachters) zu den dominierenden Prädiktoren für spätere Fixationen werden. Das vollständige Modell übertrifft die „historien-invarianten“ und „nur-räumlichen“ Varianten, insbesondere in den späteren Phasen eines Scanpaths.
Konditionierungseffekte:
- Dauer: Die Konditionierung auf die Fixationsdauer verbessert die räumliche Vorhersage, insbesondere für kurze Fixationen (<100 ms), wodurch bekannte okulomotorische Phänomene wie vorprogrammierte Sakkaden rekonstruiert werden.
- Subjekt-Identität: Die Bereitstellung von Subjekt-IDs verbessert den IG um +0,09 Bits/Fixation, was es dem Modell ermöglicht, distinkte räumliche Priors pro Beobachter zu lernen.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Rahmung der Scanpath-Vorhersage als autoregressive Token-Vorhersage die Lücke zwischen spezialisierten Gaze-Modellen und allgemeinen Foundation Models schließt. Die Autoren führen an:

Semantisches Verständnis ist entscheidend: Die Qualität der gelernten multimodalen Repräsentationen (gemessen an Reasoning-Benchmarks) ist ein primärer Treiber der Scanpath-Vorhersage, was die kognitiven Theorien stützt, wonach Top-Down-Aufgabenziele und semantisches Verständnis die visuelle Exploration steuern.
Native Evaluierung: Die autoregressive Formulierung bringt die Scanpath-Vorhersage mit dem nativen Trainingsziel von Foundation Models in Einklang, sodass der Information Gain eine direkte Manifestation des Next-Token-Prediction-Ziels ist, was die Notwendigkeit von Ersatzmetriken eliminiert.
Generative Nützlichkeit: Über die Vorhersage hinaus fungiert das Framework als mächtiges Werkzeug für „In-silico“-Verhaltensinterventionen. Die Autoren demonstrieren, dass das Modell bekannte okulomotorische Phänomene (wie die Modulation der räumlichen Entropie durch die Fixationsdauer) rein aus Datenstatistiken rekonstruieren kann, was kontrollierte Simulationen ohne zusätzliche Datenerhebung ermöglicht.

Die Arbeit legt nahe, dass die starren, handgefertigten Priors früherer Generationen nicht mehr notwendig sind, da die in LVLMs inhärenten sequenziellen und semantischen Priors ausreichen, um komplexe menschliche Gaze-Dynamiken mit größerer Flexibilität und Genauigkeit zu modellieren.