💻 computer science

Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention

Dit artikel introduceert Gazette, een nieuw raamwerk dat multimodale grote taalmodellen en synthetische "think-aloud" transcripten gebruikt om menselijke blikscanpaden te decoderen naar vrije, natuurlijke taalbeschrijvingen van doelen, waarbij verder wordt gegaan dan traditionele categorische decodering om de open einde nuances van menselijke intenties te vangen.

Oorspronkelijke auteurs: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

Gepubliceerd 2026-07-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je ogen als de lichtstraal van een zaklamp in een donkere kamer zijn. Wanneer je naar iets kijkt, blijft die lichtstraal niet zomaar stilstaan; hij schiet alle kanten op en landt voor fracties van een seconde op verschillende plekken. Dit patroon van beweging wordt een "scanpad" genoemd. Lange tijd hebben wetenschappers geprobeerd te achterhalen wat je denkt, simpelweg door te kijken waar je lichtstraal landt. Meestal hebben ze dit behandeld als een meerkeuzetoets. Ze zouden vragen: "Zoekt de persoon naar een kat of een hond?" en de computer zou één antwoord kiezen uit een vaste lijst. Maar menselijke gedachten zijn rommelig en creatief. Soms ben je niet alleen op zoek naar een "hond"; je bent op zoek naar "de pluizige gouden retriever met een rode bandana die achter de bank verstopt zit." De oude manier van vragen was te simpel om dat soort detail te vangen. Hier komt een nieuw veld genaamd "gaze decoding" (blikdecodering) kijken, dat probeert die oogbewegingen te vertalen naar de rijke, open eindige verhalen die zich in ons hoofd afspelen.

Maak kennis met een nieuw onderzoeksrapport dat een slimme nieuwe manier introduceert om dit puzzelstukje op te lossen. De auteurs, werkzaam aan de Stony Brook University en de Adelaide University, hebben een systeem gebouwd genaamd Gazette. In plaats van de computer te dwingen om uit een meerkeuzelijst te kiezen, is Gazette ontworend om een vrij vormelijk verhaal te schrijven over waar een persoon naar kijkt, gebruikmakend van natuurlijke taal net zoals een mens dat zou doen. Beschouw het als een upgrade van een rigide checklist naar een creatieve schrijver die precies kan beschrijven wat je ziet.

Het grote probleem waar de onderzoekers tegenaan liepen, was dat ieders ogen net even anders bewegen, zelfs wanneer ze naar hetzelfde kijken. Als tien mensen de opdracht krijgen om een "rode auto" te vinden, kijken tien verschillende mensen misschien op tien verschillende manieren naar de auto. Sommigen kijken eerst naar de wielen, anderen naar de ramen. Als je een computer slechts de oogbewegingen van één persoon laat zien, raakt hij in de war door al die persoonlijke gewoonten. Het is also Mant het raden van een liedje door te luisteren naar één persoon die het vals neuriet; je hoort misschien de melodie, maar het lawaai maakt het moeilijk om zeker te zijn.

Om dit op te lossen, bedacht het team een slimme truc met een "think-aloud" (hardop denken) strategie. Ze realiseerden zich dat hoewel ieders oogbewegingen uniek zijn, de reden waarom ze bewegen hetzelfde is. Daarom gebruikten ze een krachtige AI (GPT-4) om naar de oogbewegingen van veel verschillende mensen te kijken die allemaal probeerden hetzelfde object te vinden. De AI fungeerde als een detective die de individuele eigenaardigheden negeerde en het gemeenschappelijke patroon vond—het "geheime recept" voor hoe mensen naar dat specifieke ding zoeken. De AI schreef vervolgens een "think-aloud transcript", wat in feep basis een verhaal is dat de strategie uitlegt: "Kijk eerst naar de grote vormen, zoom dan in op de rode delen."

Ze leerden hun nieuwe model, Gazette, om deze door AI gegenereerde verhalen samen met de oogbewegingen te lezen. Dit hielp het model om te leren het onderscheid te maken tussen het "doel" (waar de persoon naar op zoek is) en de "ruis" (de unieke manier van die persoon om te kijken). Toen ze het testten, was Gazette veel beter in het raden van het doel dan eerdere methoden. Bijvoorbeeld, wanneer gevraagd werd om een specifieke auto in een foto te vinden, zei Gazette niet alleen "auto". Het kon zeggen: "De zwarte auto in de rechterbovenhoek," en deed dit met een hoge nauwkeurigheid, zelfs wanneer de taak lastig was.

Het artikel laat zien dat door de computer te leren de strategie achter de oogbewegingen te begrijpen, in plaats van alleen de bewegingen zelf, we de intenties van mensen met veel meer detail kunnen decoderen. Hoewel het systeem het beste werkt wanneer mensen het eens zijn over wat ze zoeken (zoals het vinden van een specifiek object), suggereert het dat we dichter bij een toekomst komen waarin computers onze doelen kunnen begrijpen door simpelweg te kijken waar we naar kijken, wat deuren opent voor betere ondersteunende technologieën en een dieper begrip van hoe we met de wereld omgaan.

Technische Samenvatting: Gazette – Gaze-to-Text Generatie

Probleemdefinitie
Het artikel behandelt de beperking van bestaande gaze-decodingsmethoden, die de taak doorgaans formuleren als een discriminerend classificatieprobleem over een vaste set vooraf gedefinieerde categorieën (bijv. het identificeren van een specifiek object uit een beperkte vocabulaire). De auteurs stellen dat dergelijke categorische benaderingen inherent beperkt zijn en de fijnmazige details en open einde expressiviteit missen die vereist zijn voor real-world toepassingen zoals e-commerce, educatieve analyse en ondersteunende technologieën. In plaats daarvan stelt het artikel een nieuw leerprobleem voor: Gaze-to-Text Generatie. Het doel is om menselijke gaze scanpaths te decoderen naar vrije, natuurlijke taalbeschrijvingen die de rijke nuances van menselijke doelen en intenties vastleggen, variërend van eenvoudige objectlabels tot complexe, contextrijke verwijzende expressies of vragen.

Methodologie: Het Gazette Framework
De auteurs introduceren Gazette, het eerste generatieve framework voor gaze-to-text decoding, gebouwd op Multimodale Large Language Models (MLLMs).

Architectuur: Gazette breidt het LLaVA-1.5-7B basismodel uit. Het neemt een invoerbeeld $I$ en een gaze scanpath $S$ (tekstueel gecodeerd als een sequentie van fixaties met coördinaten en duur) samen met een taalinstructie aan. Het model genereert een natuurlijke taalbeschrijving $D$ van de cognitieve context, die het volgende bevat:
- Coarse Behavior Type: De categorie van doelgericht gedrag (bijv. Target-Present/Absent Visual Search, Object Referral, Visual Question Answering).
- Fine-Level Stimulus: Het specifieke doel (bijv. een doelcategorie, een verwijzende expressie of een vraag).
De Uitdaging van Individuele Variabiliteit: Een kernuitdaging die wordt geïdentificeerd, is dat gaze-signalen worden beïnvloed door individuele verschillen. Voor hetzelfde doel vertonen verschillende participanten verschillende scanpaths. Standaard instructie-tuning op beeld-scanpath-doel triplets faalt vaak omdat het model moeite heeft om het doelgestuurde signaal te onderscheiden van de participant-specifieke ruis.
Think-Aloud Transcript Generatie (Auxiliary Task): Om dit ontbindingsprobleem aan te pakken, stellen de auteurs een nieuwe hulp-trainingsdoelstelling voor genaamd ThinkAloud.
- Concept: De auteurs maken gebruik van het theoretische inzicht dat hoewel individuele scanpaths variëren, de onderliggende doelgestuurde aandacht-allocatiestrategie invariant blijft tussen verschillende participanten die dezelfde taak op dezelfde afbeelding uitvoeren.
- Implementatie: Ze gebruiken GPT-4 om scanpaths van meerdere participanten te analyseren die hetzelfde doel en dezelfde afbeelding delen. GPT-4 synthetiseert "think-aloud transcripten" die de gemeenschappelijke spatiotemporele patronen en top-down aandacht-allocatiestrategieën beschrijven, waardoor individuele idiosyncrasieën effectief worden weggefilterd.
- Trainingsdata: Deze transcripten dienen als pseudo-annotaties voor een hulp-taak waarbij het model leert de aandacht-allocatiestrategie te genereren op basis van een afbeelding en een enkele scanpath. De transcripten bevatten drie "idee-eenheden": (i) uitleg van de top-down aandacht-allocatie, (ii) geïnferred doel locatie (bounding box), en (iii) scanpath lengte.
- Instruction Tuning: Gazette wordt gefinetuned met behulp van Low-Rank Adaptation (LoRA) op een combinatie van de primaire GazeDec taak (decoderen van het doel) en de hulp-taak ThinkAloud (genereren van de strategie-uitleg).

Belangrijkste Bijdragen

Taakformulering: De introductie van onbeperkte gaze decoding waarbij doelen worden uitgedrukt in open-vocabulary natuurlijke taal in plaats van vaste categorieën.
Gazette Framework: De ontwikkeling van het eerste text-generatieve MLLM-gebaseerde framework dat specifiek is ontworpen voor het decoderen van top-down aandacht.
Auxiliary Objective: De voorstel van de ThinkAloud transcript voorspellings-taak. Deze strategie maakt gebruik van de gedeelde invariantie van doelgestuurde signalen over verschillende observeerders om het model te helpen individuele variabiliteit te filteren, wat de decoding prestaties aanzienlijk verbetert.

Experimentele Resultaten
De auteurs evalueerden Gazette op drie datasets: COCO-Search18 (Visual Search), RefCOCO-Gaze (Object Referral), en AiR-D (Visual Question Answering).

Generatieve Taken (Object Referral & VQA):
- Gazette presteerde significant beter dan baselines (inclusief standaard LLaVA-1.5 en een "last fixation" baseline) op lexicale overlap metrieken (BLEU, METEOR, ROUGE, CIDEr).
- Onder het LLM-as-a-Judge paradigma (waarbij GPT-4 wordt gebruikt om fluentie, relevantie en correctheid te evalueren), behaalde Gazette hogere scores dan de variant die getraind is zonder de ThinkAloud taak ("w/o ThinkAloud").
- De resultaten geven aan dat de ThinkAloud taak het model helpt complexe redeneerprocessen en aandacht-allocatiestrategieën te leren, wat leidt tot nauwkeurigere en contextbewuste beschrijvingen.
Predictieve Taken (Visual Search):
- Op de COCO-Search18 dataset behaalde Gazette state-of-the-art of nabij state-of-the-art prestaties.
- Voor Target-Present search behaalde Gazette 77,3% accuratesse, wat bijna gelijk is aan de vorige state-of-the-art (77,6% door Mondal et al.).
- Voor Target-Absent search presteerde Gazette significant beter dan eerdere methoden (44,3% accuratesse versus 38,7% voor Mondal et al.).
- De auteurs merken op dat de verbeteringen bij Target-Absent search bescheidener waren, wat zij toeschrijven aan een lagere inter-observer overeenstemming in deze taken, wat de effectiviteit van de gedeelde-patroon extractiestrategie vermindert.

Betekenis en Claims
Het artikel claimt dat Gazette gaze in staat stelt om te dienen als een krachtige, niet-intrusieve cue voor het afleiden van menselijke doelen met fijnmazige semantische details, waarmee de beperkingen van vaste taxonomieën worden overstegen. Door de doel-specifieke dynamiek succesvol te ontkoppelen van individuele ruis via de ThinkAloud strategie, demonstreert het framework generaliseerbaarheid over diverse top-down aandachtstaken.

De auteurs positioneren dit werk als een stap richting real-world toepassingen waar het begrijpen van waar een gebruiker naar zoekt (bijv. specifieke stijlvoorkeuren bij winkelen, conceptuele focus in het onderwijs, of navigatie-intentie in AR) cruciaal is. Zij erkennen beperkingen, specifelijk dat de methode afhankelijk is van inter-observer consistentie (wat afneemt in taken met lage overeenstemming) en dat de door GPT-4 gegenereerde transcripten de biases van de trainingsprioriteiten van het LLM kunnen erven in plaats van de werkelijke menselijke cognitie. Desalniettemin stellen zij dat de aanpak nieuwe wegen opent voor het gebruik van MLLMs om menselijke aandacht en mentale toestanden te begrijpen.

Meer zoals dit