💻 computer science

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

Het artikel stelt TextGaze voor, een verenigde cross-modale architectuur die een Large Vision-Language Model inzet om schaalbare tekstuele scène-aanwijzingen te bieden, wat een robuuste en annotatie-efficiënte schatting van de blikdoelstelling mogelijk maakt die visuele salientie balanceert met werkelijke blikintentie over diverse datasets heen.

Oorspronkelijke auteurs: Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

Gepubliceerd 2026-07-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden waar iemand naar kijkt in een drukke foto. Het is alsof je probeert uit te zoeken welke vriend in een groeps-selfie naar een verborgen koekje staart. Lange tijd probeerden computerwetenschappers dit op te lossen door "multi-branch" machines te bouwen. Denk aan deze als een team van detectives, elk met een specifieke taak: één controleert het hoofd van de persoon, een ander meet de diepte van de kamer, een derde analyseert hun houding, en een vierde kijkt naar hun ogen. Hoewel dit grondig klinkt, stelt het artikel dat het een beetje is als het inhuren van een hele politiekorps om alleen maar een verloren sleutel te vinden. Het vereist een enorme hoeveelheid extra trainingsdata (annotaties) voor elke individuele detective, waardoor het systeem traag leert en moeilijk verplaatsbaar is naar nieuwe omgevingen.

Aan de andere kant proberen sommige nieuwere, simpelere methoden een "one-person show" te zijn. Ze kijken naar de foto en gokken op basis van wat er glanst of interessant lijkt. Maar het artikel wijst op een grote tekortkoming hier: deze simpele methoden raken vaak afgeleid door "visuele ruis". Ze kunnen denken dat iemand naar een felrode hoed kijkt omdat het het meest kleurrijke object is, zelfs als de persoon eigenlijk naar een saaie grijze muur kijkt. Het artikel noemt dit "semantische defocus" — de computer ziet het object, maar mist de intentie.

Maak kennis met TextGaze, de nieuwe held van dit verhaal. De auteurs stellen een slimme middenweg voor die geen groot team van detectives nodig heeft, maar ook niet gemakkelijk wordt afgeleid. Ze gebruiken een "Large Vision-Language Model" (LVLM) — denk aan een superintelligente, veelgelezen bibliothecaris die een plaatje kan bekijken en het in woorden kan beschrijven.

Zo werkt TextGaze:

De beschrijving van de bibliothecaris: In plaats van alleen maar naar pixels te staren, vraagt het systeem de LVLM om een kort verhaal over de scène te schrijven. Bijvoorbeeld: "De man in het gele shirt kijkt naar beneden naar zijn rechterkant."
De Fusie: Het systeem neemt deze woorden en mengt ze met de visuele afbeelding. Het is alsof je de computer een kaart (de tekst) geeft terwijl hij het terrein verkent (de afbeelding). Dit helpt de computer te begrijpen waarom iemand ergens naar kijkt, en niet alleen waar het glimmende object is.
Het vangnet: Om ervoor te zorgen dat de computer het verhaal niet vergeet terwijl hij de berekeningen uitvoert, voegden de auteurs een speciale "supervisie"-stap toe. Het is als een leraar die de aantekeningen van een leerling controleert bij elke stap van de les om er zeker van te zijn dat ze niet van onderwerp afwijken.

Het team heeft dit idee getest op vier verschillende datasets, wat in feite enorme collecties foto's en video's zijn die worden gebruikt om deze AI-hersenen te trainen. De resultaten waren zeer veelbelovend. Op de GazeFollow-dataset behaalde de nieuwe methode een AUC van 0,956 (een score waarbij hoger beter is, waarbij 1,0 perfect is) en een gemiddelde foutafstand (Avg L2) van slechts 0,099 pixels bij het gebruik van de grotere "ViT-L" backbone. Dit betekent dat het heel dicht bij de beste bestaande methoden lag, maar zonder de extra "diepte"- of "houding"-data die andere topmodellen vereisten.

Wat echt cool is, is hoe goed het omging met nieuwe, ongeziene situaties. Wanneer het team TextGaze testte op de GOO-Real-dataset (die mensen laat zien die winkelen in alledaagse scenario's) zonder het extra training te geven, presteerde het nog steeds aan de top van de ranglijsten, met een AUC van 0,918 en een L2-fout van 0,159. Dit suggereert dat de "bibliothecaris"-aanpak de computer helpt om beter te generaliseren dan alleen het onthouden van visuele patronen.

De auteurs merken er voorzichtig bij op dat hoewel hun methode gestroomlijnd en effectief is, het geen toverstaf is die alles direct oplost. Ze sluiten expliciet de mogelijkheid uit dat we complexe, multi-branch systemen met extra sensoren nodig hebben om goede resultaten te behalen. Ze argumenteren ook tegen het uitsluitend vertrouwen op laag-niveau visuele trucjes. In plaats daarvan suggereren ze dat het toevoegen van een laag van "tekstueel begrip" de sleutel is om de kloof te overbruggen tussen het zien van een afbeelding en het begrijpen van menselijke intentie.

Kortom, TextGaze laat zien dat het geven van een klein beetje "verhalenvertelende" vermogen een computer kan helpen om veel beter te begrijpen waar iemand naar kijkt dan alleen maar naar de foto staren. Het is een speelse, efficiënte en verrassend nauwkeurige manier om machines te leren de kamer te lezen.

Technische Samenvatting: TextGaze

Probleemstelling

Gaze target estimation (het schatten van het blikdoel) beoogt de positie van de blik van een persoon binnen een scène te achterhalen of te bepalen of het blikdoel zich binnen het beeldkader bevindt. Het artikel identificeert twee primaire beperkingen in bestaande benaderingen:

Multi-branch methoden: Deze architecturen integreren hulpbronnen (bijv. diepte, pose, hoofdkenmerken) via aparte takken (branches). Hoewel deze de visuele representaties verrijken, introduceren ze een aanzienlijke annotatiebelasting, vertragen ze de convergentie door structurele complexiteit en belemmeren ze domeinoverdracht. Bovendien fungeren ze vaak als geometrische filters die niet in staat zijn om over geldige blikdoelen te redeneren, wat leidt tot "semantische onderspecificatie".
Gestroomlijnde/Prompt-tuning methoden: Recente benaderingen proberen architecturen te vereenvoudigen door gebruik te maken van positionele prompts met fundamentele modellen. Deze methoden lijden echter vaak aan "semantische defocus", waarbij het model vertrouwt op laag-niveau visuele salientie (ruimtelijke nabijheid, visuele prominentie) in plaats van werkelijke blikintentie, wat resulteert in een mismatch tussen voorspelde aandacht en werkelijke blikdoelen.

De kernuitdaging is het balanceren van de behoefte aan semantische sturing met architecturale eenvoud, waarbij men verder gaat dan louter geometrische regressie naar intentie-niveau redeneren zonder complexe multi-branch structuren opnieuw te introduceren.

Methodologie: TextGaze

De auteurs stellen TextGaze voor, een unificerende cross-modale architectuur die een Large Vision-Language Model (LVLM) gebruikt als schaalbare semantische sturing. Het framework verschuift gaze estimation van directe geometrische regressie naar een proces van intentieherkenning via een semantische laag.

1. Architectuur Overzicht

Het model bestaat uit drie kerncomponenten:

LVLM-gebaseerde Textuele Scène-cues Module: Een bevroren LVLM (specifiek Qwen2.5-VL-7B-Instruct in de experimenten) wordt geprompt om gestructureerde tekstuele beschrijvingen te genereren van het uiterlijk, het gedrag en de grove blikoriëntatie van het onderwerp. Deze natuurlijke taaloutputs worden gecodeerd door een bevroren BERT-tekstencoder in dichte embeddings ( $S_t$ ). Deze module biedt hoogwaardige semantische priors (objecten, acties) zonder dat daarvoor expliciete lokalisatie van het blikdoel door de LVLM nodig is, wat onbetrouwbaar kan zijn voor doelen buiten het kader.
Feature Token Sequence Processing Module:
- Visuele Stroom: Een bevroren DINOv2-encoder extraheert fijnmazige scène-features ( $F_v$ ). Om de gevoeligheid voor het doel te vergroten, wordt een leerbaar head token embedding toegevoegd via gemaskeerde modulatie op basis van de bounding box van het hoofd.
- Fusie: Tekstuele en visuele feature-sequenties worden geconcateneerd. Een leerbaar token ( $z_{in/out}$ ) wordt voorafgevoegd voor de in-/out-of-frame classificatietaak.
Cross-Modale Fusie en Predictie Module:
- Fusion Transformer: Een drie-laagse gestapelde transformer met post-normalisatie integreert visuele en tekstuele tokens. Het maakt gebruik van Multi-Head Self-Attention (MHSA) om onbeperkte interactie tussen modaliteiten mogelijk te maken.
- Hiërarchische Tekstsupervisie: Om de taakrelevante tekstuele semantiek tijdens diepe fusie te voorkomen dat deze degradeert, introduceren de auteurs een laag-gewijze tekstconsistentie-supervisie. Dit dwingt semantische uitlijning af over alle transformer-lagen door intermediaire teksttokens terug te projecteren naar de oorspronkelijke tekstencoder-features en de Mean Squared Error (MSE) te minimaliseren.
- Predictiekoppen: Een lichtgewicht decoder produceert een gaze heatmap (gesuperviseerd door pixel-wise BCE loss met Gaussische targets) en een scalaire waarschijnlijkheid voor de in-/out-of-frame status (gesuperviseerd door binaire cross-entropy).

2. Trainingsdoel

De totale loss-functie combineert de heatmap loss ( $L_{heat}$ ), de in/out classificatie loss ( $L_{in/out}$ ) en de hiërarchische tekstsupervisie loss ( $L_{text}$ ):
$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$

Belangrijkste Bijdragen

Textuele Scène-cues: Het artikel introduceert de integratie van tekstuele scène-cues in gaze target estimation om semantische defocus te mitigeren. Door LVLMs te gebruiken om hulp-semantische informatie (uiterlijk, actie, intentie) te genereren, verkrijgt het model hoogwaardige priors zonder de complexiteit van multi-branch ontwerpen.
Verbeterde Benchmarks: De auteurs versterken de GazeFollow en VideoAttentionTarget benchmarks door scène-target-persoon aandachtvelden te integreren met LVLM-georiënteerde prompts, waardoor robuuste contextuele cues worden gegenereerd die de tekst-ondersteunde gaze estimation nauwkeurigheid verbeteren.
Unified Dual-Stream Framework: Een nieuw cross-modaal fusieframework is ontworpen dat tekstuele embeddings combineert met fijnmazige visuele representaties. Deze aanpak bootst menselijke top-down aandacht na, wat ruimtelijk redeneren en scène-adaptiviteit verbetert terwijl een gestroomlijnde pipeline behouden blijft.

Experimentele Resultaten

De methode werd geëvalueerd op vier mainstream datasets: GazeFollow, VideoAttentionTarget, ChildPlay, en GOO-Real.

State-of-the-Art Prestaties: Op GazeFollow behaalde TextGaze (gebruikmakend van DINOv2 ViT-L) competitieve resultaten, met de laagste gemiddelde L2-fout (0.099) en een overeenkomstige beste minimale L2 (0.043), terwijl het een hoge AUC (0.956) behield. Op VideoAttentionTarget presteerde het beter dan bestaande benaderingen op het gebied van AUC, L2-fout en AP-metrieken voor in-/out-of-frame voorspelling.
Cross-Dataset Generalisatie: Zonder fine-tuning of prompt-modificatie demonstreerde TextGaze robuuste generalisatie:
- Op GOO-Real (echte winkelscenario's) behaalde het state-of-the-art prestaties in zowel AUC als L2-metrieken.
- Op ChildPlay (kinderen's blik) presteerde het beter dan alle baselines in de AP-metriek voor in-/out-of-frame classificatie, wat de effectiviteit van LVLM-afgeleide cues voor aanwezigheidsdetectie onderstreept.
Ablatie-studies: Experimenten bevestigden dat de transformer-gebaseerde fusiestrategie beter presteert dan additieve en cross-attention fusie. Bovendien leverde de gelijktijdige activatie van hiërarchische tekstsupervisie, visuele residual connections en specifieke positionele embeddings de optimale prestaties op, wat de complementaire aard van deze componenten valideert.

Betekenis en Claims

Het artikel claimt dat TextGaze een gestroomlijnd alternatief biedt voor traditionele multi-branch ontwerpen. Door LVLMs te gebruiken als toegankelijke hulpsturing, slaagt de methode erin de balans te vinden tussen de hoge annotatiekosten van multi-branch systemen en de semantische beperkingen van gestroomlijnde visuele-only modellen.

De auteurs benadrukken dat gaze following inherent een intentie-niveau redeneerprobleem is in plaats van een puur geometrische regressietaken. TextGaze pakt dit aan door het paradigma te verschuiven van "pixels naar coördinaten" naar "pixels naar semantische intentie naar blikdoel". De resultaten valideren dat LVLMs effectief visie kunnen verbinden met hoogwaardige intenties, wat een schaalbare oplossing biedt voor gaze estimation in complexe scènes zonder de noodzaak voor redundante branches of uitgebreide domeinspecifieke annotaties.