💻 computer science

VEGAS: Human-Aligned Video Caption Evaluation via Gaze

Het artikel introduceert VEGAS, een training-vrije, cross-modale metriek die gesynchroniseerde blikgegevens (gaze data) benut om video-onderschriften te evalueren en te selecteren die beter aansluiten bij de aandacht van individuele kijkers, waardoor de kwaliteit van onderschriften en downstream-retrie-taken wordt verbeterd zonder dat modelhertraining vereist is.

Oorspronkelijke auteurs: Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een video bekijkt van iemand die aan het koken is in een keuken. Een standaard AI-ondertitelingsbot zou kunnen zeggen: "Een persoon is in een keuken met een fornuis, een koelkast en een aanrecht." Het is technisch gezien waar, maar het is alsoal een kaart van de hele stad lezen wanneer je alleen geïnteresseerd bent in de ene straat waar de actie plaatsvindt. De bot negeert waar de persoon eigenlijk naar keek.

Maak kennis met VEGAS (Video caption Evaluation via GAze Score). Zie VEGAS als een super slimme "aandachtsrechter" die niet alleen de video leest, maar ook kijkt naar waar jouw ogen naartoe gaan terwijl je kijkt.

Het Probleem: De "One-Size-Fits-All" Ondertiteling

De paper wijst erop dat huidige AI-modellen worden getraind op een mix van ieders meningen. Ze proberen alles te beschrijven wat zichtbaar is in een scène. Maar mensen zijn kieskeurig. Als je een kookvideo bekijkt, sta je misschien intens te kijken naar de rode paprika die wordt gesneden, terwijl je de broodrooster op de achtergrond negeert. Een generieke AI-ondertiteling kan de paprika volledig missen of deze begraven in een lijst met achtergrondruis. Dit maakt het moeilijk om die specifieftieke video later te vinden als je zoekt op "snijden van rode paprika's".

De Oplossing: De "Gaze-Filter"

De auteurs stellen een slim trucje voor genaamd VEGAS. In plaats van de AI opnieuw te trainen (wat is alsof je de hele motor van een auto opnieuw bouwt), werkt VEGAS als een filter aan het einde van het proces.

Zo werkt het met een leuke analogie:
Stel je voor dat de AI een chef-kok is die vijf verschillende recepten schrijft voor dezelfde maaltijd.

Recept A: "Ik heb een maaltijd gekookt." (Te vaag)
Recept B: "Ik heb uien, knoflook en paprika's gehakt." (Specifiek, maar misschien heb je niet naar de knoflook gekeken)
Recept C: "Ik heb in de pan geroerd." (Je keek naar de pan)

Stel je nu voor dat je een speciale bril draagt die precies bijhoudt waar je ogen landen. VEGAS neemt jouw oogbewegingsdata en vraagt aan de chef: "Hé, als ik je alleen de delen van de video laat zien waar de kijker naar keek, zou je dan nog steeds in staat zijn om dit recept te schrijven?"

Als het recept de rode paprika vermeldt en je ogen waren gefixeerd op de rode paprika, zegt VEGAS: "Geweldige match! Lage score!" (In dit spel is een lagere score beter).
Als het recept de broodrooster vermeldt, maar je ogen nooit naar de broodrooster hebben gekeken, zegt VEGAS: "Wacht, hoe wist je van de broodrooster? Dat is extra informatie die je niet nodig had. Hoge score!" (Slechte match).

VEGAS kiest vervolgens het "recept" (de ondertiteling) met de laagste score—de ene die perfect past bij jouw specifieke blik.

Wat ze vonden (Het echte werk)

De onderzoekers testten dit op twee heel verschillende soorten video's:

First-person video's (zoals iemand die door zijn huis loopt terwijl hij huishoudelijke taken uitvoert).
Instructie-dia's (zoals een PowerPoint-presentatie).

De Grote Winst:
Op de first-person video's werkte VEGAS als een trein. Wanneer ze de "gaze filter" gebruikten om ondertitelingen te selecteren, werden de beschrijvingen 13,53% meer gelijkaardig aan wat mensen daadwerkelijk schreven.

Het Bewijs: Ze voerden een statistische test uit (een Wilcoxon signed-rank test) en kregen een resultaat van Z = 10,04 met een p-waarde < 0,001. Dit betekent dat de verbetering geen toevalstreffer was; het was een echt, meetbaar verschil.
De Retrieval Boost: Wanneer ze deze betere ondertitelingen gebruikten om video's te zoeken, vonden ze de juiste video 1,14% vaker bovenaan de lijst. Als je verder naar beneden in de lijst keek (bij de top 5 of top 10 resultaten), sprong de verbetering naar respectievelijk 4,16% en 4,10%.

Het "Het hangt ervan af"-gedeelte:
Op de instructie-dia's waren de resultaten anders. De verbetering was klein (+3,88%) en de paper merkt op dat dit niet statistisch significant was (p = 0,0952).

Waarom? De auteurs suggereren dat er bij dia's vaak veel "correcte" manieren zijn om de tekst samen te vatten. Zelfs als je ogen naar een specifieke grafiek kijken, interpreteren verschillende mensen de betekenis van die grafiek op verschillende manieren. Gaze vertelt je waar ze naar keken, maar niet noodzakelijkerwijs hoe ze de complexe ideeën interpreteerden. Dus VEGAS is geweldig in het spotten van concrete objecten (zoals een rode pet of een hond), maar minder perfect voor abstracte concepten.

Wat ze uitsloten

De paper was zeer zorgvuldig om te controleren of VEGAS niet gewoon aan het valsspelen was door kortere of simpelere ondertitelingen te kiezen.

Kiesde het gewoon korte ondertitelingen? Nee. Ze controleerden de correlatie tussen de VEGAS-score en het aantal woorden, en die was vrijwel nul (0,001).
Kiesde het gewoon generieke ondertitelingen? Nee. De correlatie met "specificiteit" (het gebruik van zelfstandige naamwoorden, werkwoorden, etc.) was ook bijna nul (0,026).
Had het een nieuw AI-model nodig? Nee. Ze gebruikten bestaande, krachtige AI-modellen (zoals Gemini en GPT) en gebruikten VEGAS enkel om de beste uit een lijst met kandidaten te kiezen. Geen hertraining vereist.

De Kern van het Verhaal

VEGAS suggereert dat als je een video-ondertiteling wilt die persoonlijk aanvoelt en je helpt de video later te vinden, je niet alleen de AI moet vragen: "Wat zit er in deze video?" Je moet vragen: "Waarnaar heeft deze specifieke persoon gekeken?"

De paper laat zien dat door oogbewegingsdata als filter te gebruiken, we een generieke AI-beschrijving kunnen omzetten in een gepersonaliseerde beschrijving die de menselijke aandacht veel beter matcht—vooral wanneer de video over reële handelingen gaat. Het is geen toverstaf die alles oplost (dia's blijven lastig), maar het is een krachtig nieuw instrument dat werkt zonder dat de AI vanaf nul opnieuw gebouwd hoeft te worden.

Technische Samenvatting: VEGAS – Menselijk uitgelijnde videobeschrijvingsevaluatie via blik

1. Probleemstelling

Vision-language modellen (VLM's) blinken uit in het genereren van semantisch accurate videobeschrijvingen, maar vertrouwen doorgaans op door crowdsourcing verkregen annotaties die diverse menselijke interpretaties aggregeren. Bijgevolg produceren deze modellen vaak "globaal correcte" beschrijvingen die er niet in slagen de specifieke aandachtspatronen van individuele kijkers te vangen. In toepassingen zoals caption-geïndexeerde retrieval kan een generieke beschrijving die de nadruk legt op onbehandelde achtergrondinhoud het moeilijk maken voor een gebruiker om een video te doorzoeken op basis van het specifieke object of de actie waar zij naar keken.

Het kernprobleem dat wordt aangepakt, is de mismatch tussen gegenereerde beschrijvingen en individuele visuele aandacht. Hoewel menselijke blik (gaze) een meetbare proxy is voor visuele aandacht, heeft eerder werk blik grotendeks alleen gebruikt als een supervisiesignaal tijdens de training. Dit artikel onderzoekt of blik kan worden ingezet tijdens de testfase om gepersonaliseerde beschrijvingen te selecteren die de specifieke focus van een kijker weerspiegelen zonder het onderliggende model te hertrainen.

2. Methodologie

2.1 VEGAS Metriek (Video caption Evaluation via GAze Score)

De auteurs stellen VEGAS voor, een training-vrije, cross-modale, informatie-theoretische metriek die kwantificeert hoe goed een kandidaat-beschrijving aansluit bij de blik van een kijker.

Formulering: Het doel is om de wederzijdse informatie (mutual information) tussen een beschrijving $t$ en een bliksignaal $G$ te maximaliseren. Omdat de ware marginale distributies $P(t)$ en $P(G)$ onhandelbaar zijn, benadert VEGAS dit met behulp van de conditionele waarschijnlijkheden van een bevroren, vooraf getraind VLM.
Kernintuïtie: Een blik-gealigneerde beschrijving moet zeer voorspelbaar zijn vanuit de geattendeerde regio's ( $G$ ) alleen, waarbij niet-geattendeerde regio's ( $\bar{G}$ ) minimale aanvullende informatie bijdragen.
Definitie: VEGAS wordt gedefinieerd als de pointwise conditionele wederzijdse informatie tussen beschrijvingstokens $t$ en niet-geattendeerde regio's $\bar{G}$ , geconditioneerd op geattendeerde regio's $G$ :
$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$
Waarbij $V$ de volledige video is en $G$ de blik-geattendeerde video.
Interpretatie: Een lagere VEGAS-score is beter. Dit geeft aan dat de beschrijving goed verklaard kan worden door de geattendeerde regio's alleen. Een hoge score impliceert dat de beschrijving zwaar leunt op visuele inhoud buiten de focus van de kijker.
Token-niveau Decompositie: De metriek deelt autoregressief op over tokens, wat de identificatie mogelijk maakt van specifieke semantische concepten die wel of niet worden ondersteund door de blik van de kijker.

2.2 Gaze-geconditioneerde Rejection Sampling

VEGAS wordt gebruikt om beschrijvingen te selecteren uit een pool van kandidaten gegenereerd door bestaande VLM's zonder modelhertraining:

Kandidaatgeneratie: Meerdere VLM's genereren $N$ kandidaat-beschrijvingen voor een video $V$ met behulp van verschillende decoding-temperaturen.
Scoring: Voor elke kandidaat $c_i$ wordt de VEGAS-score berekend met behulp van het bliksignaal $G$ van de kijker.
Selectie: De beschrijving met de laagste VEGAS-score wordt geselecteerd:
$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$
Dit proces filtert effectief beschrijvingen weg die onbehandelde inhoud beschrijven, en geeft de voorkeur aan beschrijvingen die aansluiten bij de specifieke aandacht van de kijker.

3. Dataset Curatie

Om het framework te evalueren, hebben de auteurs een multimodale dataset samengesteld die gesynchroniseerde menselijke blik, visuele inhoud en vrij vorm geschreven menselijke beschrijvingen koppelt over twee domeinen:

Aria Everyday Activities (AEA): 332 egocentrische videoclips afgeleid van Project Aria smart glasses data. Deze clips leggen dynamische, real-world taken vast (bijv. koken, computergebruik) waarbij blik helpt bij het oplossen van concrete object-ambiguïteiten.
SlideVQA: 300 instructieve dia's uit 30 decks. Deelnemers bekeken de dia's via webcam-gebaseerde eye-tracking en leverden beschrijvingen aan. Dit domein test gaze-conditioning in dicht visueel medium waar conceptuele abstractie vereist is.

De dataset bevat 2.981 hoogwaardige menselijke annotaties, die de diversiteit van aandacht-gedreven semantische variaties vastleggen.

4. Belangrijkste Resultaten

4.1 Semantische Alignement

AEA (Egocentrisch): VEGAS-geselecteerde beschrijvingen vertoonden een statistisch significante verbetering in semantische alignement met menselijke annotaties vergeleken met naïeve VLM-beschrijvingen. De gemiddelde SBERT-gelijkenis steeg met +0,0856 (+13,53%) ( $p < 0,001$ ).
SlideVQA: De verbetering was kleiner (+0,0256) en niet statistisch significant ( $p = 0,0952$ ). De auteurs schrijven dit toe aan de aard van de dia's, waarbij meerdere geldige conceptuele samenvattingen bestaan voor hetzelfde beeld, waardoor blik een zwakkere selector is voor abstracte interpretaties vergeleken met concrete objecten.

4.2 Caption-to-Video Retrieval

Op de AEA-dataset werd VEGAS gebruikt om een index te construeren voor caption-to-video retrieval:

Prestaties: VEGAS-geselecteerde indices verbeterden de retrieval-metrieken ten opzichte van willekeurige VLM-beschrijvingen.
- Precision/Recall/mAP@1: +1,14% verbetering.
- Recall@5: +4,16% verbetering.
- mAP@10: +2,46% verbetering.
Gap Closure: VEGAS herstelde ongeveer 15% van de kloof tussen willekeurige machine-selectie en mens-mens retrieval bij Rank 1, maar herstelde meer dan 40% van de kloof bij Recall@5 en Recall@10. Dit suggereert dat VEGAS de juiste video effectief in de top van de kandidaten brengt, zelfs als het niet altijd de bovenste rang bereikt.

4.3 Ablatie en Diagnostiek

Gaze Corruptie: Het vervangen van de ware blik door willekeurige blik uit andere clips verhoogde de VEGAS-score aanzienlijk (verslechtering van de alignement), wat de gevoeligheid van de metriek voor correcte bliksignalen bevestigt.
Lengtebias: Correlatieanalyse toonde aan dat VEGAS niet wordt gedreven door de lengte of generieke aard van de beschrijving; verbeteringen worden niet verklaard door het selecteren van kortere beschrijvingen.
Token-niveau Analyse: Kwalitatieve voorbeelden toonden aan dat VEGAS correct tokens straft die onbehandelde regio's beschrijven (bijv. "tuin" wanneer de gebruiker naar een "wasmachine" keek) en voorkeur geeft aan tokens die aansluiten bij fixatiepunten.

5. Betekenis en Claims

Het artikel claimt dat VEGAS de praktische bruikbaarheid aantoont van het integreren van de aandacht van de kijker tijdens de inferentie. De belangrijkste bijdragen zijn:

Een Training-vrije Metriek: Het biedt een methode om gepersonaliseerde beschrijvingen te evalueren en te selecteren zonder het finetunen of hertrainen van grote vision-language modellen.
Test-Time Conditioning: Het verschuift het paradigma van het gebruik van blik als een supervisiesignaal tijdens de training naar een blik-geconditioneerd signaal tijdens de testfase voor personalisatie.
Domeinspecifiteit: De resultaten benadrukken dat gaze-geconditioneerde beschrijving het meest effectief is wanneer visuele aandacht helpt bij het disambigueren van concrete referenten (bijv. egocentrische activiteiten), maar minder diagnostisch is wanneer de stimulus vele geldige conceptuele samenvattingen ondersteunt (bijv. instructieve dia's).
Verbetering van Retrieval: Door beschrijvingen af te stemmen op individuele aandacht, verbetert VEGAS de semantische indexering van video's, waardoor ze gemakkelijker te doorzoeken zijn op basis van waar een specifieke gebruiker daadwerkelijk naar keek.

De auteurs blijven bescheiden en merken op dat VEGAS de beperkingen van de onderliggende VLM's overneemt (bijv. hallucinaties) en dat blik aangeeft waar een kijker naar kijkt, maar niet noodzakelijkerwijs hoe zij complexe visuele relaties interpreteren. Toekomstig werk wordt gesuggereerd om impliciete aandacht-proxies (zoals saliency-modellen) en het distilleren van VEGAS in trainingsobjectieven te verkennen.