StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos

1. Het Probleem

Bestaande benchmarks voor het begrijpen van streamende video's (streaming video understanding) richten zich voornamelijk op het verwerken van tijdelijk binnenkomende frames en het anticiperen op toekomstige gebeurtenissen. Echter, deze benchmarks negeren een cruciaal menselijk perceptiesignaal: blikrichting (gaze).

In real-world toepassingen zoals AR-brillen (Augmented Reality), robotica en geëmbodide agents, is blikrichting de meest directe indicator van waar een gebruiker naar kijkt, wat ze verwerken en wat ze waarschijnlijk als volgende gaan doen. Bestaande modellen (MLLMs - Multimodal Large Language Models) missen de capaciteit om deze dynamische bliktrajecten te interpreteren binnen een streamende context. Dit leidt tot een kloof tussen hoe modellen video's analyseren en hoe mensen werkelijk waarnemen en redeneren in real-time.

2. Methodologie: De STREAMGAZE Benchmark

Om deze kloof te dichten, stellen de auteurs STREAMGAZE voor, het eerste benchmark-dataset specifiek ontworpen voor blikgeleid streamend video-onderstanding.

A. Data Constructie Pipeline

De auteurs hebben een semi-automatische pipeline ontwikkeld om bliktrajecten te aligneren met egocentrische video's (video's vanuit het perspectief van de gebruiker):

1. Preprocessing: Ruwe blikcoördinaten (vaak in 3D wereldcoördinaten) worden geprojecteerd naar 2D pixelcoördinaten op het videoframe met behulp van cameraparameters.
2. Fixatie-extractie: De pipeline identificeert stabiele momenten van aandacht (fixaties) door ruimtelijke stabiliteit en scenische consistentie (geen scherpe cuts) te filteren.
3. Objectextractie per Gebied: Voor elke fixatie worden objecten onderscheiden in twee categorieën:
   • FOV (Field of View): Objecten binnen het directe blikveld (gemarkeerd met een cirkel rond de fixatie).
   • Out-of-FOV: Objecten die zichtbaar zijn in het frame maar buiten het directe blikveld liggen.
   • Hiervoor wordt gebruikgemaakt van region-specifieke visuele prompting met een MLLM (InternVL3.5) om objecten te detecteren en te beschrijven.
4. Scanpath Constructie: Een tijdsreeks van fixaties wordt samengesteld tot een "scanpath", die de evolutie van de aandacht van de gebruiker over tijd vastlegt.
5. Human Verification: Menselijke annotatoren verifiëren de gegenereerde scanpaths en objecten om de kwaliteit te waarborgen (ongeveer 83% correctheid).

B. Taak Taxonomie

STREAMGAZE bevat 8.521 vraag-antwoordparen verdeeld over 10 taken, die drie categorieën van redenering testen:

• Verleden (Past): Redeneren over wat er al is gebeurd.
  • Non-Fixated Object Identification: Herkennen van objecten die zichtbaar waren maar nooit werden aangekeken.
  • Object Transition Prediction: Voorspellen welk object als volgende wordt aangekeken.
  • Gaze Sequence Matching: Herkennen van patronen in de volgorde van blikbewegingen.
  • Scene Recall: Herinneren van achtergrondobjecten die eerder zichtbaar waren.
• Heden (Present): Het huidige perceptieve state begrijpen.
  • Object Identification (Eenvoudig/Moeilijk): Herkennen van het huidige aangekeken object (moeilijk: met visueel vergelijkbare distractors).
  • Object Attribute Recognition: Identificeren van eigenschappen (kleur, vorm) van het aangekeken object.
  • Future Action Prediction: Voorspellen van de volgende actie op basis van recente fixaties.
• Proactief (Proactive): Anticiperen en ingrijpen.
  • Gaze-Triggered Alert: Een waarschuwing geven wanneer de gebruiker op een specifiek object kijkt.
  • Object Appearance Alert: Een waarschuwing geven wanneer een nieuw object in het perifere zicht verschijnt.

3. Belangrijkste Bijdragen

1. Eerste Gaze-Guided Data Pipeline: Een innovatieve pipeline die bliktrajecten integreert met egocentrische video om ruimtelijk-tijdelijk afgestemde QA-paren te produceren die de dynamiek van menselijke aandacht modelleren.
2. STREAMGAZE Benchmark: Een uitgebreid dataset met 10 taken die verleden, heden en proactief redeneren dekken, specifiek ontworpen voor streamende video's.
3. Uitgebreide Evaluatie: Een grondige evaluatie van state-of-the-art MLLMs (zoals GPT-4o, InternVL, Qwen) die aanzienlijke prestatiekloven blootlegt ten opzichte van menselijke prestaties.

4. Resultaten

De experimenten tonen aan dat huidige MLLMs moeite hebben met blikgeleid redeneren:

• Prestatiekloof: Mensen scoren gemiddeld 82,7% correct, terwijl de beste MLLMs (zoals GPT-4o) rond de 53,5% scoren.
• Temporeel Redeneren: Modellen falen vaak in het accumuleren van blikbewijzen over tijd, wat leidt tot slechte prestaties in taken zoals Scene Recall en Object Transition Prediction.
• Proactieve Taken: Streamende modellen hebben moeite om blikrichting te koppelen aan voorspellend redeneren. Ze neigen naar generieke beschrijvingen in plaats van specifieke waarschuwingen.
• Ablatie Studies:
  • Het toevoegen van visuele prompting (groene stip voor blik, rode cirkel voor FOV) helpt, maar lost het probleem niet volledig op.
  • Modellen die specifiek zijn getraind op blikdata (zoals AssistGaze) generaliseren slecht naar streamende settings.
  • "Salience maps" (hittekaarten van blik) presteren vaak beter dan ruwe coördinaten, maar zelfs dit is niet voldoende om menselijk niveau te bereiken.

5. Betekenis en Toekomst

STREAMGAZE legt bloot dat huidige AI-modellen fundamenteel beperkt zijn in het interpreteren van menselijke aandacht in real-time. Het paper benadrukt dat:

• Blikrichting essentieel is voor het filteren van relevante informatie en het voorspellen van intenties.
• Bestaande benchmarks onvoldoende zijn voor het testen van AR- en robotica-toepassingen waar proactief handelen cruciaal is.
• Toekomstig onderzoek moet zich richten op het ontwikkelen van modellen die blikrichting niet alleen als visuele input zien, maar als een causaal signaal voor tijdelijk redeneren en intentiemodellering.

De dataset en code zijn openbaar beschikbaar om onderzoek naar blikgeleid streamend video-onderstanding te stimuleren.