GazeShift: Unsupervised Gaze Estimation and Dataset for VR

Dit paper introduceert VRGaze, het eerste grote dataset voor oogvolging in VR, en GazeShift, een ongesuperviseerde, real-time framework dat nauwkeurige oogvolging mogelijk maakt zonder handmatige labels en met minimale rekeneisen op VR-headsets.

De kern

Stel je voor dat je een Virtual Reality (VR) bril opzet. Je kijkt om je heen, naar een virtuele boom of een vliegende vogel. De bril moet weten waar je precies naar kijkt. Dit heet "gaze estimation" (blikrichting-bepaling). Waarom is dit belangrijk? Omdat de bril dan alleen de details scherp kan maken waar je naar kijkt (om batterij te sparen) en je kunt ermee spelen zonder controllers.

Het probleem? Het is heel lastig om een computer te leren waar je naar kijkt, en er zijn niet genoeg goede voorbeelden om het te trainen.

Deze paper introduceert twee grote dingen om dit op te lossen: een nieuwe database en een slimme nieuwe methode.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Verkeerde" Camera

In de echte wereld kijken we vaak recht vooruit. Maar in VR-brillen zitten de camera's die je ogen filmen vaak schuin (aan de zijkant van de bril), om je zicht niet te blokkeren.

• De Analogie: Stel je voor dat je een foto maakt van iemand, maar je staat schuin achter hem in plaats van recht voor. Het gezicht ziet er heel anders uit (vervormd).
• Het probleem: Bestaande databases met foto's van ogen zijn gemaakt met camera's die recht voor de ogen staan. Als je die foto's gebruikt om een VR-bril te leren, is het alsof je iemand probeert te leren zwemmen door alleen te kijken naar foto's van wandelen. Het werkt niet goed.

2. De Oplossing Deel 1: VRGaze (De Nieuwe Bibliotheek)

De auteurs hebben een enorme nieuwe database gemaakt, genaamd VRGaze.

• Wat is het? Een verzameling van 2,1 miljoen foto's van ogen, gemaakt met de schuine camera's van echte VR-brillen.
• Wie? 68 verschillende mensen van diverse achtergronden.
• Waarom? Dit is de eerste keer dat er zo'n grote "trainingsboek" is gemaakt dat precies past bij hoe moderne VR-brillen eruitzien. Het is als het hebben van een perfecte oefenboek voor een examen dat je echt gaat maken.

3. De Oplossing Deel 2: GazeShift (De Slimme Leraar)

Normaal gesproken moet je een computer duizenden foto's geven met een label erbij: "Kijkt naar links", "Kijkt naar rechts". Dat labelen is extreem lastig en duur.
De auteurs hebben GazeShift bedacht. Dit is een methode die geen labels nodig heeft.

• De Analogie: De "Kameleon" en de "Spiegel"
  Stel je voor dat je een foto van je oog hebt (de bron). Je wilt de computer leren hoe je oog eruit zou zien als je naar een andere plek zou kijken (het doel).

  • De computer probeert de foto van je oog te "verdraaien" of te herschrijven zodat het eruitziet als de foto van het doel.
  • Maar hier is de truc: De computer mag alleen kijken naar wat er verandert als je je blik verplaatst. Alles wat hetzelfde blijft (je huidskleur, de vorm van je ooglid, de belichting) moet hij negeren.
  • GazeShift is als een slimme leraar die zegt: "Ik zie dat je ooglid niet beweegt, maar je pupil wel. Die beweging is dus het 'kijken'. Ik focus alleen daarop en negeer de rest."

• Hoe werkt het?
  De computer gebruikt een techniek genaamd "Attention" (Aandacht). Het is alsof de computer een vergrootglas pakt en alleen kijkt naar het gedeelte van het oog dat beweegt wanneer je kijkt. Alles wat niet beweegt (de achtergrond van het oog) wordt genegeerd. Hierdoor leert de computer heel snel en precies wat "kijken" is, zonder dat iemand handmatig heeft gezegd "dit is links, dit is rechts".

4. Waarom is dit geweldig?

• Snelheid: Het werkt razendsnel. Op een VR-bril duurt het slechts 5 milliseconden om te berekenen waar je naar kijkt. Dat is sneller dan je knipoogt.
• Efficiëntie: De computer die dit doet is heel klein en licht. Het gebruikt 10 keer minder rekenkracht dan andere methoden. Dit is cruciaal voor VR-brillen, want die hebben geen enorme supercomputers aan boord.
• Aanpasbaar: Als je de bril opzet, kan het systeem zich in een paar seconden aanpassen aan jouw specifieke ogen (jouw "kijkhoek"), zodat het superprecies wordt.

Samenvatting in één zin

De auteurs hebben een nieuwe, enorme bibliotheek met schuine oogfoto's gemaakt (VRGaze) en een slimme, zelflerende methode (GazeShift) bedacht die een computer leert waar je naar kijkt door alleen te letten op wat beweegt, zonder dat iemand handmatig hoeft te labelen. Hierdoor kan je VR-bril eindelijk heel goed weten waar je naar kijkt, snel en zuinig.

Technische samenvatting

Probleemstelling

Gaze-schatting (het bepalen waar iemand naartoe kijkt) is cruciaal voor moderne Virtual Reality (VR)-systemen, bijvoorbeeld voor foveated rendering en intuïtieve besturing. Ondanks vooruitgang bij camera's op afstand, kampt VR-gaze-onderzoek met twee grote beperkingen:

1. Data-schaarste: Er ontbreken grote, nauwkeurig gelabelde datasets die zijn opgenomen met de typische off-axis cameraconfiguraties van moderne VR-headsets. Bestaande datasets (zoals OpenEDS) gebruiken vaak on-axis camera's, wat leidt tot andere perspectiefvervormingen die niet overdraagbaar zijn naar VR.
2. Labeling-moeilijkheden: Het nauwkeurig labelen van gaze-data is tijdrovend en foutgevoelig omdat fixatie op een doelwit niet gegarandeerd kan worden (door onvrijwillijke saccades).
3. Bestaande methoden: Huidige ongesuperviseerde methoden zijn vaak ontworpen voor RGB-camera's op afstand (die het hele gezicht zien) of vertrouwen op complexe geometrische priors en multi-view consistentie, wat niet werkt voor de beperkte, nabije infraroodbeelden van VR-headsets.

Methodologie: GazeShift

De auteurs stellen GazeShift voor, een ongesuperviseerd framework dat specifiek is ontworpen voor nabije infraroodbeelden (near-eye IR) maar ook generaliseert naar camera's op afstand.

Kernconcepten:

• Attention-Guided Redirection: In plaats van te vertrouwen op 3D-geometrie of warping-velden, leert het model gaze-representaties door transformaties tussen paren van hetzelfde oog te modelleren. Het idee is dat in VR-beelden de meeste variatie in uiterlijk wordt veroorzaakt door veranderingen in de kijkrichting.
• Scheiding van Encoders: Het model gebruikt twee aparte encoders:
  • Een Gaze-Encoder (dieper, abstract) die een gaze-embedding extrahert uit het doelbeeld.
  • Een Appearance-Encoder (vlakker, behoudt ruimtelijke structuur) die features extrahert uit het bronbeeld.
• Cross-Attention Mechanisme: De gaze-embedding fungeert als een query in een cross-attention mechanisme dat de appearance-features van het bronbeeld modificeert om te lijken op het doelbeeld. Dit zorgt voor een effectieve ontkoppeling (disentanglement) van gaze en uiterlijk zonder externe geometrische priors.
• Gaze-Aware Loss: In plaats van een standaard pixel-wise reconstructiefout, introduceert het paper een gaze-focused loss. Deze loss gebruikt de zelf-attentie-kaarten van het model als zachte maskers om de supervisie te concentreren op de voor gaze relevante gebieden (zoals de iris) en minder gewicht te geven aan irrelevante gebieden (zoals oogleden of achtergrond). Dit creëert een feedbacklus die de aandacht voor gaze-cues scherper maakt.
• Calibratie: Na ongesuperviseerd vooropleiden kan het model worden aangepast aan individuele gebruikers via een lichtgewicht "few-shot" kalibratie (lineaire regressie op een klein aantal gelabelde fixatiepunten).

Nieuwe Dataset: VRGaze

Om het gebrek aan geschikte data op te lossen, hebben de auteurs VRGaze geïntroduceerd:

• Omvang: 2,1 miljoen gelabelde infraroodbeelden van het linker- en rechteroog.
• Deelnemers: 68 deelnemers met een diverse demografie (geslacht, etniciteit, leeftijd).
• Configuratie: Opgenomen met een aangepaste moderne VR-headset met off-axis near-eye infraroodcamera's (400x400 pixels, 30 fps).
• Aard: De data is verzameld terwijl deelnemers een bewegend doel op het VR-scherm volgden, variërend tussen jagen (pursuit) en fixeren.

Resultaten

GazeShift presteert state-of-the-art op zowel VR-datasets als datasets voor camera's op afstand:

1. VRGaze (Off-axis VR):

   • Met per-persoon kalibratie bereikt GazeShift een gemiddelde fout van 1,84°, wat dicht in de buurt komt van volledig gesuperviseerde methoden.
   • Zelfs zonder per-persoon kalibratie (person-agnostic) presteert het beter dan bestaande ongesuperviseerde baselines (Cross-Encoder).
   • Efficiëntie: Het model voert inferentie uit in slechts 5 ms op een VR-headset GPU (Exynos 2200), wat real-time toepassing mogelijk maakt.

2. MPIIGaze (Camera op afstand):

   • GazeShift bereikt een fout van 7,15° op MPIIGaze.
   • Het doet dit met 10x minder parameters en 35x minder FLOPs dan de bestaande baselines (zoals Cross-Encoder), wat het ideaal maakt voor randapparatuur (edge devices).

3. Ablatie-studies:

   • De scheiding van encoders en het gebruik van cross-attention verbeteren de prestaties aanzienlijk.
   • De gaze-focused loss levert de grootste verbetering op door de focus te leggen op relevante gebieden.
   • Er is bewezen dat het model gaze effectief ontkoppelt van uiterlijke variaties (zoals verlichting), wat zichtbaar is in de stabiliteit van de gaze-embeddings bij variatie in uiterlijk.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. VRGaze Dataset: De eerste grote-scale, off-axis gaze-dataset voor VR, essentieel voor het trainen van robuuste modellen voor moderne headsets.
2. GazeShift Framework: Een nieuw, ongesuperviseerd paradigma dat gaze-redirection leert via cross-attention en een zelf-geleide loss-functie, zonder afhankelijk te zijn van complexe geometrische modellen of gelabelde data.
3. Efficiëntie en Generalisatie: Het bewijst dat een lichtgewicht model (geschikt voor VR-chips) niet alleen werkt in VR, maar ook superieur presteert op datasets voor camera's op afstand.
4. Praktische Toepasbaarheid: De combinatie van lage latentie (5 ms), hoge nauwkeurigheid (<2°) en het ontbreken van de noodzaak voor uitgebreide gelabelde datasets maakt dit een praktische oplossing voor de commercialisatie van gaze-tracking in XR-toepassingen.

Samenvattend biedt GazeShift een label-efficiënte, real-time oplossing voor gaze-tracking die de kloof overbrugt tussen de beperkte data van VR-headsets en de eisen van nauwkeurige interactie in Extended Reality (XR).