Technische Samenvatting: GazePrior

Probleemstelling

Eye tracking (ET) is een fundamentele technologie voor geavanceerde Augmented Reality (AR) en Virtual Reality (VR) toepassingen, en maakt functies mogelijk zoals foveated rendering en interactie op basis van blik. Het trainen van deep learning-modellen voor ET wordt echter gehinderd door de hoge kosten en de tijd die nodig zijn om real-world data te verzamelen met hoogwaardige ground truth voor elke nieuwe generatie apparaten. Naarmate hardwareconfiguraties (cameraplaatsing, resolutie) evolueren, zijn nieuwe trainingssets nodig die bestaan uit miljoenen frames. Bestaande methoden voor synthetische datageneratie missen vaak realisme, terwijl via crowdsourcing verzamelde real-world data onnauwkeurig is. Bovendien vertrouwen huidige semi-synthetische benaderingen die proberen oogafbeeldingen te synthetiseren vaak op expliciete oogbolmaskers en rigide rotaties, waarbij ze de ingewikkelde koppeling tussen de oogbol, oogleden en omringende gelaatstrekken negeren, wat de fysieke plausibiliteit en nauwkeurigheid verslechtert.

Methodologie

De auteurs stellen GazePrior voor, een zero-shot-benadering die een geleerde 3D-blik-prior gebruikt om hoogwaardige trainingsdata voor nieuwe ET-apparaten te synthetiseren, uitsluitend gebruikmakend van schaarse invoerdata van bestaande apparaten. De methode bestaat uit twee hoofdfasen:

1. Leren van een Ontkoppelde 3D-Blik-prior (Pretraining)

Geïnspireerd door 3D-avatar-methoden trainen de auteurs een conditioneel Neural Radiance Field (NeRF) dat de verdeling van menselijke ogen modelleert over diverse identiteiten, blikrichtingen en verlichtingsomstandigheden.

• Conditioneel Radiance Field: Het netwerk $\Psi$ neemt een 3D-punt $x$, kijkrichting $v$, en latente embedding voor subjectidentiteit ($\hat{s}$), blikrichting ($\hat{g}$) en verlichting ($\hat{l}$) als invoer. Het geeft dichtheid $\sigma$ en kleur $c$ als output.
• Ontkoppeling: De architectuur ontkoppelt deze factoren expliciet. Het dichtheidsnetwerk is afhankelijk van identiteit en blik, maar onafhankelijk van verlichting ($\hat{l}$), terwijl het kleurnetwerk afhankelijk is van alle drie. Dit zorgt ervoor dat geometrische consistentie niet wordt verward door veranderingen in verlichting.
• Latente Representaties:
  • Subject ($\hat{s}$): Een leerbare codeboekvector voor elke identiteit, die een gedeelde, laagfrequente representatie stimuleert die fungeert als regularisator tegen artefacten (drijvers).
  • Blik ($\hat{g}$): In tegenstelling tot modellen met rigide oogbolrotatie, wordt blik gecodeerd via sinusoidale encoding van de ground-truth-blikvector. Dit stelt het netwerk in staat de niet-rigide bewegingen van oogleden en wenkbrauwen te leren die gekoppeld zijn aan blikveranderingen.
  • Verlichting ($\hat{l}$): Een leerbare codeboekvector die alleen de kleuroutput beïnvloedt, zodat de gereconstrueerde geometrie invariant blijft ten opzichte van verlichting.
• Training: Het model wordt voorgetraind op een grote dataset (Lin et al. [11]) met meer dan 400 subjecten, multi-view afbeeldingen, variërende blikken en verlichting, met behulp van een verliesfunctie die RGB-reconstructie, perceptuele loss en KL-divergentie combineert om de latente ruimte te regulariseren.

2. Retargeting met Schaarse Invoer (Finetuning)

Om de prior aan te passen aan een nieuw doelapparaat (bijvoorbeeld een headset met een andere cameraconfiguratie), voert de methode een tweestaps-optimalisatie uit op schaarse bronafbeeldingen (bijvoorbeeld 4 views) van een bestaande headset:

1. Latente Optimalisatie: Met de voorgetrainde netwerkgewichten bevroren, optimaliseert het systeem de specifieke latente codes ($\hat{s}_I, \hat{l}_I$) voor het nieuwe subject en de verlichting om de schaarse bronviews te passen. De ground-truth-blikembedding $\hat{g}_I$ wordt berekend uit de bekende annotaties en blijft vast.
2. Finetuning: De netwerkgewichten worden ontvroren en gezamenlijk geoptimaliseerd met de latente codes om persoonspecifieke details te vangen en de reconstructie te verfijnen.
3. Synthese: Het resulterende hoogwaardige radiance field wordt gerenderd vanuit het perspectief van de camera's van het doelapparaat. Dit genereert synthetische trainingsafbeeldingen die de originele ground-truth-blikannotaties behouden, maar overeenkomen met de optische kenmerken van het nieuwe apparaat.

Belangrijkste Bijdragen

• Eerste Geleerde Blik-prior: Het paper introduceert de eerste 3D-blik-prior die subject, blik en licht ontkoppelt, met biologisch accurate ooglidbewegingen zonder te vertrouwen op expliciete oogbolmaskers of rigide rotaties.
• 3D-Reconstructie met Schaarse Views: De methode maakt hoogwaardige novel view synthesis mogelijk vanuit extreem schaarse invoer (zoveel als 2-4 views), een aanzienlijke verbetering ten opzichte van eerdere methoden die dichte multi-view opnames vereisen.
• Zero-Shot Datageneratie: Het biedt een pijplijn om trainingsdata te genereren voor nieuwe AR/VR-apparaten zonder nieuwe real-world data te verzamelen, waardoor de domeinkloof tussen legacy- en nieuwe hardware effectief wordt overbrugd.
• Superieure Prestaties: De gesynthetiseerde data stelt ET-modellen in staat hogere nauwkeurigheid en robuustheid te bereiken in vergelijking met modellen die zijn getraind op data van concurrerende synthese-baselines.

Experimentele Resultaten

De auteurs evalueerden GazePrior met de Aria-headset als doelapparaat en vergeleken dit met state-of-the-art baselines (ControllableGaze [10], Lin et al. [11]).

• Novel View Synthesis (NVS): In kwantitatieve evaluaties (PSNR, SSIM, MSE) presteerde GazePrior aanzienlijk beter dan baselines naarmate het aantal invoerviews afnam. Met slechts 2 invoerviews bereikte GazePrior een prestatiekloof van bijna 10 dB ten opzichte van de beste baseline. Kwalitatieve resultaten toonden aan dat GazePrior hoogwaardige details (wimpers, oogleden) produceerde met een minimale domeinkloof in vergelijking met echte Aria-opnames, terwijl baselines drijvers en artefacten vertoonden.
• Eye Tracking Prestaties: Een ET-model getraind op GazePrior-gesynthetiseerde data bereikte een gemiddelde blikhoekfout van 5,85° op echte Aria-testdata. Dit is een aanzienlijke verbetering ten opzichte van baselines (12,53° en 12,69°) en benadert de prestaties van een model dat is getraind op echte, apparaatspecifieke data (4,35°).
• Ablatiestudies: De studie bevestigde dat ontkoppelde latente ruimtes en de scheiding van verlichting van dichtheid cruciaal zijn. Het gebruik van een enkele latente vector of het maken van dichtheid verlichtingsafhankelijk resulteerde in aanzienlijke prestatiedalingen. Sinusoidale blikencoding bleek effectiever dan geleerde codeboeken voor blik.

Betekenis en Claims

Het paper beweert dat GazePrior de verbodsdrempel van datacollectie voor nieuwe AR/VR-apparaten aanpakt door een zero-shot-benadering voor eye tracking mogelijk te maken. Door bestaande geannoteerde datasets van oudere headsets te benutten en deze te retargeten via een geleerde 3D-prior, stelt de methode ontwikkelaars in staat:

1. Robuuste eye trackers te trainen voor nieuwe apparaten voordat ze fysiek zijn gebouwd.
2. Te evalueren hoe cameraplaatsing de prestaties beïnvloedt zonder fysiek prototyping.
3. Hoge nauwkeurigheid te bereiken zonder de noodzaak van dure, grootschalige datacollectiecampagnes.

De auteurs positioneren dit werk als een fundamentele stap naar het ontsluiten van geavanceerde functies zoals foveated rendering en gaze-pinch-interacties in XR, waarbij de datacollectie-flesnek wordt verwijderd die momenteel snelle iteratie in het veld belemmert. Ze erkennen beperkingen, zoals de moeilijkheid om hoogfrequente corneale glints te simuleren met radiance fields, maar benadrukken het succes van de methode in het genereren van diverse, realistische trainingsdata die bestaande synthetische technieken overtreft.