Technische Zusammenfassung: GazePrior

Problemstellung

Eye Tracking (ET) ist eine grundlegende Technologie für fortschrittliche Augmented-Reality- (AR) und Virtual-Reality- (VR-) Anwendungen und ermöglicht Funktionen wie foveiertes Rendering und gaze-basierte Interaktion. Das Training von Deep-Learning-Modellen für ET wird jedoch durch die hohen Kosten und den Zeitaufwand behindert, die erforderlich sind, um für jede neue Gerätegeneration reale Daten mit hochwertigen Ground-Truth-Annotationen zu sammeln. Da sich Hardwarekonfigurationen (Kamerapositionierung, Auflösung) weiterentwickeln, sind neue Trainingsdatensätze bestehend aus Millionen von Frames notwendig. Bestehende Methoden zur Generierung synthetischer Daten fehlt oft die Realitätsnähe, während crowdsourcte reale Daten ungenau sind. Darüber hinaus verlassen sich aktuelle semi-synthetische Ansätze, die versuchen, Augenbilder zu synthetisieren, häufig auf explizite Augapfelmasken und starre Rotationen, wobei sie die komplexe Kopplung zwischen Augapfel, Augenlidern und umgebenden Gesichtszügen ignorieren, was die physikalische Plausibilität und Genauigkeit beeinträchtigt.

Methodik

Die Autoren schlagen GazePrior vor, einen Zero-Shot-Ansatz, der einen erlernten 3D-Gaze-Prior nutzt, um hochfidele Trainingsdaten für neue ET-Geräte unter Verwendung nur spärlicher Eingangsdaten bestehender Geräte zu synthetisieren. Die Methode besteht aus zwei Hauptphasen:

1. Erlernen eines entkoppelten 3D-Gaze-Priors (Pretraining)

Inspiriert von 3D-Avatar-Methoden trainieren die Autoren ein bedingtes Neuronales Strahlungsfeld (NeRF), das die Verteilung menschlicher Augen über diverse Identitäten, Blickrichtungen und Lichtverhältnisse modelliert.

• Bedingtes Strahlungsfeld: Das Netzwerk $\Psi$ nimmt einen 3D-Punkt $x$, eine Blickrichtung $v$ sowie latente Embeddings für die Subjekt-Identität ($\hat{s}$), die Blickrichtung ($\hat{g}$) und die Beleuchtung ($\hat{l}$) entgegen. Es gibt Dichte $\sigma$ und Farbe $c$ aus.
• Entkopplung: Die Architektur entkoppelt diese Faktoren explizit. Das Dichtennetzwerk hängt von Identität und Blick ab, ist jedoch unabhängig von der Beleuchtung ($\hat{l}$), während das Farbnetzwerk von allen drei Faktoren abhängt. Dies stellt sicher, dass die geometrische Konsistenz nicht durch Beleuchtungsänderungen verfälscht wird.
• Latente Repräsentationen:
  • Subjekt ($\hat{s}$): Ein lernbarer Codebuchvektor für jede Identität, der eine gemeinsame, niederfrequente Repräsentation fördert, die als Regularisierer gegen Artefakte (Floaters) wirkt.
  • Blick ($\hat{g}$): Im Gegensatz zu Modellen starrer Augapfelrotation wird der Blick über eine sinusförmige Kodierung des Ground-Truth-Blickvektors codiert. Dies ermöglicht dem Netzwerk, die nicht-starren Bewegungen von Augenlidern und Augenbrauen zu erlernen, die mit Blickänderungen gekoppelt sind.
  • Beleuchtung ($\hat{l}$): Ein lernbarer Codebuchvektor, der nur die Farbausgabe beeinflusst und sicherstellt, dass die rekonstruierte Geometrie gegenüber Beleuchtung invariant bleibt.
• Training: Das Modell wird auf einem großen Datensatz (Lin et al. [11]) vortrainiert, der über 400 Probanden mit Multi-View-Bildern, variierenden Blicken und Beleuchtungen enthält, unter Verwendung einer Verlustfunktion, die RGB-Rekonstruktion, perceptual loss und KL-Divergenz kombiniert, um den latenten Raum zu regularisieren.

2. Sparse-Input-Retargeting (Finetuning)

Um den Prior an ein neues Zielgerät (z. B. ein Headset mit einer anderen Kamerakonfiguration) anzupassen, führt die Methode eine zweistufige Optimierung an spärlichen Quelldaten (z. B. 4 Ansichten) eines bestehenden Headsets durch:

1. Latente Optimierung: Mit eingefrorenen Gewichten des vortrainierten Netzwerks optimiert das System die spezifischen latenten Codes ($\hat{s}_I, \hat{l}_I$) für das neue Subjekt und die Beleuchtung, um die spärlichen Quellansichten anzupassen. Das Ground-Truth-Blick-Embedding $\hat{g}_I$ wird aus den bekannten Annotationen berechnet und festgehalten.
2. Finetuning: Die Netzwerkgewichte werden entsperrt und gemeinsam mit den latenten Codes optimiert, um subjektspezifische Details zu erfassen und die Rekonstruktion zu verfeinern.
3. Synthese: Das resultierende hochfidele Strahlungsfeld wird aus der Perspektive der Kameras des Zielgeräts gerendert. Dies erzeugt synthetische Trainingsbilder, die die ursprünglichen Ground-Truth-Blick-Annotationen beibehalten, aber den optischen Eigenschaften des neuen Geräts entsprechen.

Hauptbeiträge

• Erster erlernter Gaze-Prior: Die Arbeit stellt den ersten 3D-Gaze-Prior vor, der Subjekt, Blick und Licht entkoppelt und biologisch genaue Augenlidbewegungen bietet, ohne auf explizite Augapfelmasken oder starre Rotationen zurückzugreifen.
• Sparse-View-3D-Rekonstruktion: Die Methode ermöglicht eine hochwertige Novel-View-Synthese aus extrem spärlichen Eingaben (so wenig wie 2–4 Ansichten), eine signifikante Verbesserung gegenüber früheren Methoden, die dichte Multi-View-Aufnahmen erfordern.
• Zero-Shot-Datensynthese: Sie bietet eine Pipeline zur Generierung von Trainingsdaten für neue AR/VR-Geräte ohne Sammlung neuer realer Daten und überbrückt effektiv die Domänenlücke zwischen alter und neuer Hardware.
• Überlegene Leistung: Die synthetisierten Daten ermöglichen es ET-Modellen, eine höhere Genauigkeit und Robustheit zu erreichen als Modelle, die auf Daten von konkurrierenden Synthese-Baselines trainiert wurden.

Experimentelle Ergebnisse

Die Autoren evaluierten GazePrior unter Verwendung des Aria-Headsets als Zielgerät und verglichen es mit State-of-the-Art-Baselines (ControllableGaze [10], Lin et al. [11]).

• Novel View Synthesis (NVS): In quantitativen Evaluierungen (PSNR, SSIM, MSE) schnitt GazePrior signifikant besser ab als die Baselines, wenn die Anzahl der Eingabeansichten abnahm. Mit nur 2 Eingabeansichten erreichte GazePrior eine Leistungslücke von fast 10 dB gegenüber der besten Baseline. Qualitative Ergebnisse zeigten, dass GazePrior hochfidele Details (Wimpern, Augenlider) mit minimalem Domänenabstand im Vergleich zu realen Aria-Aufnahmen erzeugte, während Baselines Floaters und Artefakte aufwiesen.
• Eye-Tracking-Leistung: Ein auf GazePrior-synthetisierten Daten trainiertes ET-Modell erreichte einen mittleren Blickwinkel-Fehler von 5,85° auf realen Aria-Testdaten. Dies stellt eine erhebliche Verbesserung gegenüber den Baselines (12,53° und 12,69°) dar und nähert sich der Leistung eines Modells an, das auf realen, gerätespezifischen Daten trainiert wurde (4,35°).
• Ablationsstudien: Die Studie bestätigte, dass entkoppelte latente Räume und die Trennung von Beleuchtung und Dichte kritisch sind. Die Verwendung eines einzelnen latenten Vektors oder die Abhängigkeit der Dichte von der Beleuchtung führte zu signifikanten Leistungseinbußen. Die sinusförmige Blickkodierung erwies sich als effektiver als erlernte Codebücher für den Blick.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GazePrior die prohibitiven Kosten der Datensammlung für neue AR/VR-Geräte adressiert, indem es einen Zero-Shot-Ansatz für Eye Tracking ermöglicht. Durch die Nutzung bestehender annotierter Datensätze älterer Headsets und deren Retargeting über einen erlernten 3D-Prior ermöglicht die Methode Entwicklern:

1. Robuste Eye Tracker für neue Geräte zu trainieren, bevor diese physisch gebaut sind.
2. Zu evaluieren, wie sich die Kamerapositionierung auf die Leistung auswirkt, ohne physisches Prototyping.
3. Hohe Genauigkeit ohne die Notwendigkeit teurer, groß angelegter Datensammlungskampagnen zu erreichen.

Die Autoren positionieren diese Arbeit als einen grundlegenden Schritt zur Erschließung fortschrittlicher Funktionen wie foveiertes Rendering und Gaze-Pinch-Interaktionen in XR, indem sie die Engpassproblematik der Datensammlung beseitigen, die derzeit schnelle Iterationen in diesem Bereich behindert. Sie räumen Einschränkungen ein, wie die Schwierigkeit, hochfrequente Hornhautreflexe mit Strahlungsfeldern zu simulieren, betonen jedoch den Erfolg der Methode bei der Generierung vielfältiger, realistischer Trainingsdaten, die bestehende Synthesetechniken übertreffen.