HiFiGaze: Improving Eye Tracking Accuracy Using Screen Content Knowledge

Die Arbeit stellt HiFiGaze vor, eine Methode zur Verbesserung der Genauigkeit von Eye-Tracking auf Consumer-Geräten, indem sie das Wissen über den angezeigten Bildschirminhalt nutzt, um die Reflexion des Bildschirms in den Augen des Nutzers präzise zu segmentieren und so den Blickpunkt zu bestimmen.

Taejun Kim, Vimal Mollyn, Riku Arakawa, Chris Harrison

Veröffentlicht 2026-03-23
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

📱 HiFiGaze: Wenn dein Handy-Display in deinen Augen leuchtet

Stell dir vor, du hältst dein Smartphone in der Hand und schaust auf den Bildschirm. Normalerweise denkt dein Handy nur: „Ich sehe ein Gesicht und zwei Augen." Aber was, wenn dein Handy auch sehen könnte, was genau du auf dem Bildschirm ansiehst, indem es in deine Augen schaut? Genau das ist die Idee hinter HiFiGaze.

1. Das Problem: Der „verwirrte" Spiegel

Frühere Methoden, um zu erraten, wohin du schaust, funktionieren wie ein Detektiv, der nur die Augenbrauen und die Form der Augen betrachtet. Das funktioniert okay, ist aber oft ungenau (wie wenn man versucht, ein Ziel zu treffen, indem man nur auf die Kleidung des Ziels schaut).

Ein neuer Ansatz versucht, den Spiegel-Effekt zu nutzen: Wenn du auf einen hellen Bildschirm schaust, spiegelt sich dieser Bildschirm in deinem Auge wider (genau wie ein Fenster in einem Spiegel).

  • Das Problem: Ein Bildschirm kann alles Mögliche zeigen – ein weißes Blatt Papier, ein dunkles Foto, bunte Apps. Wenn man nur auf den hellen Punkt im Auge schaut, ist das wie der Versuch, ein Wort in einem Buch zu finden, ohne zu wissen, auf welcher Seite man ist. Der helle Punkt könnte überall sein.

2. Die Lösung: Das Handy weiß alles!

Hier kommt HiFiGaze ins Spiel. Das Geniale daran ist: Dein Handy weiß genau, was es gerade auf dem Bildschirm anzeigt.

Stell dir vor, du bist ein Detektiv, der in einen Spiegel schaut.

  • Der alte Weg: Du siehst nur einen kleinen Lichtfleck im Spiegel und musst raten, was dahinter ist.
  • Der HiFiGaze-Weg: Du hast einen Assistenten (das Handy), der dir flüstert: „Hey, ich zeige gerade ein rotes 'X' oben rechts auf dem Bildschirm."
  • Der Trick: Das Handy schaut in dein Auge, sucht nach dem Spiegelbild des roten 'X' und vergleicht es mit dem, was es gerade anzeigt. Wenn das Spiegelbild im Auge genau dort ist, wo das rote 'X' auf dem Bildschirm sein sollte, weiß das Handy: „Aha! Der Nutzer schaut genau dorthin!"

3. Wie funktioniert das technisch? (Die „Koch-Rezept"-Analogie)

Die Forscher haben ein neues „Rezept" für die Software entwickelt:

  1. Der Blickfang: Sie nehmen ein hochauflösendes Foto deiner Augen (wie mit einer 4K-Selfie-Kamera).
  2. Der Vergleich: Sie nehmen ein kleines, unscharfes Bild dessen, was gerade auf dem Handy-Bildschirm zu sehen ist (den „Screen Thumbnail").
  3. Die Suche: Die Software sucht im Auge nach dem Spiegelbild dieses Bildschirms. Sie vergleicht das Spiegelbild im Auge mit dem Originalbildschirm.
  4. Das Ergebnis: Aus der Position des Spiegelbildes im Auge berechnet das Handy genau, wohin du schaust.

Das Ergebnis: Diese Methode ist 18 % genauer als die alten Methoden. Das ist so, als würde man von einem groben Schätzwert auf eine präzise Messung mit einem Lineal wechseln. Man braucht keine extra Brille oder teure Sensoren; es funktioniert einfach mit dem Handy, das man ohnehin schon besitzt.

4. Ein kleines Hindernis und eine clevere Lösung

Es gab ein kleines Problem: Wenn man auf den unteren Teil des Bildschirms schaut, verdecken oft die eigenen Wimpern oder das obere Augenlid das Spiegelbild im Auge. Das ist wie wenn jemand einen Spiegel mit der Hand verdeckt.

Die Lösung: Die Forscher haben einen kleinen Test gemacht, bei dem sie das Handy auf den Kopf gestellt haben (so dass die Kamera unten am Handy ist).

  • Ergebnis: Wenn die Kamera unten ist, sieht sie die Augen von unten. Die Wimpern verdecken dann nicht mehr das Spiegelbild, wenn man nach unten schaut. Das machte die Messung noch genauer!

5. Warum ist das wichtig?

Bisher brauchte man für präzises „Blick-Tracking" (um z. B. mit den Augen durch Menüs zu navigieren) teure Spezialbrillen oder Infrarot-Lampen. HiFiGaze zeigt, dass wir das mit dem Handy, das wir schon in der Hosentasche haben, viel besser machen können.

Zusammengefasst:
HiFiGaze ist wie ein super-scharfer Blick, der nicht nur auf deine Augen schaut, sondern auch weiß, was du gerade liest. Durch diesen „Insider-Wissen" über den Bildschirm kann das Handy viel genauer erraten, wohin du schaust – ohne dass du eine extra Brille tragen musst. Das öffnet die Tür für neue Apps, die auf deinen Blick reagieren, sei es für Barrierefreiheit oder einfach für coolere Interaktionen mit deinem Smartphone.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →