💻 computer science

Low Latency Gaze Tracking via Latent Optical Sensing

Dieser Artikel stellt ein Echtzeit-Gaze-Tracking-System mit extrem niedriger Latenz vor, das die herkömmliche Bildverarbeitung umgeht, indem es einen passiven optischen Encoder mit einer Mikrolinsenarray und einer binären Maske verwendet, um direkt aufgabenrelevante latente Merkmale zu erfassen, wodurch eine End-zu-End-Latenz von 3,4 ms und eine verbesserte Energieeffizienz im Vergleich zu herkömmlichen kamera-basierten Ansätzen erreicht werden.

Ursprüngliche Autoren: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu erraten, wohin jemand schaut. Der traditionelle Weg, dies zu tun, gleicht dem Aufnehmen eines hochauflösenden 4K-Fotos ihres Auges, dem Senden dieser riesigen Datei an einen Supercomputer und dem Auffordern des Computers, jeden einzelnen Pixel zu analysieren, um die Blickrichtung zu ermitteln. Dies ist genau, aber langsam, verbraucht viel Batterie und erfordert große Datenmengen für den Transfer.

Dieser Artikel schlägt eine völlig andere, „Abkürzung"-Methode vor. Anstatt ein vollständiges Bild aufzunehmen, entwickelten sie einen speziellen optischen Filter, der wie ein intelligentes Sieb wirkt.

So funktioniert ihr System, aufgeteilt in einfache Konzepte:

1. Das „intelligente Sieb" (Der optische Encoder)

Stellen Sie sich vor, Sie haben einen Eimer Wasser (das Licht, das vom Auge kommt) und möchten wissen, ob es stark oder leicht regnet. Anstatt jeden einzelnen Tropfen in einem riesigen Netz zu fangen und sie einzeln zu zählen (ein vollständiges Foto aufzunehmen), gießen Sie das Wasser durch ein Sieb mit einem sehr spezifischen, maßgeschneiderten Lochmuster.

Die Hardware: Die Forscher bauten ein Gerät mit einem Mikrolinsenarray (ein Blatt winziger Lupe) und einer binären Maske (ein Blatt mit einem bestimmten Muster aus schwarzen und silbernen Quadraten).
Die Magie: Wenn Licht vom Auge durch dieses „Sieb" fällt, wird es in ein spezifisches Muster verschlüsselt. Das System interessiert sich nicht dafür, wie das Auge aussieht (keine Irisfarbe, kein Hautton, keine detaillierten Merkmale). Es interessiert sich nur für das Muster der Lichtintensität, das hindurchgelangt.
Das Ergebnis: Anstatt eines 256x256-Pixel-Bildes (65.000+ Datenpunkte) erfasst das System nur 16 Zahlen. Es ist, als würde man einen ganzen Roman in einen einzigen Satz komprimieren, der Ihnen dennoch die Haupthandlung erzählt.

2. Der „leichtgewichtige Übersetzer" (Der KI-Decoder)

Sobald das System diese 16 Zahlen hat, versucht es nicht, das Augenbild wiederherzustellen. Das wäre Zeitverschwendung. Stattdessen speist es diese 16 Zahlen in ein winziges, superschnelles Computerhirn (ein leichtgewichtiges neuronales Netz) ein.

Trainings-Trick: Um dieses kleine Hirn zu unterrichten, nutzten die Forscher eine „Lehrer"-KI, die weiß, wie man Augenbilder in abstrakte Codes umwandelt. Sie lehrten das neue System, den „Denkprozess" des Lehrers nur unter Verwendung der 16 Zahlen nachzuahmen.
Privatsphäre-Bonus: Da das System niemals tatsächlich ein echtes Bild des Auges sieht oder speichert, ist es von Natur aus privater. Man kann die Person anhand der 16 Zahlen nicht identifizieren, aber das System kann Ihnen dennoch genau sagen, wohin sie schauen.

3. Der Geschwindigkeitsrekord (Latenz)

Der größte Gewinn hier ist die Geschwindigkeit.

Traditionelle Kameras: Müssen warten, bis das gesamte Bild aufgenommen ist, dann alle Pixel auslesen und diese verarbeiten. Dies dauert normalerweise 10 bis 20 Millisekunden (oder mehr).
Dieses System: Da es den Schritt „Foto aufnehmen" überspringt und nur 16 winzige Sensoren ausliest, dauert der gesamte Prozess – vom Auftreffen des Lichts auf den Sensor bis zum Computer, der sagt „sie schauen nach links" – weniger als 3,4 Millisekunden.

Die Analogie:
Stellen Sie sich ein traditionelles Kamerasystem wie einen Fotografen vor, der ein Foto macht, es ausdruckt, zu einem Kunstkritiker bringt und fragt: „Wohin schaut die Person?"
Dieses neue System ist wie ein Sicherheitsbeamter, der überhaupt nicht auf das Gesicht der Person schaut. Stattdessen betrachtet er nur den Schatten, den die Person auf eine bestimmte Wand wirft. Der Schatten ist verzerrt und nicht als Gesicht erkennbar, aber der Beamte weiß genau, in welche Richtung die Person blickt, basierend auf der Form des Schattens. Es ist sofortig, erfordert keine Fotos und verbraucht sehr wenig Energie.

Was sie tatsächlich erreicht haben

Genauigkeit: In Tests schätzte das System die Blickrichtung mit einem Fehler von etwa 6 Grad (ungefähr die Breite eines Daumens in Armlänge). Dies ist für viele reale Anwendungen gut genug.
Realwelt-Test: Sie bauten einen physischen Prototyp mit echten Linsen, Masken und Sensoren. Als sie ihn an echten Menschen testeten, mussten sie der Person nur 12 bis 15 verschiedene Punkte auf einem Bildschirm zeigen, um das System für diese spezifische Person zu „kalibrieren", und es funktionierte gut.
Effizienz: Das System benötigt einen winzigen Bruchteil der Rechenleistung, die von Standardkameras erforderlich ist. Es ist so effizient, dass es auf sehr kleinen, batteriebetriebenen Geräten wie zukünftigen AR-Brillen laufen könnte.

Zusammenfassung:
Der Artikel zeigt, dass man keine hochauflösende Kamera benötigt, um Augenbewegungen zu verfolgen. Indem man einen cleveren optischen Filter verwendet, um Licht in eine winzige Menge von Zahlen zu verschlüsseln, und eine einfache KI, um diese Zahlen zu lesen, kann man verfolgen, wohin jemand schaut, in unter 4 Millisekunden. Dies ist schnell genug, um mit dem menschlichen Gehirn Schritt zu halten, was es perfekt für Virtual-Reality- und Augmented-Reality-Brillen der nächsten Generation macht, bei denen Verzögerungen zu Reisekrankheit führen.

Problemstellung

Konventionelle Blickverfolgungssysteme verlassen sich auf hochauflösende Kameras, um vollständige Augenbilder zu erfassen, gefolgt von der Inferenz durch tiefe neuronale Netze. Obwohl diese Methode präzise ist, führt sie aufgrund der Notwendigkeit, Millionen von Pixeln auszulesen und zu verarbeiten, zu erheblichem Erfassungs-, Bandbreiten- und Rechenaufwand. Diese Latenz überschreitet häufig die für zukünftige tragbare AR/VR-Displays erforderliche Schwelle von 5 ms, um eine Echtzeit-Interaktion und foveales Rendering zu unterstützen, ohne die Nutzerimmersion zu stören. Bestehende leichte oder ereignisbasierte Lösungen erfordern oft immer noch eine zeitliche Aggregation oder eine bildähnliche Rekonstruktion und scheitern daran, den grundlegenden Engpass der Vollbild-Aufnahme und -Verarbeitung zu eliminieren.

Methodik

Die Autoren schlagen ein vollständig passives optisches System vor, das die explizite Bildgebung vollständig umgeht. Anstatt ein dichtes Bild zu erfassen, führt das System eine aufgabenorientierte optische Kodierung durch, um direkt eine kompakte, niedrigdimensionale latente Darstellung des Auges zu gewinnen.

1. Optischer Encoder und Hardware-Architektur
Der Kern des Systems ist ein „latenter optischer Encoder", der aus drei Hauptkomponenten besteht:

Mikrolinsen-Array (MLA): Ein Fresnel-Linsen-Array, das das Augenbild verkleinert.
Binäre Chrom-Maske: Eine gemeinsam entworfene binäre Maske, die in der Brennebene des MLA platziert ist.
Fototransistor-Array: Ein 4×4-Array (16 Elemente), das die räumlich multiplexierten optischen Messungen erfasst.
Licht vom Auge durchläuft das MLA und wird durch die binäre Maske moduliert. Die resultierende kodierte Intensität wird direkt von den Fototransistoren erfasst, wodurch ein 16-dimensionaler Messvektor entsteht. Diese Hardware ist mit einem FPGA für eine schnelle Signalerfassung integriert.

2. End-to-End Trainingsframework
Das System wird mittels einer Simulations-zu-Real-Pipeline trainiert, die die optischen Kodierungsmasken und das digitale Inferenznetzwerk gemeinsam optimiert:

Digitale Emulation: Ein differenzierbarer digitaler Encoder $\tilde{E}$ simuliert den optischen Prozess unter Verwendung von 16 lernbaren binären Masken (Auflösung $256 \times 256$ ), die auf Eingabe-Augenbilder angewendet werden.
Latente Destillation: Um sicherzustellen, dass die 16 Messungen ausreichende Informationen enthalten, wendet das System einen „Lehrer-Schüler"-Destillationsansatz an. Ein Lehrer-Netzwerk ( $P_T$ ) invertiert einen vortrainierten StyleGAN2-Generator, um Augenbilder auf einen 256-dimensionalen latenten Raum ( $h_T$ ) abzubilden und den Blick zu vorhersagen. Ein Schüler-Dekoder ( $P$ ) wird trainiert, den komprimierten 16-Messungs-Vektor direkt auf denselben latenten Raum ( $h$ ) abzubilden sowie die Blickrichtung ( $\hat{g}$ ) und ein Güteflag ( $\hat{v}$ ) vorherzusagen.
Verlustfunktion: Das Trainingsziel kombiniert überwachtes Blick-Regression, Güte-Klassifikation, Blick-Destillation (Abgleich der Blickvorhersage des Lehrers) und Merkmals-Destillation (Abgleich der latenten Darstellung des Lehrers).
Daten-Augmentierung: Um Identitätsverzerrungen und die begrenzte Vielfalt des Datensatzes zu adressieren, verwenden die Autoren generative Inpainting (Flux-Diffusionsmodell mit SAM3 und ControlNet), um das periokulare Erscheinungsbild (Hautton, Beleuchtung) zu variieren, während das Ground-Truth-Blicklabel erhalten bleibt.

3. Blicksteuerung
Das Framework umfasst ein Steuerungsnetzwerk, das den Blick im latenten Raum steuern kann. Durch die Vorhersage einer residualen Verschiebung ( $\Delta h$ oder $\Delta w^+$ ) basierend auf Quell- und Ziel-Blickvektoren kann das System die latente Darstellung bearbeiten, um die Blickrichtung zu ändern, während die Identität des Subjekts erhalten bleibt. Dies demonstriert, dass die erlernten Merkmale den Blick effektiv vom Erscheinungsbild entkoppeln.

Hauptbeiträge

End-to-End Latent-Space-Framework: Ein neuartiges Framework, das die passive optische Kodierung und die neuronale Dekodierung gemeinsam optimiert und eine direkte Blickinferenz aus 16 skalaren Messungen ohne Rekonstruktion vollständiger Augenbilder ermöglicht.
Kompakter Hardware-Prototyp: Ein optisches Einzelaufnahmesensing-System, das ein MLA, optimierte binäre Masken und ein 4×4-Fototransistor-Array mit FPGA-Erfassung nutzt. Dieses Design erreicht eine End-to-End-Latenz von 3,4 ms (einschließlich Erfassung und Berechnung).
Simulations-zu-Real-Pipeline: Eine zweistufige Evaluierungsstrategie, die einen simulierten Fehler über Subjekte hinweg von 6,47° und einen kalibrierten, pro-Subjekt-Fehler in der realen Welt unter 6° unter Verwendung von nur 12–15 Kalibrierungspunkten erreicht.

Ergebnisse

Genauigkeit vs. Effizienz: Auf dem ETH-XGaze-Datensatz erreicht die vorgeschlagene Methode einen Winkel-Fehler von 6,47° unter Verwendung von nur 16 Messungen und einem leichten MLP (0,244M Parameter, 0,49M FLOPs).
- Im Vergleich zu einer 16×16 ResNet18-Baseline reduziert sie die Erfassungsdimensionalität um das 16-fache, die Parameter um das ~48-fache und die Berechnung um das ~573-fache.
- Im Vergleich zu einer 256×256 ResNet18-Baseline reduziert sie die Erfassungsdimensionalität um das 4096-fache und die Berechnung um das ~9300-fache.
- Sie übertrifft kompakte Backbones wie MobileNetV3 und EfficientNet-B0 in Bezug auf Parameter- und FLOP-Effizienz bei gleichzeitiger Beibehaltung einer wettbewerbsfähigen Genauigkeit.
Latenz: Das System demonstriert eine gesamte End-to-End-Latenz von 3,4 ms auf einer CPU (3,19 ms für optische Erfassung/Erfassung + 0,22 ms für Inferenz). Dies übertrifft herkömmliche bildbasierte mobile Edge-Systeme (typischerweise mehrere zehn Millisekunden) erheblich und nähert sich der Leistung spezialisierter Hochgeschwindigkeits-Kommercial-Tracker (z. B. EyeLink 1000 Plus).
Leistung in der realen Welt: Mit subjetspezifischer Feinabstimmung unter Verwendung von 12 Kalibrierungspunkten erreicht das System einen mittleren Winkel-Fehler von 5,96°, wobei einige Subjekte 4,5° erreichen.
Datenschutz: Das System bewahrt die Privatsphäre, indem es nur aufgabenrelevante latente Merkmale erfasst und keine biometrischen Augenbilder, wie durch die Unfähigkeit demonstriert wird, die Identität des Subjekts aus den Messungen wiederherzustellen.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Verlagerung der Merkmalsextraktion in den optischen Bereich durch aufgabengetriebenes Design einen gangbaren Weg zu einer ultra-niedrigen Latenz und energieeffizienten Blickverfolgung bietet. Durch die Eliminierung des Bedarfs an hochbandbreitiger Bildauslesung und schwerer rechnerischer Verarbeitung erfüllt das System die strengen Latenzanforderungen von <5 ms für immersive XR-Anwendungen. Die Autoren betonen, dass der aktuelle Prototyp zwar ein Proof-of-Concept ist, die drastische Reduzierung des Datenvolumens (von Megapixeln auf 16 Skalare) jedoch einen klaren Weg für hocheffiziente Implementierungen in zukünftigen batteriebetriebenen tragbaren Geräten aufzeigt. Die Arbeit unterstreicht das Potenzial von „Sensing-as-Inference", die konventionelle Bildgebung für spezifische Computer-Vision-Aufgaben zu ersetzen.