💻 computer science

ARGaze: Autoregressive Transformers for Online Egocentric Gaze Estimation

Das Paper schlägt ARGaze vor, ein autoregressives Transformer-Modell, das die Online-Egozentrische Blickschätzung als sequenzielles Vorhersageproblem neu formuliert, indem es den aktuellen Blick auf visuelle Merkmale und eine begrenzte Historie rezenter Blick-Schätzungen konditioniert und so eine führende Leistung (State-of-the-Art) auf mehreren Benchmarks erzielt.

Ursprüngliche Autoren: Jia Li, Wenjie Zhao, Shijian Deng, Bolin Lai, Yuheng Wu, RUijia Chen, Jon E. Froehlich, Yuhang Zhao, Yapeng Tian

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jia Li, Wenjie Zhao, Shijian Deng, Bolin Lai, Yuheng Wu, RUijia Chen, Jon E. Froehlich, Yuhang Zhao, Yapeng Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie tragen eine Kamera auf dem Kopf und nehmen Ihren Tag aus Ihrer eigenen Perspektive auf. Sie machen Kaffee, lesen ein Buch oder ordnen Ihren Schreibtisch. Das Ziel dieser Forschung ist es, einem Computer beizubringen, allein durch das Ansehen des Videofeeds, Bild für Bild in Echtzeit, genau zu erraten, wohin Sie schauen.

Das Paper stellt ein neues System namens ARGaze vor. So funktioniert es, erklärt durch einfache Analogien:

Das Problem: Die „Zeitreise“-Falle

Die meisten bisherigen Systeme versuchten, zu erraten, wohin man schaut, indem sie ein ganzes Videostück auf einmal betrachteten – wie das Anschauen eines Filmclips von Anfang bis Ende, um zu erraten, was in der Mitte passiert.

Das Problem: In der realen Welt (wie bei Augmented-Reality-Brillen) kann man nicht auf die Zukunft warten. Man muss wissen, wohin der Nutzer genau jetzt schaut, während das Video läuft.
Der Fehler: Alte Methoden haben oft „geschummelt“, indem sie in zukünftige Bilder hineingeschaut haben, um ihre Vorhersage präzise zu machen. Das ist so, als würde man versuchen, ein Puzzle zu lösen, während man auf die Lösung auf der Rückseite der Schachtel schaut. Das funktioniert im Labor, aber es scheitert in Echtzeit.
Die Instabilität: Andere Methoden behandelten jedes Videobild als einen separaten, isolierten Moment. Das ließ die Vorhersage des Computers wild hin und her springen, wie eine wackelige Kamera, selbst wenn Ihre Augen ruhig waren.

Die Lösung: ARGaze (Der „autoregressive“ Ansatz)

Die Autoren schlagen eine neue Denkweise vor: Blickrichtung ist eine Geschichte, kein Schnappschuss.

Stellen Sie sich vor, Sie lesen ein Buch. Wenn Sie wissen, wohin Ihre Augen vor einer Sekunde geschaut haben, haben Sie einen sehr starken Hinweis darauf, wohin sie als Nächstes schauen werden. Sie müssen nicht jedes Mal den ganzen Raum neu scannen; Sie folgen einfach der Spur Ihrer Aufmerksamkeit.

ARGaze arbeitet wie ein Detektiv, der ein Rätsel Schritt für Schritt löst:

Der Hinweis (Visuelles): Es betrachtet das aktuelle Bild (den Videoframe), um zu sehen, welche Objekte vorhanden sind.
Die Historie (Der Kontext): Es erinnert sich an die letzten Orte, an denen Sie hingeschaut haben (das „Gaze Context Window“).
Die Vorhersage: Es kombiniert das aktuelle Bild mit der Historie, um zu erraten, wohin Sie als Nächstes schauen werden.

Dies nennt man Autoregressiv. Denken Sie an ein Spiel wie „Stille Post“, bei dem die Nachricht weitergegeben wird. Das System nutzt nur Informationen aus der Vergangenheit und der Gegenwart, niemals aus der Zukunft. Das macht es perfekt für Echtzeit-Geräte.

Erklärungen der Kernmerkmale mit Metaphern

1. Das „Begrenzte Gedächtnis“ (Das Notizbuch mit fester Größe)
Alte Systeme versuchten, die gesamte Videohistorie zu speichern, was eine gewaltige Menge an Computerarbeitsspeicher erfordert (wie der Versuch, eine ganze Bibliothek in der Tasche zu tragen).

ARGazes Trick: Es verwendet ein kleines, fest dimensioniertes Notizbuch. Es schreibt nur die letzten paar Sekunden dessen auf, wohin Sie geschaut haben. Sobald die Seite voll ist, löscht es die älteste Notiz, um Platz für die neue zu schaffen.
Warum das wichtig ist: Dies hält den Speicherverbrauch des Computers konstant und niedrig, sodass er auf leichtgewichtigen Geräten wie AR-Brillen reibungslos laufen kann, ohne heiß zu werden oder langsam zu werden.

2. Die „Tracking-Vorlage“ (Die Lupe)
Manchmal ist das Video verschwommen oder Ihre Hände bewegen sich schnell, was es schwierig macht zu erkennen, worauf Sie schauen.

ARGases Trick: Es nimmt einen winzigen, hochauflösenden Ausschnitt (eine Art „Lupe“) aus dem Bereich, in den Sie vor einem Moment geschaut haben. Es nutzt diese Nahaufnahme, um dem Computer zu helfen, den Fokus auf das richtige Objekt zu halten, selbst wenn die Kamera wackelt oder Ihre Hände die Sicht blockieren.
Warum das wichtig ist: Es verhindert, dass der Computer durch Ihre beweglichen Hände abgelenkt wird, und hält ihn stattdessen auf das eigentliche Objekt fixiert, an das Sie interessiert sind (wie eine Kaffeetasse und nicht die Hand, die sie hält).

Die Ergebnisse: Warum es besser ist

Die Forscher haben ARGaze auf drei verschiedenen Datensätzen getestet (Kochvideos, Videos aus dem Alltag, komplexe Aufgaben).

Genauigkeit: Es hat den Blickpunkt genauer erraten als bisherige Methoden.
Geschwindigkeit: Es ist fast doppelt so schnell wie die besten bestehenden Systeme.
Stabilität: Es zittert nicht. Wenn Sie auf ein Buch starren, bleibt die Vorhersage des Computers stabil auf dem Buch, anstatt wild herumzuspringen.
Robustheit: Selbst wenn der Computer den spezifischen Raum oder die Aufgabe noch nie gesehen hat (eine „neue“ Umgebung), funktioniert er immer noch gut, weil er sich auf das Muster der Augenbewegung verlässt und nicht nur auf das Auswendiglernen bestimmter Szenen.

Zusammenfassung

Kurz gesagt: ARGaze verändert die Art und Weise, wie Computer vorhersagen, wohin man schaut. Anstatt zu versuchen, den ganzen Film auf einmal zu sehen, agiert es wie ein menschlicher Beobachter: Es betrachtet die aktuelle Szene, erinnert sich daran, wohin es gerade geschaut hat, und nutzt diesen Fluss, um vorherzusagen, wohin man als Nächstes schauen wird. Dies macht es schnell, speichereffizient und stabil genug für den realen Einsatz in Augmented Reality und assistiven Robotern.

Technisches Resümee: ARGaze: Autoregressive Transformer für die Online-Egozentrische Blicksteuerung (Gaze Estimation)

Problemdefinition

Das Paper befasst sich mit der Online-Egozentrischen Blicksteuerung (Egocentric Gaze Estimation), einer Aufgabe, bei der vorhergesagt werden soll, wohin eine Kamera tragende Person blickt, indem ausschließlich vergangene und aktuelle Videoframes genutzt werden. Im Gegensatz zur Blicksteuerung aus der Third-Person-Perspektive, die auf beobachtbaren Kopfbewegungen und Augenmerkmalen basiert, fehlen in egozentrischen Umgebungen direkte Gesichtssignale. Stattdessen müssen Modelle die visuelle Aufmerksamkeit aus spärlichen, indirekten Hinweisen wie Szeneninhalt und Mensch-Objekt-Interaktionen ableiten.

Gängige Ansätze behandeln dies als ein Offline-Problem der spatiotemporalen Integration basierend auf Clips. Diese Methoden verwenden typischerweise 3D-Konvolutionen oder bidirektionale Attention-Mechanismen, die Zugriff auf den zukünftigen zeitlichen Kontext erfordern. Eine solche Architektur verletzt die Echtzeit-Beschränkungen, was sie für Streaming-Anwendungen wie Augmented Reality (AR) und assistive Robotik unpraktikabel macht. Darüber hinaus behandeln diese Modelle Frames oft als parallelisierte Clips anstatt als kontinuierliche Verhaltenssequenzen, wodurch sie die physiologische Stabilität menschlicher Fixationen nicht erfassen und unter visuellen Störungen zu erratischen Vorhersagen führen.

Methodik: ARGaze

Die Autoren schlagen ARGaze vor, ein Framework, das die Blicksteuerung als eine kausale autoregressive Sequenzgenerierungsaufgabe neu formuliert. Inspiriert durch die visuell konditionierte autoregressive Dekodierung in Vision-Language-Modellen, sagt ARGaze Blick-Heatmaps sequentiell voraus, wobei jede Vorhersage auf aktuellen visuellen Merkmalen und einer begrenzten Historie vorangegangener Blickschätzungen basiert.

Das Framework besteht aus fünf Kernkomponenten:

Szenen-Encoder (Scene Encoder): Nutzt ein vortrainiertes Vision-Foundation-Modell (DINOv3), um hierarchische spatiotemporale Merkmale aus dem aktuellen Frame ( $I_t$ ) zu extrahieren. Es integriert zudem Tracking-bewusste Templates (Tracking-aware Templates), bei denen es sich um lokalisierte, hochauflösende Ausschnitte aus historischen Frames handelt, die auf den zuvor vorhergesagten Blickkoordinaten zentriert sind. Diese Templates liefern spezifische visuelle Priors, die dem Modell helfen, die Aufmerksamkeit bei schnellen Kamerabewegungen auf Zielobjekte zu halten.
Autoregressiver Heatmap-Tokenizer: Wandelt ein begrenztes Fenster der jüngsten Blickhistorie ( $H_{t-k:t-1}$ ) in hochdimensionale temporale Tokens um. Dies beinhaltet das Downsampling historischer Heatmaps, deren Projektion in den latenten Raum via 1 $\times$ 1-Konvolutionen sowie das Hinzufügen von temporalen und Token-Typ-Embeddings, um zwischen vergangenen Fixationen und aktuellen Query-Tokens zu unterscheiden.
Tracking-bewusstes Template-Modul (Tracking-aware Template Module): Schneidet historische Frames dynamisch baszentration auf dem Soft-Argmax der vorherigen Vorhersage-Heatmap zu. Dies versorgt den Decoder mit lokalisiertem visuellem Kontext und fungt als Tracking-artiger Hinweis, um ähnliche Objekte zu disambiguieren.
Kausaler Transformer-Decoder (Causal Transformer Decoder): Die zentrale Verarbeitungseinheit, die historische Blick-Tokens und visuelle Merkmale (globale Szene + Tracking-Templates) über Self-Attention- und Cross-Attention-Layer integriert. Entscheidend ist, dass er strikt kausal arbeitet und nur auf aktuelle und vergangene Beobachtungen zugreift. Er hält ein begrenztes Historienfenster ein, was einen konstanten Speicherbedarf unabhängig von der Videolänge gewährleistet.
Räumlicher Rekonstruktionskopf (Spatial Reconstruction Head): Ein konvolutionaler Upsampling-Zweig, der die generierten Sequenz-Tokens zurück in den räumlichen Bereich abbildet, um die endgültige 2D-Blickziel-Heatmap ( $H_t$ ) zu erzeugen.

Training und Inferenz:

Training: Das Modell wird mittels eines Kullback-Leibler-Divergenz-Verlusts (KL-Divergenz) zwischen vorhergesagten und Ground-Truth-Heatmaps optimiert. Um die Lücke zwischen dem Training (unter Verwendung der Ground-Truth-Historie) und der Inferenz (unter Verwendung der vorhergesagten Historie) zu schließen, setzen die Autoren Scheduled Sampling ein.
Inferenz: Das System arbeitet in einem Streaming-Modus. Für jeden eintreffenden Frame generiert der Decoder eine Vorhersage, die auf den visuellen Merkmalen und dem festen Größenfenster der Historie basiert, wodurch ein konstanter Speicherverbrauch und Echtzeit-Reaktionsfähigkeit sichergestellt werden.

Zentrale Beiträge

Kausale autoregressive Formulierung: Das Paper führt ARGaze ein, welches die egozentrische Blicksteuerung als kausale Sequenzvorhersage-Aufgabe neu definiert und so eine strikt online-fähige Inferenz ohne zukünftigen Kontext ermöglicht.
Architektur mit begrenztem Speicher (Bounded Memory Architecture): Durch die Nutzung eines festen Zeitfensters der Blickhistorie stellt die Methode einen konstanten Speicherverbrauch sicher, was ein effizientes Streaming über lange Zeiträume ohne die Rechenengpässe unbegrenzter Sequenzmodelle ermöglicht.
Verbesserte Robustheit und Genauigkeit: Das Framework integriert explizite temporale Modellierung mit visuellem Szenenverständnis und zeigt im Vergleich zu bisherigen Methoden eine verbesserte Robustheit gegenüber Hand-induzierten Bias und Out-of-Distribution (OOD)-Bedingungen.

Experimentelle Ergebnisse

Die Autoren evaluierten ARGaze auf drei Benchmarks: EGTEA Gaze+, Ego4D und EgoExo4D.

Leistung: ARGaze erreichte unter Online-Evaluierung State-of-the-Art-Ergebnisse über alle Benchmarks hinweg.
- Auf EGTEA Gaze+ erreichte es einen F1-Score von 44,48 % und übertraf damit die angepasste kausale GLC-Baseline (41,57 %) um fast 3 Prozentpunkte.
- Auf Ego4D erreichte es einen F1-Wert von 41,82 %.
- Auf EgoExo4D erreichte es 70,58 % F1 und 75,66 % Präzision.
Effizienz: In Langzeit-Streaming-Tests auf einer NVIDIA RTX A6000 GPU demonstrierte ARGaze signifikante Effizienzgewinne gegenüber der GLC-Baseline:
- Inferenzgeschwindigkeit: 1,82 $\times$ Beschleunigung (88,59 FPS gegenüber 48,74 FPS).
- Latenz: Reduktion der mittleren Latenz von 20,56 ms auf 11,29 ms.
- Speicher: Reduktion der CUDA-Speicherallokation um das 3,13-Fache (168,2 MB gegenüber 526,3 MB).
Robustheit:
- Out-of-Distribution (OOD): ARGaze behielt eine starke Leistung über OOD-Splits hinweg bei (unbekannte Teilnehmer, Standorte und Aufgaben), was darauf hindeutet, dass es transferierbare Aufmerksamkeitsdynamiken erfasst, statt auf domänenspezifische Merkmale zu überoptimieren.
- Hand-Abhängigkeit: Im Gegensatz zu Baselines, die unter „Hand-Bias“ leiden (fälschlicherweise bewegliche Hände verfolgen) oder bei Okklusion der Hände ein Leistungsabfall erfolgt, behielt ARGaze durch die Nutzung historischer Blick-Trajektorien eine stabile Fixierung auf aufgabenrelevante Objekte bei, um visuelle Ablenkungen zu filtern.
Echtwelt-Tests: In Experimenten mit einem Meta Quest 3 Headset übertraf ARGaze die GLC-Baseline konsistent und verbesserte den Heatmap-F1-Wert von 0,0411 auf 0,4667 bei täglichen Aktivitäten wie dem Organisieren eines Schreibtisches oder dem Zubereiten von Kaffee.

Bedeutung und Ansprüche

Das Paper behauptet, dass ARGaze eine kritische Lücke in der bestehenden Literatur schließt: die Diskrepanz zwischen aktuellen Modellierungsparadigmen (die Blick als parallelisierte Clips behandeln) und der physiologischen Natur des menschlichen Blicks (gekennzeichnet durch stabile Fixationen und Sakkaden). Durch die Durchsetzung von strikter Kausalität und begrenztem Speicher argumentieren die Autoren, dass eine autoregressive Modellierung essenziell für eine robuste Echtzeit-Vorhersage in Streaming-Umgebungen ist.

Die Autoren positionieren ARGaze als praktische Lösung für Augmented Reality und assistive Robotik, wo Systeme die Intention des Nutzers antizipieren und proaktive Anleitung bieten müssen, während jeder Frame eintrifft. Die Arbeit betont, dass eine genaue, latenzarme und speichereffiziente Blicksteuerung grundlegend für menschenzentrierte KI-Systeme ist, die die Absicht des Nutzers verstehen, ohne auf explizite Kopf- oder Augensignale angewiesen zu sein. Die Autoren merken an, dass trotz des Fortschritts in den algorithmischen Fähigkeiten die zukünftige Implementierung Priorität auf Datenschutz und ethische Erwägungen hinsichtlich sensibler Nutzerdaten legen muss.