EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input
EgoGazeLite ist ein leichtgewichtiger, auf dem Gerät laufender Dual-Prozess-Blickvorhersager, der durch das präzise Zuschneiden von Videos basierend auf vorhergesagtem Blickverlauf ein token-effizientes egozentrisches Video-Verständnis für multimodale LLMs ermöglicht, wodurch die Notwendigkeit dedizierter Eye-Tracking-Hardware eliminiert wird, während gleichzeitig die Beschreibungsqualität beibehalten wird und der Echtzeitbetrieb auf Consumer-Hardware gewährleistet ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie tragen eine intelligente Brille, die die Welt durch Ihre Augen beobachtet und beschreibt, was Sie gerade tun. Diese Technologie verspricht, einem Chirurgen dabei zu helfen, sich an einen komplexen Eingriff zu erinnern, einen Mechaniker bei einer Reparatur anzuleiten oder Menschen mit Sehbehinderungen zu assistieren, indem sie ihre Umgebung verbalisiert. Um dies zu ermöglichen, muss die Brille einen Video-Feed an ein leistungsstarkes System künstlicher Intelligenz senden, das in der Lage ist, Bilder und Sprache zu verstehen. Hierbei gibt es jedoch einen erheblichen Engpass: Das Senden von hochauflösendem Video erfordert eine massive Menge an Daten, weit mehr, als ein kleines tragbares Gerät problemlos übertragen oder verarbeiten kann. Auch die Computersysteme, die diese Videos verstehen, haben Schwierigkeiten, wenn sie mit zu vielen visuellen Informationen auf einmal gefüttert werden, da sie oft durch das schiere Volumen der Pixel überfordert werden.
Forscher haben einen cleveren Weg gefunden, um dieses Datenproblem zu lösen, indem sie sich nur auf das konzentrieren, was die Person tatsächlich ansieht. Anstatt die gesamte breite Ansicht zu senden, kann das System das Video zuschneiden, um nur den kleinen Bereich zu zeigen, auf den der Blick des Trägers fixiert ist. Dies reduziert die Datenmenge, die der Computer verarbeiten muss, um etwa neunzig Prozent, was die Aufgabe wesentlich schneller und kostengünstiger macht. Bis jetzt erforderte dieser Ansatz eine spezielle, teure Hardware, die in die Brille eingebaut war, um Augenbewegungen präzise zu verfolgen. Ohne diese dedizierte Hardware konnte das System nicht wissen, wohin es schauen sollte, was das Potenzial dieser intelligenten Brillen für den alltäglichen Gebrauch ungenutzt ließ.
Ein Team von Forschern hat nun demonstriert, dass ein dedizierter Eye-Tracking-Sensor gar nicht notwendig ist. Sie entwickelten ein leichtgewichtiges Softwareprogramm, das vorhersagen kann, wohin eine Person schaut, indem es lediglich den Videostream selbst analysiert. Dieses Programm namens EgoGazeLite läuft direkt auf einem handelsüblichen Smartphone und ist genau genug, um die teure Hardware-Sensoren zu ersetzen. Die Forscher testeten dies, indem sie Videoclips in ein KI-System einspeisten und diese basierend auf entweder den echten Eye-Tracking-Daten oder der Vorhersage der Software zuschneiden ließen. Sie baten die KI dann, die Handlungen im Video zu beschreiben. Die Ergebnisse zeigten, dass die generierten Beschreibungen aus dem vorhergesagten Blick nahezu identisch mit denen waren, die aus den echten Eye-Tracking-Daten generiert wurden. In jedem Testfall erbrachte die Software-Vorhersage eine ebenso gute Leistung wie die Hardware-Messung, was bewies, dass das System auch ohne den spezialisierten Sensor funktionieren kann.
Die Software selbst ist bemerkenswert effizient. Sie ist klein genug, um in Echtzeit auf handelsüblicher Hardware, wie etwa dem Prozessor eines modernen Smartphones, zu laufen, wobei sie die Vorhersage und den Zuschnitt jedes Videorahmens in weniger als zweiundzwanzig Millisekunden abschließt. Diese Geschwindigkeit ist entscheidend, da sie bedeutet, dass das System mit einem Live-Video-Feed Schritt halten kann, ohne Verzögerungen aufzuweisen. Die Forscher trainierten diese Software mit tausenden Stunden Videomaterial von Menschen, die verschiedene Aufgaben ausführten, vom Kochen und Reparieren von Fahrrädern bis hin zum Fußballspielen und der Durchführung von HLW-Maßnahmen (Herz-Lungen-Wiederbelebung). Als sie das System mit neuen, unbekannten Videos testeten, identifizierte es mit hoher Präzision, wohin die Person blickte. Die Software arbeitet, indem sie lernt, auf zwei verschiedene Arten Aufmerksamkeit zu richten: eine basiert darauf, was im Szenario visuell hell oder beweglich ist, und eine andere darauf, wohin die Person einen Moment zuvor geschaut hat. Sie kombiniert diese beiden Hinweise, um den nächsten Fokuspunkt zu erraten.
Um sicherzustellen, dass ihre Ergebnisse robust waren, verließen sich die Forscher nicht auf eine einzige Evaluierungsmethode. Sie nutzten zwei verschiedene große Sprachmodelle, um die Videobeschreibungen zu generieren, und ließen diese Beschreibungen sowohl von automatisierten Bewertungssystemen als auch von anderen fortschrittlichen KI-Modellen beurteilen. Sie verglichen die Qualität der Beschreibungen aus dem vorhergesagten Blick mit der „Ground Truth“ (den tatsächlichen Werten) der Hardware-Sensoren sowie mit einer einfachen Baseline, die lediglich die Mitte des Bildschirms zuschneidet. Die Ergebnisse waren eindeutig: Der vorhergesagte Blick erzeugte Beschreibungen, die signifikant besser waren als der mittige Zuschnitt und statistisch ununterscheidbar von dem auf Hardware basierenden Blick waren. Tatsächlich war die Software-Vorhersage so nah an den echten Eye-Tracking-Daten, dass der Unterschied in allen zehn durchgeführten Tests zu gering war, um als signifikant gemessen zu werden.
Diese Arbeit beseitigt eine große Barriere für die breite Einführung von gaze-aware (blickgesteuerter) künstlicher Intelligenz. Indem sie bewiesen haben, dass ein Softwaremodell einen Hardware-Sensor ersetzen kann, haben die Forscher gezeigt, dass zukünftige Smart Glasses nicht mit teuren, energiehungrigen Eye-Tracking-Komponenten belastet werden müssen, um nützlich zu sein. Das System kann nun auf jedem Gerät mit einer Kamera und einem Standardprozessor eingesetzt werden, was die Tür für erschwingliche Echtzeit-Assistenz bei einer Vielzahl täglicher Aktivitäten öffnet. Obwohl die Studie an spezifischen Datensätzen und Modellen durchgeführt wurde, deuten die Ergebnisse auf einen grundlegenden Wandel in der Art und Weise hin, wie wir diese Systeme bauen können: weg von spezialisierter Hardware hin zu intelligenter, leichtgewichtiger Software, die menschliche Aufmerksamkeit allein durch das Beobachten dessen versteht, was wir sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.