Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
Dieses Paper präsentiert und validiert eine Offline-zu-Runtime-Pipeline für 360°-VR-Eye-Tracking, die Open-Vocabulary-Detektoren nutzt, um dynamische Areas of Interest zu generieren und ein framesynchronisiertes Gaze-Mapping durchzuführen, wobei Modelle wie Grounding DINO und YOLO-World im Hinblick auf das Gleichgewicht zwischen Detektionsabdeckung und Verarbeitungseffizienz benchmarkt werden, während gleichzeitig zentrale technische Herausforderungen für zukünftige Verfeinerungen identifiziert werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu verstehen, worauf eine Person schaut, während sie ein Headset trägt, das ihr eine vollständige 360-Grad-Welt zeigt. In einem flachen Film können Sie leicht einen Kasten um eine Person oder ein Auto zeichnen und sagen: „Sie schauen auf dies.“ Aber in einem sphärischen Video schließt sich die Welt um den Betrachter herum. Objekte können sich dehnen, schrumpfen oder in der Mitte geteilt werden, während sie sich über die Ränder des Bildes bewegen. Um zu untersuchen, wie Menschen in diesen immersiven Umgebungen ihre Aufmerksamkeit richten, benötigen Forscher eine Möglichkeit, diese beweglichen Ziele automatisch zu identifizieren und die Augen des Betrachters zu verfolgen, während er ihnen folgt. Dies ist der Kern der Herausforderung beim Eye-Tracking in der virtuellen Realität: eine zuverlässige Karte dessen zu erstellen, was in einer Szene wichtig ist, die sich ständig verändert und um den Nutzer herumgewickelt ist.
Ein Forschungsteam der Universität von Cádiz in Spanien hat ein neues System entwickelt, um dieses Problem zu lösen. Sie haben einen zweiteiligen Prozess geschaffen, der die schwere Arbeit der Identifizierung von Objekten von dem eigentlichen Moment trennt, in dem eine Person das Headset trägt. Zuerst nehmen sie ein 360-Grad-Video und nutzen leistungsstarke Computerprogramme, um es zu scannen und nach bestimmten Dingen wie Menschen, Tieren oder Objekten basierend auf einfachen Textbeschreibungen zu suchen. Diese Programme zeichnen unsichtbare Kästen um die gefundenen Gegenstände. Das Team wandelt diese Kästen dann in eine spezielle digitale Karte um, die das Headset lesen kann. Später, wenn ein Teilnehmer das Headset aufsetzt, um das Video anzusehen, nutzt das System diese Karte, um sofort zu wissen, auf welches Objekt die Person in jedem einzelnen Einzelbild schaut, ohne während der Videowiedergabe die schwere Rechenarbeit leisten zu müssen.
Um zu testen, ob dieses System funktioniert, probierten die Forscher es mit drei verschiedenen Arten von Videos aus: einem Raum mit Menschen und Laptops, einer Waldszene und einem Wildtierclip mit Löwen und Gazellen. Sie testeten auch drei verschiedene Computerprogramme, um zu sehen, welches am besten darin ist, Objekte zu finden. Ein Programm namens Grounding DINO war am gründlichsten und fand selbst in schwierigen Szenen die meisten Objekte, benötigte aber eine lange Zeit, um das Video zu verarbeiten. Ein anderes Programm, YOLO-World, war unglaublich schnell – etwa neunmal schneller als das erste – übersah jedoch viele Objekte, insbesondere die kleinen Tiere im Wildtierclip. Eine dritte Option, OWLv2, lag irgendwo dazwischen. Die Forscher fanden heraus, dass kein einzelnes Programm perfekt für jede Situation war; die beste Wahl hing völlig davon ab, was sich im Video befand.
Als sie das vollständige System mit acht Freiwilligen testeten, funktionierte die Technologie reibungslos. Das Headset verfolgte erfolgreich, wohin die Teilnehmer schauten, und brachte diese Blicke mit den Objekten in Einklang, die der Computer identifiziert hatte. Das System zeichnete jedes Mal auf, wenn eine Person auf etwas fokussierte, und erstellte so ein detailliertes Protokoll ihrer Aufmerksamkeit. Die Studie zeigte jedoch auch auf, wo das System an seine Grenzen stößt. Im Wildtiervideo versäumte es das System oft, die Tiere wahrzunehmen. Dies geschah, weil die Tiere klein waren, sich schnell bewegten und manchmal in Teilen des Videos auftauchten, in denen das Bild natürlicherweise verzerrt ist. Die Computerprogramme hatten Schwierigkeiten, diese winzigen, sich bewegenden Ziele zu finden, was bedeutete, dass das System viel von der Zeit, in der die Teilnehmer tatsächlich die Tiere ansahen, verpasste.
Die Forscher kamen zu dem Schluss, dass ihre Methode eine solide Grundlage für zukünftige Studien darstellt. Sie beweist, dass man diese Aufmerksamkeitskarten automatisch erstellen und in Echtzeit-VR-Experimenten verwenden kann. Die Trennung zwischen der Offline-Vorbereitung und dem Live-Experiment macht den Prozess zuverlässig und reproduzierbar. Dennoch machten sie auch deutlich, dass die Technologie noch nicht für jede Art von Video bereit ist. Während sie gut mit klaren, strukturierten Szenen wie einem Raum mit Menschen funktioniert, muss sie noch verbessert werden, um kleine, schnell bewegliche Objekte in komplexen natürlichen Umgebungen zu bewältigen. Die Studie beansprucht nicht, das Problem des Eye-Trackings in 36ator-Grad-Videos vollständig gelöst zu haben, aber sie hat einen funktionierenden Entwurf und eine klare Liste der spezifischen Hürden geliefert, die es noch zu überwinden gilt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.