Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
Dit artikel presenteert en valideert een offline-naar-runtime-pipeline voor 360°-VR oogtracking die gebruikmaakt van open-vocabulary detectoren om dynamische gebieden van belang te genereren en frame-gesynchroniseerde gaze-mapping uitvoert, waarbij modellen zoals Grounding DINO en YOLO-World worden afgezet om de detectiebereik te balanceren met verwerkingsefficiëntie terwijl belangrijke technische uitdagingen voor toekomstige verfijning worden geïdentificeerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te begrijpen waar iemand naar kijkt terwijl diegene een headset draagt die een volledige, 360-graden wereld laat zien. In een platte film kun je gemakkelijk een kader rond een persoon of een auto tekenen en zeggen: "Ze kijken naar dit." Maar in een sferische video wordt de wereld om de kijker heen gewikkeld. Objecten kunnen uitrekken, krimpen of in tweeën splitsen naarmate ze over de randen van het beeld bewegen. Om te bestuderen hoe mensen de aandacht besteden in deze meeslepende omgevingen, hebben onderzoekers een manier nodig om deze bewegende doelwitten automatisch te identificeren en de ogen van de kijker te volgen terwijl ze deze volgen. Dit is de kernuitdaging van eye-tracking in virtual reality: het creëren van een betrouwbare kaart van wat belangrijk is in een scène die voortdurend verandert en om de gebruiker heen krult.
Een team onderzoekers aan de Universiteit van Cádiz in Spanje heeft een nieuw systeem gebouwd om dit probleem op te lossen. Ze hebben een tweeledig proces ontwikkeld dat het zware werk van het identificeren van objecten scheidt van het eigenlijke moment dat iemand de headset draagt. Eerst nemen ze een 360-graden video en gebruiken ze krachtige computerprogramma's om deze te scannen, waarbij ze zoeken naar specifieke zaken zoals mensen, dieren of objecten op basis van eenvoudige tekstbeschrijvingen. Deze programma's tekenen onzichtbare kaders rond de items die ze vinden. Het team zet deze kaders vervolgens om in een speciale digitale kaart die de headset kan lezen. Wanneer een deelnemer later de headset opzet om de video te bekijken, gebruikt het systeem deze kaart om direct te weten naar welk object de persoon kijkt, frame voor frame, zonder dat daarvoor het zware computerwerk tijdens het afspelen van de video nodig is.
Om te testen of dit systeem werkt, probeerden de onderzoekers het met drie verschillende soorten video's: een kamer met mensen en laptops, een bosscène en een natuurfilm met leeuwen en gazellen. Ze testten ook drie verschillende computerprogramma's om te zien welke het beste was in het vinden van de objecten. Eén programma, genaamd Grounding DINO, was het meest grondig en vond de meeste objecten, zelfs in moeilijke scènes, maar het duurde lang om de video te verwerken. Een ander programma, YOLO-World, was ongelooflijk snel — ongeveer negen keer sneller dan de eerste — maar miste veel objecten, vooral de kleine dieren in de natuurfilm. Een derde optie, OWLv2, zat er ergens tussenin. De onderzoekers ontdekten dat geen enkel programma perfect was voor elke situatie; de beste keuze hing volledig af van wat er in de video te zien was.
Toen ze het volledige systeem testten met acht vrijwilligers, werkte de technologie soepel. De headset volgde succesvol waar de deelnemers naar keken en koppelde die blikken aan de objecten die de computer had geïdentificeerd. Het systeem registreerde elke keer dat een persoon zich op iets concentreerde, waardoor een gedetailleerd logboek van hun aandacht werd gemaakt. De studie onthulde echter ook waar het systeem moeite mee heeft. In de natuurvideo faalde het systeem vaak om de dieren op te merken. Dit kwam omdat de dieren klein waren, snel bewogen en soms verschenen in delen van de video waar het beeld van nature vervormd is. De computerprogramma's hadden moeite met het vinden van deze kleine, verschuivende doelwitten, wat betekende dat het systeem veel momenten waarop de deelnemers daadwerkelijk naar de dieren keken, miste.
De onderzoekers concludeerden dat hun methode een solide fundament is voor toekomstige studies. Het bewijst dat je automatisch deze aandachtskaarten kunt maken en ze kunt gebruiken in real-time virtual reality-experimenten. De scheiding tussen de offline voorbereiding en het live experiment maakt het proces betrouwbaar en herhaalbaar. Ze benadrukten echter ook dat de technologie nog niet klaar is voor elk type video. Hoewel het goed werkt voor duidelijke, gestructureerde scènes zoals een kamer met mensen, moet het nog verbeterd worden om kleine, snel bewegende objecten in complexe natuurlijke omgevingen aan te kunnen. De studie beweert niet dat het probleem van eye-tracking in 360-graden video volledig is opgelost, maar het heeft een werkend blauwdruk geleverd en een duidelijke lijst opgesteld van de specifieke hindernissen die nog overwonnen moeten worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.