Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
Cet article présente et valide un pipeline de l'hors ligne au temps d'exécution pour l'oculométrie en VR à 360° qui utilise des détecteurs à vocabulaire ouvert pour générer des zones d'intérêt dynamiques et effectue une cartographie du regard synchronisée par trame, comparant des modèles tels que Grounding DINO et YOLO-World pour équilibrer la couverture de détection avec l'efficacité de traitement tout en identifiant les principaux défis techniques pour un perfectionnement futur.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez essayer de comprendre ce qu'une personne regarde lorsqu'elle porte un casque qui lui présente un monde complet à 360 degrés. Dans un film plat, on peut facilement dessiner une boîte autour d'une personne ou d'une voiture et dire : « Elle regarde ceci ». Mais dans une vidéo sphérique, le monde s'enroule autour du spectateur. Les objets peuvent s'étirer, rétrécir ou se diviser en deux lorsqu'ils traversent les bords de l'image. Pour étudier comment les gens portent attention dans ces environnements immersifs, les chercheurs ont besoin d'un moyen d'identifier automatiquement ces cibles mobiles et de suivre les yeux du spectateur lorsqu'ils les suivent. C'est le défi central de l'oculométrie (eye-tracking) en réalité virtuelle : créer une carte fiable de ce qui est important dans une scène qui change constamment et qui s'enroule autour de l'utilisateur.
Une équipe de chercheurs de l'Université de Cadix, en Espagne, a conçu un nouveau système pour résoudre ce problème. Ils ont créé un processus en deux parties qui sépare le travail difficile d'identification des objets du moment réel où la personne porte le casque. D'abord, ils prennent une vidéo à 360 degrés et utilisent de puissants programmes informatiques pour l'analyser, à la recherche de choses spécifiques comme des personnes, des animaux ou des objets, sur la base de descriptions textuelles simples. Ces programmes dessinent des boîtes invisibles autour des éléments trouvés. L'équipe transforme ensuite ces boîtes en une carte numérique spéciale que le casque peut lire. Plus tard, lorsqu'un participant met le casque pour regarder la vidéo, le système utilise cette carte pour savoir instantanément quel objet la personne regarde, image par image, sans avoir besoin d'effectuer le travail informatique intensif pendant que la vidéo est en cours de lecture.
Pour tester si ce système fonctionne, les chercheurs l'ont essayé avec trois types différents de vidéos : une pièce avec des personnes et des ordinateurs portables, une scène de forêt, et un clip de vie sauvage présentant des lions et des gazelles. Ils ont également testé trois programmes informatiques différents pour voir lequel était le meilleur pour trouver les objets. Un programme, appelé Grounding DINO, était le plus exhaustif, trouvant le plus d'objets même dans des scènes difficiles, mais il mettait beaucoup de temps à traiter la vidéo. Un autre programme, YOLO-World, était incroyablement rapide — environ neuf fois plus rapide que le premier — mais il manquait de nombreux objets, en particulier les petits animaux dans le clip de vie sauvage. Une troisième option, OWLv2, se situait entre les deux. Les chercheurs ont constaté qu'aucun programme n'était parfait pour chaque situation ; le meilleur choix dépendait entièrement de ce qui se trouvait dans la vidéo.
Lorsqu'ils ont testé le système complet avec huit volontaires, la technologie a fonctionné de manière fluide. Le casque a réussi à suivre où les participants regardaient et a fait correspondre ces regards aux objets que l'ordinateur avait identifiés. Le système a enregistré chaque fois qu'une personne se concentrait sur quelque chose, créant ainsi un journal détaillé de son attention. Cependant, l'étude a également révélé les points de faiblesse du système. Dans la vidéo de vie sauvage, le système ne parvenait souvent pas à remarquer les animaux. Cela s'expliquait par le fait que les animaux étaient petits, se déplaçaient rapidement et apparaissaient parfois dans des parties de la vidéo où l'image est naturellement déformée. Les programmes informatiques avaient du mal à trouver ces cibles minuscules et changeantes, ce qui signifie que le système manquait beaucoup de moments où les participants regardaient réellement les animaux.
Les chercheurs ont conclu que leur méthode constitue une base solide pour de futures études. Elle prouve que l'on peut créer automatiquement ces cartes d'attention et utiliser ces cartes dans des expériences de réalité virtuelle en temps réel. La séparation entre la préparation hors ligne et l'expérience en direct rend le processus fiable et reproductible. Toutefois, ils ont également précisé que la technologie n'est pas encore prête pour tout type de vidéo. Si elle fonctionne bien pour des scènes claires et structurées comme une pièce avec des gens, elle doit encore être améliorée pour gérer des objets petits et rapides dans des environnements naturels complexes. L'étude ne prétend pas avoir résolu complètement le problème de l'oculométrie dans la vidéo à 360 degrés, mais elle a fourni un modèle de fonctionnement et une liste claire des obstacles spécifiques qui restent à surmonter.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.