Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
Este artículo presenta y valida un flujo de trabajo de offline-a-runtime para el seguimiento ocular en VR de 360°, el cual utiliza detectores de vocabulario abierto para generar áreas de interés dinámicas y realiza un mapeo de la mirada sincronizado por fotogramas, comparando modelos como Grounding DINO y YOLO-World para equilibrar la cobertura de detección con la eficiencia de procesamiento mientras identifica desafíos técnicos clave para su refinamiento futuro.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina intentar comprender qué está mirando una persona mientras lleva puesto un visor que le muestra un mundo completo de 360 grados. En una película plana, puedes dibujar fácilmente un cuadro alrededor de una persona o un coche y decir: "Está mirando esto". Pero en un vídeo esférico, el mundo envuelve al espectador. Los objetos pueden estirarse, encogerse o dividirse a la mitad a medida que se mueven a través de los bordes de la imagen. Para estudiar cómo las personas prestan atención en estos entornos inmersivos, los investigadores necesitan una forma de identificar automáticamente estos objetivos en movimiento y rastrear los ojos del espectador mientras los siguen. Este es el núcleo del desafío del seguimiento ocular (eye-tracking) en la realidad virtual: crear un mapa fiable de lo que es importante en una escena que cambia constantemente y que envuelve al usuario.
Un equipo de investigadores de la Universidad de Cádiz, en España, ha construido un nuevo sistema para resolver este problema. Crearon un proceso de dos partes que separa el trabajo pesado de identificar objetos del momento real en que la persona usa el visor. Primero, toman un vídeo de 360 grados y utilizan potentes programas informáticos para escanearlo, buscando cosas específicas como personas, animales u objetos basándose en descripciones de texto sencillas. Estos programas dibujan cuadros invisibles alrededor de los elementos que encuentran. El equipo convierte luego estos cuadros en un mapa digital especial que el visor pueda leer. Más tarde, cuando un participante se pone el visor para ver el vídeo, el sistema utiliza este mapa para saber instantáneamente a qué objeto está mirando la persona, fotograma a fotograma, sin necesidad de realizar el pesado trabajo computacional mientras el vídeo se reproduce.
Para probar si este sistema funciona, los investigadores lo probaron con tres tipos diferentes de vídeos: una habitación con personas y portátiles, una escena de un bosque y un clip de vida silvestre con leones y gacelas. También probaron tres programas informáticos diferentes para ver cuál era el mejor para encontrar los objetos. Un programa, llamado GroundDINO, fue el más exhaustivo, encontrando la mayor cantidad de objetos incluso en escenas difíciles, pero tardó mucho tiempo en procesar el vídeo. Otro programa, YOLO-World, fue increíblemente rápido —unas nueve veces más rápido que el primero— pero pasó por alto muchos objetos, especialmente los animales pequeños en el clip de vida silvestre. Una tercera opción, OWLv2, se situó en un punto intermedio. Los investigadores descubrieron que ningún programa era perfecto para cada situación; la mejor elección dependía enteramente de lo que hubiera en el vídeo.
Cuando probaron el sistema completo con ocho voluntarios, la tecnología funcionó sin problemas. El visor rastreó con éxito hacia dónde miraban los participantes y coincidió sus miradas con los objetos que el ordenador había identificado. El sistema registró cada vez que una persona se centraba en algo, creando un registro detallado de su atención. Sin embargo, el estudio también reveló dónde tiene dificultades el sistema. En el vídeo de vida silvestre, el sistema a menudo no lograba notar a los animales. Esto ocurrió porque los animales eran pequeños, se movían rápido y, a veces, aparecían en partes del vídeo donde la imagen está naturalmente distorsionada. Los programas informáticos tuvieron dificultades para encontrar estos objetivos diminutos y cambiantes, lo que significó que el sistema perdió muchas de las veces en las que los participantes realmente estaban mirando a los animales.
Los investigadores concluyeron que su método es una base sólida para estudios futuros. Demuestra que se pueden crear automáticamente estos mapas de atención y utilizarlos en experimentos de realidad virtual en tiempo real. La separación entre la preparación fuera de línea (offline) y el experimento en vivo hace que el proceso sea fiable y repetible. Sin embargo, también dejaron claro que la tecnología aún no está lista para cualquier tipo de vídeo. Si bien funciona bien para escenas claras y estructuradas como una habitación con personas, todavía necesita mejorar para manejar objetos pequeños y rápidos en entornos naturales complejos. El estudio no pretende haber resuelto por completo el problema del seguimiento ocular en vídeos de 360 grados, pero ha proporcionado un plano de trabajo y una lista clara de los obstáculos específicos que aún deben superarse.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.