Comparative Evaluation of Eye-Tracking and User Experience Across Different Designs of VR Headsets for Behavioral Research

Resumen Técnico: Evaluación Comparativa de Seguimiento Ocular y Experiencia de Usuario en Diferentes Diseños de Visores de RV para la Investigación del Comportamiento

Planteamiento del Problema
Los visores de Realidad Virtual (RV) con seguimiento ocular integrado se utilizan cada vez más en la investigación del comportamiento para medir la atención, el compromiso con la tarea y la interacción. Sin embargo, existe una brecha crítica entre las especificaciones reportadas por los fabricantes y la calidad de los datos en el mundo real. Investigaciones previas indican una variación sustancial en la precisión espacial, la exactitud y la usabilidad entre dispositivos, usuarios y regiones del campo de visión. La selección del visor también impacta en factores de la experiencia del participante, como el cibersismo (cybersickness), la presencia y el malestar musculoesquelético, lo que puede confundir los datos conductuales. Existe una falta de estudios comparativos que evalúen visores modernos con capacidad de seguimiento ocular —específicamente aquellos con filosofías de diseño divergentes (periferia abierta frente a totalmente cerrada)— dentro de un protocolo de investigación del comportamiento unificado que evalúe tanto el rendimiento objetivo del seguimiento como la experiencia subjetiva del usuario.

Metodología
El estudio empleó un diseño experimental de efectos mixtos de medidas repetidas (dentro del mismo sujeto) con 24 estudiantes de posgrado (11 hombres, 13 mujeres) de la Universidad Estatal de Pensilvania. Los participantes interactuaron con tres visores comerciales con capacidad de seguimiento ocular:

1. Meta Quest Pro: Un visor de realidad mixta de periferia abierta.
2. HTC Vive Pro Eye: Un visor totalmente cerrado con seguimiento ocular de Tobii.
3. HP Reverb G2 Omnicept: Un visor totalmente cerrado con pantallas de alta resolución y seguimiento ocular de Tobii.

Todos los dispositivos fueron conectados a un PC para garantizar la consistencia. El protocolo de evaluación consistió en dos componentes principales:

• Evaluación Objetiva del Seguimiento Ocular: Se desarrolló una tarea de seguimiento ocular dinámico en 3D utilizando un objetivo esférico que se desplaza a lo largo de una trayectoria de curva de Lissajous. Este protocolo, adaptado de Duchowski et al. (2022), midió el "error angular dinámico de la mirada-objetivo" y la estabilidad temporal. Las sesiones se filtraron basándose en el rendimiento de datos (fotogramas válidos > 60%) y la desviación angular (< 20°).
• Tareas Conductuales: Los participantes completaron un "Juego de Lanzamiento de Moneda Sesgado" (toma de decisiones en 2D) y una tarea de navegación inmersiva dentro de "VR2Thor" (una adaptación personalizada de VR del entorno AI2Thor).
• Medidas Subjetivas: Tras cada sesión, los participantes completaron cuestionarios validados: el Cuestionario de Presencia del Grupo i (IPQ), el Cuestionario de Usabilidad de Sistemas de Realidad Virtual (VRSUQ), el Cuestionario de Malestar del Simulador (SSQ) y un cuestionario de Cornell de Malestar Musculoesquelético (CMDQ) modificado.

Contribuciones Clave

• Desarrollo de Protocolo: Los autores desarrollaron un protocolo estandarizado de evaluación de seguimiento ocular dinámico adecuado para contextos de investigación del comportamiento, yendo más allá de las rejillas de fijación estáticas para evaluar el rendimiento de persecución suave (smooth-pursuit).
• VR2Thor: El estudio introdujo VR2Thor, una contribución metodológica que extiende la plataforma de simulación AI2Thor hacia la RV inmersiva para la navegación encarnada y la manipulación de objetos.
• Análisis Comparativo Integral: Este es el primer estudio que compara conjuntamente el Meta Quest Pro, el HTC Vive Pro Eye y el HP Reverb G2 Omnicept en cuanto a rendimiento de datos, error de seguimiento dinámico, usabilidad, presencia, cibersismo y malestar físico dentro de un único protocolo conductual.

Resultados

• Rendimiento de Datos y Fiabilidad: El Meta Quest Pro demostró el mayor rendimiento de sesiones utilizables (75.0%), superando significativamente al HP Reverb G2 Omnicept (50.0%) y al HTC Vive Pro Eye (33.3%). El HTC Vive Pro Eye mostró una alta tasa de fallo, particularmente en el segundo intento de evaluación.
• Precisión de Seguimiento (Condicional): Entre las sesiones válidas, el HP Reverb G2 Omnicept generalmente mostró el menor error angular medio dinámico de la mirada-objetivo, seguido por el HTC Vive Pro Eye y luego el Meta Quest Pro. Sin embargo, el dispositivo HTC exhibió una inestabilidad temporal significativa, con un error medio que casi se duplicó entre intentos, mientras que el Quest Pro y el HP mantuvieron un rendimiento estable.
• Usabilidad (VRSUQ): El Meta Quest Pro recibió calificaciones significativamente más altas en usabilidad general y eficiencia en comparación con ambos dispositivos cerrados. La subescala de "Efectividad" del VRSUQ mostró una baja consistencia interna y fue considerada no fiable para el análisis.
• Cibersismo (SSQ): El Meta Quest Pro produjo puntuaciones significativamente más bajas en todas las dimensiones del SSQ (Náuseas, Oculomotor, Desorientación y Severidad Total) en comparación con los dispositivos HP y HTC.
• Presencia (IPQ): Los resultados fueron mixtos. El "Realismo Experimentado" no difirió significativamente entre los dispositivos. La "Presencia Espacial" mostró un efecto cercano al umbral, pero tuvo una baja consistencia interna (Alfa de Cronbach = 0.59). El "Involucramiento" fue significativamente mayor para el HTC Vive Pro Eye que para el Meta Quest Pro.
• Malestar Musculoesquelético (CMDQ): No se encontraron diferencias estadísticamente significativas entre los visores, aunque las tendencias descriptivas sugirieron puntuaciones de malestar más bajas para el Meta Quest Pro, particularmente entre las participantes mujeres.

Significancia y Reivindicaciones
El artículo concluye que la idoneidad de la investigación práctica para los visores de RV depende más del rendimiento de los datos, la estabilidad temporal, la usabilidad y el cibersismo que de las especificaciones nominales del hardware por sí solas.

• Compromisos (Trade-offs): Aunque el HP Reverb G2 Omnicept ofreció una precisión condicional superior, su alta tasa de fallo y sus problemas de estabilidad limitan su utilidad para protocolos extendidos sin una recalibración frecuente. El HTC Vive Pro Eye mostró un rendimiento deficiente y degradación temporal.
• Beneficios de la Periferia Abierta: El diseño de periferia abierta del Meta Quest Pro pareció ofrecer beneficios en la reducción del cibersismo y la mejora de la usabilidad sin disminuir significativamente la sensación de "Realismo Experimentado". Sin embargo, los autores advierten que estos hallazgos están confundidos por las implementaciones específicas de hardware y software del Quest Pro; el estudio no puede aislar la "periferia abierta" como el único factor causal.
• Recomendaciones: Para la investigación conductual que requiere un rendimiento de datos constante y comodidad del participante durante periodos prolongados, el Meta Quest Pro se presenta como la opción más favorable. Para tareas de corta duración donde minimizar el error angular condicional es la prioridad absoluta y la recalibración es factible, el HP Reverb G2 Omnicept sigue siendo una opción viable.
• Limitaciones: Los autores señalan limitaciones como el tamaño de la muestra, la confusión de la filosofía de diseño con las implementaciones específicas de los dispositivos (solo se probó un dispositivo de periferia abierta) y el uso de configuraciones conectadas por cable que pueden alterar la ergonomía para el Quest Pro, optimizado para uso autónomo. Enfatizan que son necesarios más estudios que comparen múltiples dispositivos de periferia abierta y cerrados para generalizar los hallazgos relativos a la apertura periférica.