Comparative Evaluation of Eye-Tracking and User Experience Across Different Designs of VR Headsets for Behavioral Research

Resumo Técnico: Avaliação Comparativa de Rastreamento Ocular e Experiência do Usuário em Diferentes Designs de Headsets de VR para Pesquisa Comportamental

Problema
Headsets de Realidade Virtual (VR) com rastreamento ocular integrado são cada vez mais utilizados na pesquisa comportamental para medir atenção, engajamento em tarefas e interação. No entanto, existe uma lacuna crítica entre as especificações reportadas pelos fabricantes e a qualidade dos dados no mundo real. Pesquisas anteriores indicam uma variação substancial na precisão espacial, precisão e usabilidade entre dispositivos, usuários e regiões de campo de visão. A seleção do headset impacta fatores da experiência do participante, como o cybersickness (enjoo tecnológico), presença e desconforto musculoesquelético, que podem confundir os dados comportamentais. Há uma carência de estudos comparativos que avaliem headsets modernos com rastreamento ocular — especificamente aqueles com filosofias de design distintas (periferia aberta vs. totalmente fechada) — dentro de um protocolo de pesquisa comportamental unificado que avalie tanto o rendimento objetivo do rastreamento quanto a experiência subjetiva do usuário.

Metodologia
O estudo empregou um design experimental de efeitos mistos intra-sujeito envolvendo 24 estudantes de pós-graduação (11 homens, 13 mulheres) da Pennsylvania State University. Os participantes interagiram com três headsets comerciais com rastreamento ocular:

1. Meta Quest Pro: Um headset de realidade mista de periferia aberta.
2. HTC Vive Pro Eye: Um headset totalmente fechado com rastreamento ocular Tobii.
3. HP Reverb G2 Omnicept: Um headset totalmente fechado com telas de alta resolução e rastreamento ocular Tobii.

Todos os dispositivos foram conectados a um PC para garantir a consistência. O protocolo de avaliação consistiu em dois componentes primários:

• Avaliação Objetiva de Rastreamento Ocular: Um protocolo de rastreamento de olhar 3D dinâmico foi desenvolvido utilizando um alvo esférico que se move ao longo de uma trajetória de curva de Lissajous. Este protocolo, adaptado de Duchowski et al. (2022), mediu o "erro angular dinâmico gaze-alvo" e a estabilidade temporal. As sessões foram filtradas com base no rendimento de dados (frames válidos > 60%) e desvio angular (< 20°).
• Tarefas Comportamentais: Os participantes completaram um "Jogo de Cara ou Coroa Enviesado" semi-imersivo (tomada de decisão 2D) e uma tarefa de navegação imersiva dentro do "VR2Thor" (uma adaptação customizada do ambiente AI2Thor para VR).
• Medidas Subjetivas: Após cada sessão, os participantes completaram questionários validados: o iGroup Presence Questionnaire (IPQ), o Virtual Reality System Usability Questionnaire (VRSUQ), o Simulator Sickness Questionnaire (SSQ) e um Cornell Musculoskeletal Discomfort Questionnaire (CMDQ) modificado.

Principais Contribuições

• Desenvolvimento de Protocolo: Os autores desenvolveram um protocolo de avaliação de rastreamento ocular dinâmico e padronizado, adequado para contextos de pesquisa comportamental, indo além das grades de fixação estáticas para avaliar o desempenho de seguimento suave (smooth-pursuit).
• VR2Thor: O estudo introduziu o VR2Thor, uma contribuição metodológica que estende a plataforma de simulação AI2Thor para a navegação incorporada e manipulação de objetos em VR imersivo.
• Análise Comparativa Abrangente: Este é o primeiro estudo que compara conjuntamente o Meta Quest Pro, o HTC Vive Pro Eye e o HP Reverb G2 Omnicept em termos de rendimento de dados, erro de rastreamento dinâmico, usabilidade, presença, cybersickness e desconforto físico dentro de um único protocolo comportamental.

Resultos

• Rendimento de Dados e Confiabilidade: O Meta Quest Pro demonstrou o maior rendimento de sessões utilizáveis (75,0%), superando significativamente o HP Reverb G2 Omnicept (50,0%) e o HTC Vive Pro Eye (33,3%). O HTC Vive Pro Eye apresentou uma alta taxa de falha, particularmente na segunda tentativa de avaliação.
• Precisão de Rastreamento (Condicional): Entre as sessões válidas, o HP Reverb G2 Omnicept geralmente apresentou o menor erro angular médio dinâmico gaze-alvo, seguido pelo HTC Vive Pro Eye e, em seguida, pelo Meta Quest Pro. No entanto, o dispositivo HTC exibiu instabilidade temporal significativa, com o erro médio quase dobrando entre as tentativas, enquanto o Quest Pro e o HP mantiveram o desempenho estável.
• Usabilidade (VRSUQ): O Meta Quest Pro recebeu classificações significativamente mais altas para usabilidade geral e eficiência em comparação aos dispositivos fechados. A subescala de "Efetividade" do VRSUQ apresentou baixa consistência interna e foi considerada não confiável para análise.
• Cybersickness (SSQ): O Meta Quest Pro produziu pontuações significativamente menores em todas as dimensões do SSQ (Náusea, Oculomotor, Desorientação e Severidade Total) em comparação aos dispositivos HP e HTC.
• Presença (IPQ): Os resultados foram mistos. O "Realismo Experienciado" não diferiu significativamente entre os dispositivos. A "Presença Espacial" mostrou um efeito próximo ao limiar, mas teve baixa consistência interna (Alfa de Cronbach = 0,59). O "Envolvimento" foi significativamente maior para o HTC Vive Pro Eye do que para o Meta Quest Pro.
• Desconforto Musculoesquelético (CMDQ): Não foram encontradas diferenças estatisticamente significativas entre os headsets, embora tendências descritivas tenham sugerido pontuações de menor desconforto para o Meta Quest Pro, particularmente entre as participantes do sexo feminino.

Significância e Alegações
O artigo conclui que a adequação prática para pesquisa em VR depende mais do rendimento de dados, estabilidade temporal, usabilidade e cybersickness do que apenas das especificações nominais do hardware.

• Compromissos (Trade-offs): Embora o HP Reverb G2 Omnicept tenha oferecido precisão condicional superior, sua alta taxa de falha e problemas de estabilidade limitam sua utilidade para protocolos estendidos sem recalibração frequente. O HTC Vive Pro Eye mostrou baixa confiabilidade e degradação temporal.
• Benefícios da Periferia Aberta: O design de periferia aberta do Meta Quest Pro pareceu oferecer benefícios na redução do cybersickness e na melhoria da usabilidade sem diminuir significativamente a sensação de "Realismo Experienciado". No entanto, os autores alertam que esses achados são confundidos pelas implementações específicas de hardware e software do Quest Pro; o estudo não pode isolar a "periferia aberta" como o único fator causal.
• Recomendações: Para pesquisa comportamental que exige rendimento de dados consistente e conforto do participante durante períodos prolongados, o Meta Quest Pro é apresentado como a escolha mais favorável. Para tarefas de curta duração onde minimizar o erro angular condicional é a prioridade absoluta e a recalibração é viável, o HP Reverb G2 Omnicept permanece uma opção viável.
• Limitações: Os autores observam limitações como o tamanho da amostra, a confusão do design com implementações específicas de dispositivos (apenas um dispositivo de periferia aberta testado) e o uso de configurações cabeadas, que podem alterar a ergonomia para o Quest Pro, otimizado para uso autônomo. Eles enfatizam que novos estudos comparando múltiplos dispositivos de periferia aberta e fechada são necessários para generalizar os achados relativos à abertura periférica.