From Head Yaw to HMD Pose: A Reproducible Benchmark of Subjective VR Outcome Recoverability

Resumo Técnico: Do Desvio de Cabeça (Yaw) ao Pose do HMD: Um Benchmark Reproduzível da Recuperabilidade de Resultados Subjetivos em VR

Definição do Problema
A avaliação de Realidade Virtual (VR) depende fortemente de questionários retrospectivos pós-experiência (ex: SUS, NASA-TLX, SPES, SSQ) para medir construtos como usabilidade, carga de trabalho, presença espacial e cinetose (cybersickness). Embora padronizados e interpretáveis, esses métodos são limitados por sua natureza retrospectiva, potencial de interromper a experiência do usuário e incapacidade de capturar estados comportamentais conforme eles se desenrolam. Embora pesquisas anteriores (ex: Holzwarth et al.) tenham estabelecido que os movimentos de desvio de cabeça (head-yaw) poderiam servir como uma prova de conceito para estimar estados subjetivos, permanece incerto se representações mais ricas do pose do Head-Mounted Display (HMD) podem fornecer sinais comportamentais robustos e reproduzíveis para múltiplos resultados subjetivos padronizados. Além disso, estudos existentes frequentemente carecem de frameworks estruturados, conjuntos de dados de benchmark abertos ou protocolos de validação rigorosos que evitem o vazamento de dados (data leakage) entre participantes.

Metodologia
Este estudo propõe um benchmark reproduzível para avaliar até que ponto os descritores de movimento de cabeça derivados do HMD contêm informações recuperáveis sobre resultados subjetivos de VR padronizados.

• Conjunto de Dados: A pesquisa utiliza o conjunto de dados aberto Full-scale Assembly Simulation Testbed (FAST), composto por 108 participantes realizando duas tarefas de montagem em VR (Estrutura A e Estrutura B). O conjunto de dados inclui dados contínuos de rastreamento de 6DoF do HMD e respostas de questionários padronizados (SUS, NASA-TLX, SPES, SSQ).
• Engenharia de Atributos (Feature Engineering): Em vez de depender apenas do desvio de cabeça (yaw), os autores formalizaram um framework extraindo 46 descritores derivados do HMD organizados em seis famílias de atributos:
  1. Metadados da Sessão: Duração, taxa de amostragem.
  2. Translação: Deslocamento espacial e velocidade.
  3. Rotação: Dinâmica de orientação (yaw, pitch, roll).
  4. Exploração: Comprimento do caminho de varredura (scanpath), eventos de giro e entropia.
  5. Suavidade/Estabilidade: Aceleração, jerk e variabilidade de oscilação (sway).
  6. Postura: Orientação de cabeça sustentada e razões de pitch.
  • Uma única variável não cinemática (experiência prévia em VR) também foi incluída.
• Alvos de Predição: As pontuações dos questionários foram convertidas em alvos de classificação para garantir interpretabilidade operacional e distribuições de classe estáveis sob validação agrupada por participante:
  • SUS: Aceitável (>70) vs. Não aceitável (≤70).
  • NASA-TLX: Carga de trabalho baixa (<33) vs. Não baixa (≥33).
  • SPES: Alta presença espacial (≥4) vs. Não alta (<4).
  • SSQ: Três classes (Nenhum problema, Intermediário, Muito problemático).
• Protocolo Experimental:
  • Validação: Foi empregada uma validação cruzada de sete dobras agrupada por participante para garantir que os dados do mesmo participante (tanto da Construção A quanto da Construção B) permanecessem dentro da mesma partição (treinamento, calibração ou teste), evitando o vazamento de dados.
  • Modelagem: O protocolo incluiu pré-processamento, redução de descritores baseada em Pearson, tratamento de desequilíbrio de classes e seleção de modelos (ex: SVM, LightGBM).
  • Comparações: O framework completo de pose do HMD foi comparado contra baselines (classe majoritária, apenas duração) e conjuntos de atributos reduzidos (apenas yaw, dependente de yaw).
  • Generalização: A validação cruzada entre construções (cross-build) foi realizada para testar se modelos treinados em uma estrutura de montagem poderiam generalizar para a outra.

Principais Resultados
O estudo descobriu que o movimento de cabeça do HMD contém informações comportamentais úteis, porém dependentes do construto.

• Recuperabilidade por Construto:
  • Presença Espacial (SPES): Este foi o resultado mais consistentemente recuperável, atingindo um F1 da classe positiva de 0,556. Demonstrou ser o mais estável na transferência entre a validação cruzada de construção (cross-build).
  • Cinetose (SSQ): Mostrou uma recuperação de três classes modesta com um F1 macro de 0,345. O desempenho foi limitado pela esparsidade da classe "muito problemático" e pela baixa generalização em configurações de validação cruzada de construção.
  • Usabilidade (SUS) e Carga de Trabalho (NASA-TLX): Estes construtos mostraram uma recuperabilidade substancialmente menor, com pontuações F1 de classe positiva de 0,259 e 0,234, respectivamente. Os resultados para o NASA-TLX foram particularmente instáveis, com intervalos de confiança amplos e baixa transferência entre construções (caindo para próximo de zero em algumas direções).
• Contribuição de Atributos: O framework completo de pose do HMD superou consistentemente os conjuntos de descritores de apenas duração, apenas yaw e dependentes de yaw em todos os alvos. No entanto, nenhum único grupo de atributos explicou totalmente os resultados; para o SPES, o desempenho dependeu de uma combinação de translação, rotação, exploração e postura.
• Desempenho de Baseline: Baselines simples (ex: apenas duração) capturaram algum sinal, particularmente para o SPES, mas o framework completo proporcionou ganhos significativos, confirmando que descritores de movimento mais amplos agregam valor além da simples duração da tarefa ou rotação de yaw.

Significância e Alegações
Os autores posicionam este trabalho não como um substituto para questionários padronizados, mas como uma camada comportamental complementar para a avaliação de VR enriquecida por sinais.

• Reproduzibilidade: O artigo estabelece um benchmark reproduzível utilizando um conjunto de dados aberto (FAST) e um pipeline de extração de atributos estruturado e determinístico, abordando a falta de comparabilidade em estudos anteriores de estimativa comportamental.
• Dependência de Construto: Os achados desafiam explicitamente a noção de que todos os estados subjetivos são igualmente observáveis a partir do movimento de cabeça. O estudo demonstra que, embora a presença espacial possua uma assinatura comportamental forte no pose do HMD, a usabilidade e a carga de trabalho são menos recuperáveis a partir do movimento de cabeça agregado, provavelmente devido à sua dependência da qualidade da interação, sucesso da tarefa e estratégias cognitivas não capturadas pelo pose da cabeça.
• Implicação Prática: O framework proposto apoia o uso do rastreamento do HMD como um sinal não intrusivo e de baixo ônus para enriquecer a interpretação de resultados subjetivos, particularmente para detectar a presença espacial, em vez de como uma ferramenta de avaliação automatizada autônoma. O estudo conclui que, embora o movimento de cabeça forneça dados comportamentais valiosos, ele não possui atualmente a robustez necessária para substituir totalmente os instrumentos de autorrelato para todos os construtos de avaliação de VR.