Resumo Técnico: Geração de AOI Dinâmico Offline e Mapeamento de Olhar em Tempo de Execução para Vídeo 360° em Realidade Virtual

Declaração do Problema

A pesquisa de rastreamento ocular imersiva utilizando vídeo 360° em Realidade Virtual (VR) enfrenta um gargalo crítico: a falta de pipelines reproduzíveis para a autoria de Áreas de Interesse (AOIs) dinâmicas. Diferente dos estudos estáticos baseados em tela, o vídeo 360° requer AOIs que se movam, deformem-se e apareçam/desapareçam em sincronia com o conteúdo. As metodologias atuais dependem de aproximações estáticas ou anotação manual quadro a quadro, o que não escala. Além disso, as propriedades únicas do domínio 360° — especificamente a distorção da projeção equirretangular, a divisão de objetos na costura esquerda-direita e a ausência de ferramentas padronizadas — tornam a anotação automatizada não trivial. Embora detectores de objetos de vocabulário aberto ofereçam um caminho para a automação, seus compromissos em relação à cobertura, latência de pré-processamento e robustez a artefatos esféricos no contexto específico de estímulos 360° ainda não foram caracterizados.

Metodologia

Os autores apresentam um pipeline determinístico de "offline-para-tempo de execução" que separa a autoria de AOI da execução experimental. O sistema é estruturado em três fases:

1. Geração de AOI Offline (Fase 1)

• Processo: Quadros esparsos são extraídos do vídeo 360° original. Um detector de vocabulário aberto baseado em prompts de texto identifica objetos, que são então filtrados e associados entre os quadros-chave usando uma heurística de rastreamento leve (concordância de rótulo, IoU e continuidade de distância central).
• Contrato de Identidade: Cada instância persistente de AOI recebe um ID numérico estável e uma cor exata única. Esta cor serve como a chave de busca primária em tempo de execução.
• Saída: O sistema exporta artefatos sincronizados: mapas de AOI PNG por quadro-chave, arquivos de metadados JSON, um manifesto de sequência e um pacote RGB de 24 bits binário para uploads rápidos de textura no Unity.
• Detectores Avaliados: A etapa offline foi avaliada utilizando três detectores de vocabulário aberto: Grounding DINO, YOLO-World e OWLv2, cada um configurado com prompts de texto específicos para o conteúdo.

2. Execução em Tempo de Execução (Fase 2)

• Plataforma: Implementado no Unity (Universal Render Pipeline) rodando em hardware de HMD (HTC VIVE Focus Vision).
• Funcionalidade: O tempo de execução reproduz o vídeo 360° como um skybox panorâmico e adquire dados de olhar via OpenXR (com fallback para HTC VIVE).
• Mapeamento de Olhar: Raios de olhar são convertidos de coordenadas de mundo para coordenadas esféricas (azimute, elevação e UV equirretangular).
• Busca de AOI: O sistema realiza a busca sincronizada por quadro contra o mapa de AOI ativo usando o contrato de identidade de cor exata.
• Exportação de Dados: Em vez de um fluxo contínuo de olhar bruto, o tempo de execução registra eventos de nível de fixação com uma cadência de 250 ms. Esses eventos são exportados como arquivos CSV contendo atribuições de AOI, coordenadas esféricas e diâmetros de pupila.

3. Análise Post-Hoc (Fase 3)

• Métricas: Um pacote analítico em Python processa os CSVs de compromisso de fixação para calcular métricas padrão de olhar (Tempo para a Primeira Fixação, Tempo de Permanência, Contagem de Visitas, etc.).
• Interpretação: Os autores observam explicitamente que estas métricas são proxies de compromisso de fixação derivados do modelo de cadência de 250 ms, e não estimativas diretas de I-DT/I-VT a partir de amostras brutas.

Principais Contribuições

1. Arquitetura do Sistema: Um pipeline completo e reproduzível que desacopla a autoria de AOI offline da execução em tempo de execução, garantindo determinismo e auditabilidade.
2. Benchmark de Detectores: Uma avaliação empírica do Grounding DINO, YOLO-World e OWLv2 em cinco estímulos de vídeo 360° diversos (centrados em humanos, natureza, vida selvagem).
3. Taxonomia de Casos de Falha: Uma caracterização de modos de falha específicos de 360°: travessia de costura (seam crossing), distorção polar, alvos pequenos e deriva temporal.
4. Validação de Piloto: Um estudo de viabilidade técnica envolvendo oito participantes e três estímulos, validando a capacidade do pipeline de registrar, mapear e exportar dados sob condições reais.

Resultados

Benchmark de Detectores

• Velocidade: O YOLO-World foi o mais rápido, reduzindo o tempo de pré-processamento em aproximadamente 9,1× em comparação ao Grounding DINO (8,86s vs 77,18s em média por vídeo). O OWLv2 ocupou uma posição intermediária (aceleração de 3,98×).
• Cobertura: O Grounding DINO proporcionou a maior cobertura de detecção, particularmente em cenas visualmente ambíguas ou ricas em vida selvagem. O YOLO-World reteve cerca de 40% das detecções do Grounding DINO no geral, mas caiu significativamente em cenas de vida selvagem (ex: apenas 2 detecções vs. 74 para o Grounding DINO em sampleWolves360).
• Validação Espacial: Uma validação preliminar de IoU em 15 quadros anotados manualmente mostrou que o Grounding DINO alcançou o maior Mean IoU (0,37) geral. O YOLO-World mostrou alta precisão em cenas centradas na câmera, mas falhou (0,00 IoU) no subconjunto de vida selvagem. O OWLv2 apresentou resultados mistos, performando melhor no subconjunto de vida selvagem pequena, apesar do desempenho mais fraco em cenas de câmera.

Tempo de Execução e Viabilidade do Piloto

• Estabilidade: O tempo de execução manteve com sucesso uma razão de rastreamento válido de 1,0 em todas as 24 sessões de participantes.
• Atribuição de AOI: A média da razão_válida_atribuída (proporção de linhas de olhar válidas atribuídas a uma AOI) foi de 0,2469 no total.
  • test1Camera360 (estável): 0,3133
  • test2Camera360 (intermediário): 0,2674
  • test3Lions360 (vida selvagem/desafiador): 0,0896
• Análise de Falhas: A baixa taxa de atribuição no clipe de vida selvagem foi atribuída a alvos pequenos, ocupação esparsa de AOI e rastreamentos temporalmente frágeis, em vez de perda de rastreamento. O pipeline identificou corretamente estes como limitações estruturais da abordagem atual baseada em caixas delimitadoras (bounding boxes).

Significância e Alegações

O artigo reivindica modestamente fornecer uma descrição de sistema, um benchmark e uma avaliação técnica, em vez de uma comparação estatística de grande escala entre fontes de AOI automáticas e manuais.

• Viabilidade: O estudo demonstra que um pipeline determinístico de offline-para-tempo de execução pode suportar a reprodução estável de AOI dinâmico e o mapeamento de olhar sincronizado por quadro em VR 360°.
• Orientação Prática: O benchmark oferece orientação de engenharia: o YOLO-World é adequado para iteração rápida em cenas centradas em humanos, enquanto o Grounding DINO é a escolha mais segura para cobertura crítica em cenas complexas ou de vida selvagem.
• Limitações como Contribuições: Os autores enquadram explicitamente a identificação de casos de falha (travessia de costura, distorção polar, objetos pequenos) como uma contribuição metodológica. Eles argumentam que estes são desafios estruturais do domínio equirretangular que não podem ser resolvidos apenas com engenharia de prompt, mas que exigem refinamentos futuros no pipeline (ex: agregação consciente da costura, máscaras de segmentação).
• Trabalho Futuro: O artigo posiciona-se como uma fundação para trabalhos futuros que possam escalar a validação espacial e determinar se fontes de AOI automáticas alteram materialmente as métricas de olhar subsequentes em comparação com a anotação manual.

Os autores concluem que, embora a implementação atual seja uma solução de viabilidade técnica viável, ela permanece uma "aproximação de primeira ordem" que requer novos refinamentos para lidar com toda a complexidade do conteúdo 360° antes que possa substituir a anotação manual em estudos de larga escala.