Adaptive Virtual Reality Museum: A Closed-Loop Framewor for Engagement-Aware Cultural Heritage

Resumo Técnico: Museu Virtual de Realidade Adaptativo

1. O Problema

A apresentação de informações em museus de Realidade Virtual (RV) para patrimônio cultural é frequentemente estática, seguindo o mesmo modelo das exposições físicas. Isso gera dois problemas principais de alinhamento cognitivo:

• Sobrecarga Cognitiva: Explicações complexas são apresentadas quando o usuário está em movimento rápido ou com atenção reduzida.
• Subestimulação: Descrições breves falham em satisfazer usuários que demonstram foco intenso e desejo de aprofundamento.

Atualmente, os sistemas de RV não aproveitam os fluxos contínuos de dados comportamentais (movimento da cabeça, direção do olhar, locomoção) para inferir o estado de atenção do usuário sem interromper a experiência. Além disso, a integração de Modelos de Linguagem de Grande Escala (LLMs) para gerar conteúdo dinâmico em tempo real em ambientes imersivos ainda é pouco explorada devido a desafios de latência e previsibilidade.

2. Metodologia

Os autores propõem um framework de adaptação em malha fechada que personaliza as explicações de exposições em tempo real com base no engajamento inferido do visitante.

A. Arquitetura de Modelagem de Engajamento
O sistema utiliza sensores padrão de headsets de RV (Meta Quest 3) para capturar sinais implícitos, processados em três estágios:

1. Pré-processamento de Sinais:
   • Estabilidade da Cabeça ($S_{head}$): Baixa velocidade angular (< 30°/s) indica fixação visual.
   • Dwell do Olhar ($S_{gaze}$): Duração do olhar > 1,0 segundo indica foco intencional.
   • Velocidade de Locomoção ($S_{loco}$): Velocidades > 1,2 m/s (caminhada normal) reduzem a capacidade de atenção; > 2,0 m/s (corrida) forçam o estado de "Desengajado".
2. Fusão de Sensores: Os sinais são normalizados e combinados em uma pontuação composta ($E_{raw}$) usando uma estratégia ponderada (75% sinais físicos, 25% contexto de leitura).
3. Gates de Segurança e Suavização:
   • Aplica-se interpolação linear para suavizar a pontuação e modelar "inércia afetiva".
   • Gates de Segurança: Se a velocidade de locomoção for alta, o sistema ignora sinais de foco visual e limita o estado a "Neutro" ou "Desengajado" para evitar inferências falsas durante o movimento.

B. Adaptação de Conteúdo via LLM

• O estado de engajamento inferido (Desengajado, Neutro, Engajado, Altamente Engajado) aciona um pipeline assíncrono para um LLM (GPT-4o).
• Estratégia de Prompting Dinâmico:
  • Desengajado: Gera 2-3 tópicos curtos (< 10 palavras).
  • Neutro: Fatos históricos essenciais e concisos.
  • Altamente Engajado: Estilo acadêmico com detalhes ricos, anedotas e contexto.
• O sistema utiliza cache para evitar latência de rede em revisitas aos mesmos itens.

C. Estudo de Usuário

• Local: Reconstrução virtual de alta fidelidade do Museu Etnográfico de Berat (Albânia).
• Participantes: N = 16 (8 no grupo Adaptativo, 8 no Controle).
• Condições:
  • Adaptativo: O conteúdo muda dinamicamente baseado nos sinais implícitos.
  • Controle: Conteúdo estático de comprimento médio para todos.
• Métricas: Duração da sessão, tempo de leitura, eventos de leitura, palavras expostas, escala SUS (usabilidade) e motivação.

3. Principais Contribuições

1. Framework Multimodal de Malha Fechada: Um sistema que funde sinais comportamentais implícitos (olhar, cinemática da cabeça, locomoção) para inferir engajamento em tempo real sem calibração ou entrada explícita do usuário.
2. Implementação Proof-of-Concept com LLMs: Integração bem-sucedida de LLMs em RV para ajustar a complexidade e o comprimento do texto dinamicamente, operando dentro das restrições de latência de hardware de consumo (Snapdragon XR2 Gen 2).
3. Insights Empíricos: Evidências iniciais de que a personalização baseada em ritmo (pacing) e sinais implícitos aumenta o comportamento de engajamento e o consumo de conteúdo em museus virtuais.

4. Resultados

Os resultados preliminares indicam melhorias significativas no grupo adaptativo em comparação ao controle:

• Engajamento Comportamental:
  • Aumento de 2 a 3 vezes no tempo de leitura e no número de palavras expostas.
  • Tempo de sessão total aumentou de ~451s (Controle) para ~889s (Adaptativo) ($p = .003$).
  • Tempo de leitura aumentou de ~164s para ~473s ($p = .015$).
• Estados de Engajamento:
  • O grupo adaptativo passou 24,3% do tempo em estado "Altamente Engajado" (vs. 13,6% no controle).
  • Redução de 37% no tempo total em estados de desengajamento.
• Usabilidade:
  • Pontuação SUS (System Usability Scale) média de 84,3, indicando alta usabilidade e aceitação.
  • A latência de inferência de engajamento foi confirmada como sub-milissegundos no hardware de consumo.

5. Significado e Conclusão

O estudo demonstra que é viável criar sistemas de RV cultural que respondem proativamente ao estado cognitivo do usuário sem interromper a imersão.

• Validação Técnica: Confirma que sinais comportamentais implícitos são suficientes para suportar adaptação em tempo real sem degradar a experiência do usuário.
• Potencial Educacional: A adaptação baseada em LLMs ajuda a manter o usuário na "zona de aprendizagem produtiva", reduzindo a fricção cognitiva e aumentando a motivação para explorar.
• Futuro: O trabalho levanta questões importantes sobre transparência da IA (os usuários não sabiam que o texto era gerado por IA), privacidade de dados comportamentais contínuos e a necessidade de validação de longo prazo sobre a retenção de conhecimento.

Em suma, este trabalho propõe uma mudança de paradigma de exposições estáticas para experiências culturais imersivas adaptativas e conscientes do engajamento, utilizando a IA generativa como mediadora dinâmica entre o patrimônio e o visitante.