Adaptive Virtual Reality Museum: A Closed-Loop Framewor for Engagement-Aware Cultural Heritage

Resumen Técnico: Marco de Realidad Virtual Adaptativa para Patrimonio Cultural

1. El Problema

Las presentaciones de patrimonio cultural en Realidad Virtual (RV) actuales suelen basarse en paradigmas estáticos heredados de las exposiciones físicas. Los contenidos (descripciones, textos explicativos) se generan de antemano y se presentan de manera idéntica a todos los visitantes, sin considerar sus diferencias individuales en atención o compromiso momentáneo. Esto genera dos problemas principales:

• Sobrecarga cognitiva: Cuando se presentan explicaciones complejas durante movimientos rápidos o momentos de baja atención.
• Subestimulación: Cuando las descripciones breves no satisfacen la atención focalizada del usuario.

Aunque los visores de RV modernos proporcionan flujos continuos de datos conductuales (movimiento de la cabeza, dirección de la mirada, locomoción), estos datos permanecen subutilizados en la mayoría de las aplicaciones de museos. Además, la integración de Modelos de Lenguaje Grande (LLM) para generar contenido dinámico en tiempo real en entornos inmersivos sigue siendo un área poco explorada debido a desafíos de latencia y predictibilidad.

2. Metodología y Arquitectura del Sistema

Los autores proponen un marco de bucle cerrado multimodal que adapta el contenido en tiempo real basándose en la inferencia de la "compromiso" (engagement) del visitante, utilizando únicamente señales conductuales implícitas.

A. Modelado del Compromiso (Engagement Modeling):
El sistema transforma datos de sensores crudos en un estado cognitivo estimado mediante un pipeline de tres etapas:

1. Preprocesamiento de Señales: Los datos se muestrean a 90 Hz y se normalizan a una escala [0, 1]. Se utilizan tres señales clave:
   • Estabilidad de la Cabeza ($S_{head}$): Basada en la investigación que vincula el movimiento mínimo de la cabeza con la atención visual sostenida (umbral de 30°/s).
   • Fijación de la Mirada ($S_{gaze}$): Duraciones de mirada superiores a 1.0 segundo indican foco intencional.
   • Velocidad de Locomoción ($S_{loco}$): Se asume que los usuarios reducen la velocidad cuando su carga cognitiva o compromiso aumenta. Velocidades > 1.2 m/s se mapean inversamente al compromiso.
2. Fusión de Sensores: Se calcula una puntuación compuesta ($E_{raw}$) ponderando las señales físicas (75%) y el contexto de lectura (25%).
   • Se aplica un suavizado temporal (interpolación lineal, $\alpha=0.35$) para modelar la "inercia afectiva" y evitar oscilaciones rápidas.
3. Puertas de Seguridad (Safety Gates): Para evitar falsos positivos durante estados de alta entropía:
   • Si la velocidad > 1.2 m/s (caminar rápido), el estado se limita a "Neutral".
   • Si la velocidad > 2.0 m/s (correr), el estado se fuerza a "Desconectado", asumiendo que la lectura no es posible.

B. Adaptación de Contenido con LLM:

• Motor de Adaptación: Utiliza un modelo de lenguaje grande (GPT-4o) para generar explicaciones dinámicas.
• Estrategia de Prompting: El sistema envía instrucciones al LLM basadas en el estado inferido:
  • Desconectado: 2-3 viñetas cortas (<10 palabras).
  • Neutral: Hechos históricos esenciales y concisos.
  • Altamente Comprometido: Estilo académico con detalles ricos y anécdotas contextuales.
• Implementación Técnica: Desarrollado en Unity 6000.2.8f1 y desplegado en Meta Quest 3. El procesamiento de sensores e inferencia ocurre localmente en el procesador Snapdragon XR2 Gen 2 para garantizar latencia sub-milisegundo. La generación de contenido es asíncrona para no bloquear el hilo de renderizado.

3. Contribuciones Clave

1. Marco de Bucle Cerrado Multimodal: Un sistema novedoso que fusiona señales conductuales implícitas (mirada, cinemática de cabeza, locomoción) para inferir el compromiso del usuario en tiempo real sin necesidad de calibración o entrada explícita.
2. Prueba de Concepto con LLM: Una implementación que integra LLMs en RV para ajustar dinámicamente la complejidad y longitud del texto basándose en la atención del usuario, demostrando viabilidad técnica en hardware de consumo.
3. Insights Empíricos: Resultados iniciales sobre cómo la personalización implícita y consciente del ritmo afecta el comportamiento de exploración y el consumo de contenido en museos virtuales.

4. Resultados de la Evaluación

Se realizó un estudio de usuarios entre sujetos (N=16) en una reconstrucción virtual del Museo Etnográfico de Berat. Se comparó una condición Adaptativa (N=8) frente a una condición de Control Estático (N=8).

• Métricas Conductuales (Objetivas):
  • Tiempo de Sesión: Los participantes adaptativos pasaron 2 veces más tiempo explorando (889s vs 451s, p=.003).
  • Tiempo de Lectura: Aumentó significativamente en el grupo adaptativo (473s vs 164s, p=.015).
  • Palabras Expuestas: Los usuarios adaptativos leyeron aproximadamente el doble de palabras (1515 vs 745, p=.007).
  • Eventos de Lectura: Mayor número de interacciones de lectura (67 vs 50).
• Estados de Compromiso:
  • El grupo adaptativo pasó un 24.3% del tiempo en estado "Altamente Comprometido" (casi el doble que el control con 13.6%).
  • Reducción del tiempo en estados "Desconectados" y "Neutrales".
• Usabilidad y Percepción:
  • Puntuación de Usabilidad del Sistema (SUS) alta en ambos grupos: 84.3.
  • No hubo degradación en la usabilidad ni en la sensación de presencia, a pesar de la generación de texto en tiempo real.

5. Significado y Discusión

• Viabilidad de la Adaptación Implícita: El estudio demuestra que las señales conductuales implícitas son suficientes para sostener una adaptación de contenido estable y en tiempo real sin interrumpir la experiencia del usuario.
• Reducción de la Fricción Cognitiva: Al ajustar la complejidad del texto al estado de atención del usuario, el sistema mantiene al usuario en una "zona de aprendizaje productiva", reduciendo el aburrimiento y la sobrecarga.
• Transparencia y Ética: Aunque los usuarios no sabían que el texto era generado por IA, la autenticidad no fue cuestionada. Sin embargo, el artículo plantea la necesidad futura de salvaguardas contra alucinaciones y consideraciones éticas sobre la transparencia en experiencias culturales mediadas por IA.
• Limitaciones: El tamaño de la muestra es pequeño (N=16), y no se midió la retención de conocimientos a largo plazo. Además, la métrica de "palabras expuestas" está intrínsecamente sesgada por la intervención misma (el sistema muestra más texto a quienes están más comprometidos).

Conclusión:
Este trabajo valida un enfoque donde los sistemas XR integrados con IA pueden utilizar datos conductuales multimodales como señales prácticas para la adaptación consciente de la atención. El LLM actúa como un mediador dinámico que equilibra la precisión histórica curada con un ritmo personalizado, mejorando significativamente la exploración y el compromiso en entornos de patrimonio cultural virtual.