Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

En los espacios compartidos de la realidad virtual, donde las personas se encuentran como avatares digitales para construir, diseñar o simplemente estar juntas, un desafío fundamental persiste: ¿cómo saber qué está haciendo tu compañero cuando no puedes verlo? En el mundo físico, nuestros sentidos proporcionan un flujo constante de información de bajo nivel sobre las personas que nos rodean. Escuchamos el arrastre de un paso, el crujido de una silla o el roce de la ropa, y estos sonidos nos indican dónde está alguien y qué está haciendo sin necesidad de que lo miremos directamente. Esta conciencia de fondo nos permite trabajar codo con codo sin necesidad de un contacto visual constante. Sin embargo, en un entorno virtual, estos sonidos naturales suelen faltar. Los usuarios están confinados al estrecho campo de visión proporcionado por sus visores, y los avatares digitales que habitan no generan naturalmente los ruidos incidentales del movimiento. Sin estas señales, los colaboradores deben girar la cabeza constantemente para comprobar cómo está el otro, rompiendo su concentración y perturbando el flujo de trabajo. Los investigadores han buscado durante mucho tiempo formas de llenar este vacío sensorial, explorando si añadir sonidos artificiales a un mundo virtual podría restaurar esa sensación de presencia compartida perdida.

Un equipo de investigadores de la Universidad de Tsukuba se propuso probar esta idea introduciendo dos tipos diferentes de sonido en una tarea de realidad virtual colaborativa. Querían ver si escuchar la actividad de un compañero a través del sonido cambiaría la forma en que las personas trabajan juntas, cómo se sienten entre sí y cómo mueven sus cuerpos. Para ello, llevaron a veinticuatro estudiantes a una sala virtual para realizar una tarea de ensamblaje de bloques. Los participantes trabajaron en parejas, turnándose para actuar como "Director" y "Ejecutor". El Director podía ver un plano de una estructura y debía dar instrucciones verbales al Ejecutor, quien tenía que buscar en cuatro mesas diferentes alrededor de la sala para encontrar los bloques correctos y llevarlos a una mesa central. Los investigadores crearon tres entornos de escucha diferentes para estas parejas. En un escenario, no había ningún sonido adicional más allá de sus voces. En un segundo, el sistema reproducía el sonido de pasos cada vez que una persona caminaba. En el tercero, el sistema generaba un sonido abstracto continuo que aumentaba o disminuía de volumen dependiendo de cuánto moviera la persona todo su cuerpo, no solo sus pies. Este tercer sonido fue diseñado para actuar como una sonorización, una forma de convertir los niveles generales de actividad en un volumen de ruido que seguía al avatar por la sala.

El estudio reveló que añadir estos sonidos no cambió drásticamente la sensación general de la experiencia ni la velocidad con la que las parejas completaban su tarea. Cuando se preguntó a los participantes después de la sesión cómo se sentían presentes con su compañero o cuánto les gustaba la otra persona, sus respuestas fueron las mismas, independientemente de si escuchaban pasos, ruido abstracto o silencio. No informaron que un sonido hiciera la tarea más fácil o que el compañero fuera más amable. Además, los investigadores descubrieron que los sonidos no provocaron que la gente girara la cabeza con más frecuencia para mirar a su compañero. Incluso cuando el compañero trabajaba detrás de ellos, fuera de la vista, los oyentes no se giraban sistemáticamente para mirar en respuesta a los nuevos sonidos. Esto sugiere que los sonidos no actuaron como una orden directa de mirar, ni alteraron fundamentalmente la atmósfera social de la colaboración de una manera que los participantes pudieran describir fácilmente.

Sin embargo, un examen más detallado de los datos reveló un cambio de comportamiento más sutil y específico. Los investigadores descubrieron que los sonidos sí influyeron en cómo se movía el "Ejecutor", pero solo en situaciones muy específicas. Cuando el Ejecutor buscaba un bloque en una mesa situada directamente detrás del Director, sus patrones de movimiento cambiaban dependiendo de qué sonido se estuviera reproduciendo. En la condición en la que se escuchaban pasos, el Ejecutor recorría una distancia significativamente mayor y pasaba más tiempo moviéndose mientras buscaba, en comparación con la condición de silencio. En la condición de ruido abstracto, también pasaba más tiempo moviéndose, aunque no recorría tanta distancia como aquellos en la condición de pasos. Esto sugiere que, cuando el Ejecutor trabajaba en el punto ciego del Director, la presencia de sonido parecía fomentar que se moviera más, quizás para dar a conocer su presencia o para generar el sonido por sí mismo. El efecto no fue un aumento general de la actividad en toda la tarea; pareció ocurrir solo cuando la relación espacial entre las dos personas dificultaba el contacto visual y la tarea requería la búsqueda.

Los investigadores también escucharon las propias descripciones de los participantes sobre la experiencia para comprender cómo interpretaban estos sonidos. Muchas personas describieron los pasos como una señal clara de que alguien estaba caminando o deteniéndose, un vínculo directo entre el sonido y una acción específica. En contraste, el ruido abstracto fue descrito a menudo como un zumbido de fondo o un sonido ambiental; algunos participantes no estaban seguros de qué significaba exactamente, mientras que otros sintieron que simplemente indicaba que el compañero estaba activo. Esta diferencia resalta un compromiso de diseño: los sonidos que imitan eventos del mundo real son fáciles de entender pero solo te informan sobre ese evento específico, mientras que los sonidos abstractos pueden cubrir un rango más amplio de actividades pero son más difíciles de interpretar. El estudio sugiere que, en la realidad virtual colaborativa, estos sonidos vinculados a la actividad no son un reempluesto para la información visual, ni una solución mágica que haga que todos se sientan más cercanos. En cambio, actúan como una señal periférica, una capa sutil de información que resulta útil solo cuando la conexión visual se rompe y la necesidad de saber dónde está un compañero se vuelve crítica. Los hallazgos indican que el valor de tales sonidos depende en gran medida del contexto del trabajo y de la relación física entre los colaboradores, más que de ser un beneficio constante durante toda la experiencia.