Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

Negli spazi condivisi della realtà virtuale, dove le persone si incontrano come avatar digitali per costruire, progettare o semplicemente stare insieme, una sfida fondamentale rimane: come si può sapere cosa sta facendo il proprio partner quando non lo si può vedere? Nel mondo fisico, i nostri sensi forniscono un flusso costante di informazioni a basso livello sulle persone che ci circondano. Sentiamo il rumore di un passo, lo scricchiolio di una sedia o il fruscio di un vestito, e questi suoni ci dicono dove si trova qualcuno e cosa stia facendo senza che abbiamo bisogno di guardarlo direttamente. Questa consapevolezza di sottofondo ci permette di lavorare fianco a fianco senza un contatto visivo costante. In un ambiente virtuale, tuttavia, questi suoni naturali sono spesso assenti. Gli utenti sono confinati al campo visivo ristretto fornito dai loro visori, e gli avatar digitali che abitano non generano naturalmente i rumori incidentali del movimento. Senza questi indizi, i collaboratori devono girare costantemente la testa per controllare l'altro, interrompendo la propria concentrazione e il flusso del lavoro. I ricercatori cercano da tempo modi per colmare questo vuoto sensoriale, esplorando se l'aggiunta di suoni artificiali a un mondo virtuale possa ripristinare quel senso di presenza condivisa perduto.

Un team di ricercatori dell'Università di Tsukuba ha deciso di testare questa idea introducendo due diversi tipi di suono in un compito di realtà virtuale collaborativa. Volevano vedere se ascoltare l'attività di un partner attraverso il suono avrebbe cambiato il modo in cui le persone lavorano insieme, come si sentivano l'una verso l'altra e come muovevano il corpo. Per farlo, hanno portato ventiquattro studenti in una stanza virtuale per eseguire un compito di assemblaggio di blocchi. I partecipanti lavoravano in coppia, alternandosi nei ruoli di "Direttore" ed "Esecutore". Il Direttore poteva vedere un progetto di una struttura e doveva dare istruzioni verbali all'Esecutore, che doveva cercare tra quattro tavoli diversi nella stanza per trovare i blocchi corretti e portarli a un tavolo centrale. I ricercatori hanno creato tre diversi ambienti di ascolto per queste coppie. In uno scenario, non c'era alcun suono extra oltre alle loro voci. In un secondo, il sistema riproduceva il suono dei passi ogni volta che una persona camminava. Nel terzo, il sistema generava un suono astratto continuo che diventava più forte o più debole a seconda di quanto la persona muoveva l'intero corpo, non solo i piedi. Questo terzo suono era stato progettato per agire come una sonificazione, un modo per trasformare i livelli generali di attività in un volume di rumore che seguiva l'avatar nella stanza.

Lo studio ha rivelato che l'aggiunta di questi suoni non ha cambiato drasticamente la sensazione generale dell'esperienza o la velocità con cui le coppie completavano il compito. Quando ai partecipanti è stato chiesto successivamente quanto si sentissero presenti con il proprio partner o quanto apprezzassero l'altro, le loro risposte sono state le stesse, indipendentemente dal fatto che sentissero passi, rumore astratto o silenzio. Non hanno riferito che un suono rendesse il compito più facile o il partner più amichevole. Inoltre, i ricercatori hanno scoperto che i suoni non hanno spinto le persone a girare la testa più spesso per guardare il partner. Anche quando il partner lavorava dietro di loro, fuori dalla vista, gli ascoltatori non si sono girati costantemente in risposta ai nuovi suoni. Ciò suggerisce che i suoni non hanno agito come un comando diretto di guardare, né hanno alterato fondamentalmente l'atmosfera sociale della collaborazione in un modo che i partecipanti potessero descrivere facilmente.

Tuttavia, un esame più attento dei dati ha rivelato un cambiamento comportamentale più sottile e specifico. I ricercatori hanno scoperto che i suoni influenzavano il modo in cui l' "Esecutore" si muoveva, ma solo in situazioni molto specifiche. Quando l'Esecutore cercava un blocco in un tavolo situato direttamente dietro il Direttore, i suoi modelli di movimento cambiavano a seconda del suono riprodotto. Nella condizione in cui venivano uditi i passi, l'Esecutore si muoveva significativamente di più in termini di distanza e trascorreva più tempo in movimento mentre cercava, rispetto alla condizione di silenzio. Nella condizione con il rumore astratto, si muoveva anche in questo caso per più tempo, sebbene non percorresse la stessa distanza di chi era nella condizione dei passi. Ciò suggerisce che, quando l'Esecutore lavorava nel punto cieco del Direttore, la presenza del suono sembrava incoraggiarlo a muoversi di più, forse per rendere nota la propria presenza o per generare il suono stesso. L'effetto non era un aumento generale dell'attività durante l'intero compito; appariva solo quando la relazione spaziale tra le due persone rendeva difficile il contatto visivo e il compito richiedeva una ricerca.

I ricercatori hanno anche ascoltato le descrizioni degli stessi partecipanti sull'esperienza per capire come interpretassero questi suoni. Molte persone hanno descritto i passi come un segnale chiaro che qualcuno stava camminando o fermando, un legame diretto tra il suono e una specifica azione. Al contrario, il rumore astratto era spesso descritto come un ronzio di sottofondo o un suono ambientale, con alcuni partecipanti incerti sul suo significato esatto, mentre altri sentivano che indicava semplicemente che il partner era attivo. Questa differenza evidenzia un compromesso nel design: i suoni che imitano gli eventi del mondo reale sono facili da comprendere ma dicono solo di quell'evento specifico, mentre i suoni astratti possono coprire una gamma più ampia di attività ma sono più difficili da interpretare. Lo studio suggerisce che, nella realtà virtuale collaborativa, questi suoni legati all'attività non sono un sostituto delle informazioni visive, né una soluzione magica che rende tutti più vicini. Invece, agiscono come un indizio periferico, un sottile strato di informazioni che diventa utile solo quando la connessione visiva viene interrotta e la necessità di sapere dove si trova un partner diventa critica. Le scoperte indicano che il valore di tali suoni dipende fortemente dal contesto del lavoro e dalla relazione fisica tra i collaboratori, piuttosto che essere un beneficio costante durante l'intera esperienza.