Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

Nos espaços compartilhados da realidade virtual, onde as pessoas se encontram como avatares digitais para construir, projetar ou simplesmente estarem juntas, um desafio fundamental permanece: como saber o que seu parceiro está fazendo quando você não pode vê-lo? No mundo físico, nossos sentidos fornecem um fluxo constante de informações de baixo nível sobre as pessoas ao nosso redor. Ouvimos o som de um passo, o ranger de uma cadeira ou o roçar de uma roupa, e esses sons nos dizem onde alguém está e o que está fazendo sem que precisemos olhar diretamente para a pessoa. Essa consciência de fundo permite que trabalhemos lado a lado sem contato visual constante. Em um ambiente virtual, no entanto, esses sons naturais costumam estar ausentes. Os usuários ficam confinados ao estreito campo de visão proporcionado por seus headsets, e os avatares digitais que habitam não geram naturalmente os ruídos incidentais de movimento. Sem essas pistas, os colaboradores devem virar a cabeça constantemente para verificar uns aos outros, quebrando seu foco e interrompendo o fluxo de trabalho. Pesquisadores há muito buscam maneiras de preencher essa lacuna sensorial, explorando se a adição de sons artificiais a um mundo virtual poderia restaurar essa sensação perdida de presença compartilhada.

Uma equipe de pesquisadores da Universidade de Tsukuba decidiu testar essa ideia introduzindo dois tipos diferentes de som em uma tarefa de realidade virtual colaborativa. Eles queriam ver se ouvir a atividade de um parceiro através do som mudaria a forma como as pessoas trabalham juntas, como se sentem umas em relação às outras e como movem seus corpos. Para isso, levaram vinte e quatro estudantes para uma sala virtual para realizar uma tarefa de montagem de blocos. Os participantes trabalharam em duplas, alternando entre os papéis de "Diretor" e "Executor". O Diretor podia ver o projeto de uma estrutura e tinha que instruir verbalmente o Executor, que precisava procurar em quatro mesas diferentes ao redor da sala para encontrar os blocos corretos e levá-los a uma mesa central. Os pesquisadores criaram três ambientes de audição diferentes para essas duplas. Em um cenário, não havia nenhum som extra além de suas vozes. Em um segundo, o sistema reproduzia o som de passos sempre que uma pessoa caminhava. No terceiro, o sistema gerava um som abstrato contínuo que ficava mais alto ou mais baixo dependendo de quanto a pessoa movia todo o seu corpo, não apenas os pés. Esse terceiro som foi projetado para agir como uma sonorização, uma forma de transformar níveis gerais de atividade em um volume de ruído que seguia o avatar pela sala.

O estudo revelou que a adição desses sons não mudou drasticamente a sensação geral da experiência ou a velocidade com que as duplas completavam sua tarefa. Quando os participantes foram questionados posteriormente sobre o quanto se sentiram presentes com seu parceiro ou o quanto gostaram da outra pessoa, suas respostas foram as mesmas, independentemente de ouvirem passos, ruído abstrato ou silêncio. Eles não relataram que um som tornou a tarefa mais fácil ou o parceiro mais amigável. Além disso, os pesquisadores descobriram que os sons não fizeram com que as pessoas virassem a cabeça com mais frequência para olhar para o parceiro. Mesmo quando o parceiro estava trabalhando atrás deles, fora de vista, os ouvintes não se viravam consistentemente em resposta aos novos sons. Isso sugere que os sons não agiram como um comando direto para olhar, nem alteraram fundamentalmente a atmosfera social da colaboração de uma forma que os participantes pudessem descrever facilmente.

No entanto, um olhar mais atento aos dados revelou uma mudança comportamental mais sutil e específica. Os pesquisadores descobriram que os sons influenciaram a forma como o "Executor" se movia, mas apenas em situações muito específicas. Quando o Executor estava procurando um bloco em uma mesa localizada diretamente atrás do Diretor, seus padrões de movimento mudavam dependendo de qual som estava tocando. Na condição em que os passos eram ouvidos, o Executor percorreu uma distância significativamente maior e passou mais tempo se movendo enquanto procurava, em comparação com a condição de silêncio. Na condição com o ruído abstrato, ele também passou mais tempo se movendo, embora não tenha percorrido tanta distância quanto aqueles na condição de passos. Isso sugere que, quando o Executor estava trabalhando no ponto cego do Diretor, a presença do som parecia encorajá-lo a se mover mais, talvez para tornar sua presença conhecida ou para gerar o som por conta própria. O efeito não foi um aumento geral de atividade em toda a tarefa; pareceu ocorrer apenas quando a relação espacial entre as duas pessoas tornava o contato visual difícil e a tarefa exigia busca.

Os pesquisadores também ouviram as próprias descrições dos participantes sobre a experiência para entender como eles interpretavam esses sons. Muitos descreveram os passos como um sinal claro de que alguém estava andando ou parando, um elo direto entre o som e uma ação específica. Em contraste, o ruído abstrato era frequentemente descrito como um zumbido de fundo ou um som ambiental, com alguns participantes incertos sobre o que exatamente significava, enquanto outros sentiam que ele simplesmente indicava que o parceiro estava ativo. Essa diferença destaca um compromisso de design: sons que imitam eventos do mundo real são fáceis de entender, mas informam apenas sobre aquele evento específico, enquanto sons abstratos podem cobrir uma gama mais ampla de atividades, mas são mais difíceis de interpretar. O estudo sugere que, na realidade virtual colaborativa, esses sons ligados à atividade não são um substituto para a informação visual, nem uma solução mágica que faz todos se sentirem mais próximos. Em vez disso, eles atuam como uma pista periférica, uma camada sutil de informação que se torna útil apenas quando a conexão visual é interrompida e a necessidade de saber onde o parceiro está torna-se crítica. As descobertas indicam que o valor de tais sons depende fortemente do contexto do trabalho e da relação física entre os colaboradores, em vez de ser um benefício constante durante toda a experiência.