Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

Dans les espaces partagés de la réalité virtuelle, où les gens se rencontrent sous forme d'avatars numériques pour construire, concevoir ou simplement être ensemble, un défi fondamental demeure : comment savoir ce que fait votre partenaire quand vous ne pouvez pas le voir ? Dans le monde physique, nos sens nous fournissent un flux constant d'informations de bas niveau sur les personnes qui nous entourent. Nous entendons le bruit d'un pas, le grincement d'une chaise ou le froissement d'un vêtement, et ces sons nous indiquent où se trouve quelqu'un et ce qu'il fait sans que nous ayons besoin de le regarder directement. Cette conscience périphérique nous permet de travailler côte à côte sans contact visuel constant. Dans un environnement virtuel, cependant, ces sons naturels sont souvent absents. Les utilisateurs sont confinés au champ de vision étroit fourni par leurs casques, et les avatars numériques qu'ils habitent ne génèrent pas naturellement les bruits incidents du mouvement. Sans ces indices, les collaborateurs doivent constamment tourner la tête pour vérifier l'état de l'autre, ce qui brise leur concentration et interrompt le flux de travail. Les chercheurs cherchent depuis longtemps des moyens de combler ce fossé sensoriel, en explorant si l'ajout de sons artificiels à un monde virtuel pourrait restaurer ce sentiment de présence partagée perdu.

Une équipe de chercheurs de l'Université de Tsukuba s'est donné pour mission de tester cette idée en introduisant deux types différents de sons dans une tâche de réalité virtuelle collaborative. Ils voulaient voir si entendre l'activité d'un partenaire par le son changerait la façon dont les gens travaillent ensemble, la façon dont ils se perçoivent et la façon dont ils bougent leur corps. Pour ce faire, ils ont amené vingt-quatre étudiants dans une salle virtuelle pour effectuer une tâche d'assemblage de blocs. Les participants travaillaient en binômes, alternant les rôles de « Directeur » et d'« Exécutant ». Le Directeur pouvait voir le plan d'une structure et devait donner des instructions verbales à l'Exécutant, qui devait chercher parmi quatre tables différentes dans la pièce pour trouver les bons blocs et les apporter à une table centrale. Les chercheurs ont créé trois environnements d'écoute différents pour ces binômes. Dans un scénario, il n'y avait aucun son supplémentaire en dehors de leurs voix. Dans un deuxième, le système jouait le son de pas chaque fois qu'une personne marchait. Dans le troisième, le système générait un son abstrait continu qui devenait plus fort ou plus faible selon la quantité de mouvement du corps entier de la personne, et pas seulement de ses pieds. Ce troisième son était conçu pour agir comme une sonification, un moyen de transformer les niveaux d'activité générale en un volume de bruit qui suivait l'avatar à travers la pièce.

L'étude a révélé que l'ajout de ces sons ne modifiait pas de manière spectaculaire le sentiment général de l'expérience ou la vitesse à laquelle les binômes complétaient leur tâche. Lorsque les participants ont été interrogés après coup sur le sentiment de présence avec leur partenaire ou sur l'appréciation qu'ils avaient de l'autre personne, leurs réponses étaient les mêmes, qu'ils aient entendu des pas, un bruit abstrait ou le silence. Ils n'ont pas rapporté qu'un son rendait la tâche plus facile ou le partenaire plus sympathique. De plus, les chercheurs ont constaté que les sons ne poussaient pas les gens à tourner la tête plus souvent pour regarder leur partenaire. Même lorsque le partenaire travaillait derrière eux, hors de vue, les auditeurs ne tournaient pas systématiquement la tête en réponse aux nouveaux sons. Cela suggère que les sons n'ont pas agi comme un ordre direct de regarder, ni n'ont fondamentalement altéré l'atmosphère sociale de la collaboration d'une manière que les participants pouvaient facilement décrire.

Cependant, un examen plus attentif des données a révélé un changement de comportement plus subtil et spécifique. Les chercheurs ont découvert que les sons influençaient la façon dont l'« Exécutant » se déplaçait, mais seulement dans des situations très précises. Lorsque l'Exécutant cherchait un bloc à une table située directement derrière le Directeur, ses modèles de mouvement changeaient selon le son diffusé. Dans la condition où les pas étaient entendus, l'Exécutant parcourait une distance nettement plus grande et passait plus de temps à se déplacer pendant sa recherche par rapport à la condition de silence. Dans la condition du bruit abstrait, il passait également plus de temps à se déplacer, bien qu'il ne voyage pas autant que ceux de la condition des pas. Cela suggère que lorsque l'Exécutant travaillait dans l'angle mort du Directeur, la présence de son semblait l'encourager à bouger davantage, peut-être pour signaler sa présence ou pour générer lui-même le son. L'effet n'était pas une augmentation générale de l'activité sur l'ensemble de la tâche ; il n'apparaissait que lorsque la relation spatiale entre les deux personnes rendait le contact visuel difficile et que la tâche nécessitait une recherche.

Les chercheurs ont également écouté les propres descriptions de l'expérience par les participants pour comprendre comment ils interprétaient ces sons. Beaucoup ont décrit les pas comme un signal clair indiquant que quelqu'un marchait ou s'arrêtait, un lien direct entre le son et une action spécifique. En revanche, le bruit abstrait était souvent décrit comme un bourdonnement de fond ou un son environnemental, certains participants n'étant pas sûrs de ce qu'il signifiait exactement, tandis que d'autres sentaient qu'il indiquait simplement que le partenaire était actif. Cette différence met en évidence un compromis de conception : les sons qui imitent des événements du monde réel sont faciles à comprendre mais ne renseignent que sur cet événement précis, tandis que les sons abstraits peuvent couvrir une gamme plus large d'activités mais sont plus difficiles à interpréter. L'étude suggère que dans la réalité virtuelle collaborative, ces sons liés à l'activité ne sont pas un remplacement de l'information visuelle, ni une solution miracle qui rend tout le monde plus proche. Au lieu de cela, ils agissent comme un indice périphérique, une couche subtile d'information qui devient utile uniquement lorsque la connexion visuelle est rompue et que le besoin de savoir où se trouve un partenaire devient critique. Les conclusions indiquent que la valeur de ces sons dépend fortement du contexte du travail et de la relation physique entre les collaborateurs, plutôt que d'être un bénéfice constant tout au long de l'expérience.