Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

In de gedeelde ruimtes van virtuele realiteit, waar mensen elkaar als digitale avatars ontmoeten om te bouwen, ontwerpen of simpelweg samen te zijn, blijft een fundamentele uitdaging bestaan: hoe weet je wat je partner aan het doen is als je diegene niet kunt zien? In de fysieke wereld bieden onze zintuigen een constante, laagwaardige stroom van informatie over de mensen om ons heen. We horen het schuifelen van een voetstap, het kraken van een stoel of het geritsel van kleding, en deze geluiden vertellen ons waar iemand is en wat diegene aan het doen is zonder dat we er direct naar hoeven te kijken. Dit achtergrondbewustzijn stelt ons in staat om zij aan zij te werken zonder constant oogcontact te houden. In een virtuele omgeving ontbreken deze natuurlijke geluiden echter vaak. Gebruikers zijn beperkt tot het smalle gezichtsveld dat hun headsets bieden, en de digitale avatars waarin zij leven, genereren niet van nature de incidentele geluiden van beweging. Zonder deze aanwijzingen moeten samenwerkers voortdurend hun hoofd draaien om de ander te controleren, wat hun concentratie doorbreekt en de workflow verstoort. Onderzoekers zoeken al lang naar manieren om dit zintuiglijke gat te vullen, door te onderzoeken of het toevoegen van kunstmatige geluiden aan een virtuele wereld dat verloren gegane gevoel van gedeelde aanwezigheid zou kunnen herstellen.

Een team van onderzoekers aan de Universiteit van Tsukuba zette zich in om dit idee te testen door twee verschillende soorten geluid te introduceren in een collaboratieve virtuele realiteitstaak. Ze wilden zien of het horen van de activiteit van een partner via geluid invloed zou hebben op hoe mensen samenwerkten, hoe ze over elkaar dachten en hoe ze hun lichaam bewogen. Hiervoor brachten ze vierentwintig studenten naar een virtuele kamer om een blokjes-assemblageopdracht uit te voeren. De deelnemers werkten in paren, waarbij ze om de beurt de rol van "Directeur" en "Uitvoerder" op zich namen. De Directeur kon een blauwdruk van een structuur zien en moest verbale instructies geven aan de Uitvoerder, die op vier verschillende tafels in de kamer moest zoeken naar de juiste blokjes om ze naar een centrale tafel te brengen. De onderzoekers creëerden drie verschillende luisteromgevingen voor deze paren. In één scenario was er geen extra geluid aanwezig, behalve hun stemmen. In een tweede scenario speelde het systeem het geluid van voetstappen af wanneer iemand liep. In het derde scenario genereerde het systeem een continu, abstract geluid dat luider of zachter werd afhankelijk van hoeveel de persoon met zijn hele lichaam bewoog, en niet alleen met zijn voeten. Dit derde geluid was ontworpt om te fungeren als een sonificatie, een manier om algemene activiteitsniveaus om te zetten in een volume aan ruis dat de avatar door de ruimte volgde.

De studie toonde aan dat het toevoegen van deze geluiden de algehele beleving of de snelheid waarmee de paren de taak voltooiden, niet drastisch veranderde. Wanneer de deelnemers achteraf werden gevraagd hoe aanwezig ze zich voelden bij hun partner of hoeveel ze de ander leuk vonden, waren hun antwoorden hetzelfde, ongeacht of ze voetstappen, abstract geluid of stilte hoorden. Ze gaven niet aan dat een bepaald geluid de taak makkelijker maakte of de partner vriendelijker maakte. Bovendien ontdekten de onderzoekers dat de geluiden ervoor zorgden dat mensen niet vaker hun hoofd draaiden om naar hun partner te kijken. Zelfs toen de partner achter hen aan het werk was, buiten het zicht, draaiden de luisteraars niet consequent hun hoofd als reactie op de nieuwe geluiden. Dit suggereert dat de geluiden niet fungeerden als een direct commando om te kijken, noch dat ze de sociale sfeer van de samenwerking fundamenteel veranderden op een manier die de deelnemers gemakkelijk konden beschrijven.

Echter, een nauwkeurigere blik op de gegevens onthulde een subtielere en specifiekere gedragsverandering. De onderzoekers ontdekten dat de geluiden de bewegingen van de "Uitvoerder" wel degelijk beïnvloedden, maar alleen in zeer specifieke situaties. Wanneer de Uitvoerder op zoek was naar een blokje bij een tafel die zich direct achter de Directeur bevond, veranderden hun bewegingspatronen afhankelijk van welk geluid er werd afgespeeld. In de conditie waarin voetstappen werden gehoord, bewoog de Uitvoerder een aanzienlijk grotere afstand en besteedde hij meer tijd aan bewegen tijdens het zoeken vergeleken met de stille conditie. In de conditie met het abstracte geluid besteedde de Uitvoerder ook meer tijd aan bewegen, hoewel hij niet even ver reisde als die in de voetstapconditie. Dit suggereert dat wanneer de Uitvoerder werkte in de blinde vlek van de Directeur, de aanwezigheid van geluid hen leek aan te moedigen meer te bewegen, misschien om hun aanwezigheid kenbaar te maken of om het geluid zelf te genereren. Het effect was geen algemene toename van activiteit gedurende de gehele taak; het trad alleen op wanneer de ruimtelijke relatie tussen de twee mensen visueel contact moeilijk maakte en de taak het zoeken vereiste.

De onderzoekers luisterden ook naar de eigen beschrijvingen van de deelnemers over de ervaring om te begrijpen hoe zij deze geluiden interpreteerden. Veel mensen beschreven de voetstappen als een duidelijk signaal dat iemand liep of stopte, een directe link tussen het geluid en een specifieke handeling. In contrast hiermee werd het abstracte geluid vaak beschreven als een achtergrondgezoem of een omgevingsgeluid, waarbij sommige deelnemers niet precies wisten wat het betekende, terwijl anderen vonden dat het simpelweg aangaf dat de partner actief was. Dit verschil benadrukt een ontwerpkeuze: geluiden die echte gebeurtenissen nabootsen zijn gemakkelijk te begrijpen maar vertellen je alleen over die ene gebeurtenis, terwijl abstracte geluiden een breder scala aan activiteiten kunnen dekken maar moeilijker te interpreteren zijn. De studie suggereert dat deze aan activiteit gekoppelde geluiden in collaboratieve virtuele realiteit geen vervanging zijn voor visuele informatie, noch een magische oplossing die iedereen zich dichter bij elkaar laat voelen. In plaats daarvan fungeren ze als een perifere aanwijzing, een subtiele laag van informatie die pas nuttig wordt wanneer de visuele verbinding wordt verbroken en de behoefte om te weten waar een partner is, cruciaal wordt. De bevindingen wijzen erop dat de waarde van dergelijke geluiden sterk afhangt van de context van het werk en de fysieke relatie tussen de samenwerkers, in plaats van een constant voordeel te zijn gedurende de gehele ervaring.