Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

In den geteilten Räumen der virtuellen Realität, in denen Menschen als digitale Avatare aufeinandertreffen, um zu bauen, zu entwerfen oder einfach nur zusammen zu sein, bleibt eine grundlegende Herausforderung bestehen: Wie weiß man, was der Partner tut, wenn man ihn nicht sehen kann? In der physischen Welt liefern uns unsere Sinne einen ständigen, unterschwelligen Informationsstrom über die Menschen um uns herum. Wir hören das Scharren eines Schrittes, das Knarren eines Stuhls oder das Rascheln von Kleidung, und diese Geräusche verraten uns, wo sich jemand befindet und was er gerade tut, ohne dass wir direkt hinsehen müssen. Dieses Hintergrundbewusstsein ermöglicht es uns, nebeneinander zu arbeiten, ohne ständig Blickkontakt halten zu müssen. In einer virtuellen Umgebung fehlen diese natürlichen Geräusche jedoch oft. Die Nutzer sind auf das enge Sichtfeld beschränkt, das ihre Headsets vorgeben, und die digitalen Avatare, die sie verkörpern, erzeugen nicht von Natur aus die zufälligen Geräusche von Bewegungen. Ohne diese Hinweise müssen die Kooperationspartner ständig den Kopf drehen, um nach dem anderen zu sehen, was ihren Fokus unterbricht und den Arbeitsfluss stört. Forscher suchen seit langem nach Wegen, diese sensorische Lücke zu schließen, und untersuchen, ob das Hinzufügen künstlicher Klänge zu einer virtuellen Welt dazu beitragen könnte, dieses verlorene Gefühl der gemeinsamen Präsenz wiederherzustellen.

Ein Forschungsteam der Universität Tsukuba unternahm den Versuch, diese Idee zu testen, indem es zwei verschiedene Arten von Klängen in eine kollaborative Virtual-Reality-Aufgabe einführte. Sie wollten sehen, ob das Hören der Aktivitäten eines Partners durch Klang die Art und Weise verändert, wie Menschen zusammenarbeiten, wie sie sich gegenseitig wahrnehmen und wie sie sich körperlich bewegen. Zu diesem Zweck brachten sie vierundzwanzig Studenten in einen virtuellen Raum, um eine Block-Montage-Aufgabe durchzuführen. Die Teilnehmer arbeiteten in Paaren, wobei sie abwechselnd die Rollen des „Directors“ (Leiters) und des „Executors“ (Ausführenden) übernahmen. Der Director konnte eine Blaupause für eine Struktur sehen und musste den Executor verbal anweisen, der wiederum vier verschiedene Tische im Raum absuchen musste, um die richtigen Blöcke zu finden und zu einem zentralen Tisch zu bringen. Die Forscher schufen drei verschiedene Hörumgebungen für diese Paare. In einem Szenario gab es außer ihren Stimmen keinerlei zusätzliche Geräusche. In einem zweiten Szenario spielte das System das Geräusch von Schritten ab, wann immer eine Person ging. Im dritten Szenario erzeugte das System ein kontinuierliches, abstraktes Geräusch, das lauter oder leiser wurde, je nachdem, wie viel die Person mit ihrem gesamten Körper in Bewegung war, nicht nur mit den Füßen. Dieses dritte Geräusch wurde als eine Art Sonifikation konzipiert – ein Weg, allgemeine Aktivitätsniveaus in eine Lautstärke von Rauschen zu verwandeln, das dem Avatar durch den Raum folgt.

Die Studie ergab, dass das Hinzufügen dieser Klänge das allgemeine Gefühl des Erlebens oder die Geschwindigkeit, mit der die Paare ihre Aufgabe abschlossen, nicht drastisch veränderte. Als die Teilnehmer im Anschluss gefragt wurden, wie präsent sie sich bei ihrem Partner fühlten oder wie sehr sie die andere Person mochten, fielen ihre Antworten unabhängig davon gleich, ob sie Schritte, abstraktes Rauschen oder Stille hörten. Sie berichteten nicht, dass ein bestimmtes Geräusch die Aufgabe erleichtert oder den Partner freundlicher gemacht hätte. Darüber hinaus stellten die Forscher fest, dass die Klänge die Menschen nicht dazu veranlassten, häufiger den Kopf zu drehen, um ihren Partner anzusehen. Selbst wenn der Partner hinter ihnen arbeitete und außer Sichtweite war, drehten die Zuhörer nicht konsistent als Reaktion auf die neuen Klänge den Kopf. Dies deutet darauf hin, dass die Klänge nicht als direkter Befehl zum Hinsehen fungierten, noch sie die soziale Atmosphäre der Zusammenarbeit in einer Weise grundlegend veränderten, die die Teilnehmer leicht beschreiben konnten.

Bei genauerer Betrachtung der Daten zeigte sich jedoch eine subtilere und spezifischere Verhaltensänderung. Die Forscher entdeckten, dass die Klänge die Bewegungen des „Executors“ beeinflusten, allerdings nur in sehr spezifischen Situationen. Wenn der Executor nach einem Block an einem Tisch suchte, der sich direkt hinter dem Director befand, änderten sich seine Bewegungsmuster je nach abgespieltem Klang. In der Bedingung, in der Schritte zu hören waren, legte der Executor im Vergleich zur Silent-Bedingung eine signifikant größere Distanz zurück und verbrachte mehr Zeit mit Bewegungen, während er suchte. In der Bedingung mit dem abstrakten Rauschen verbrachte er ebenfalls mehr Zeit mit Bewegen, legte jedoch nicht so weite Wege zurück wie in der Fußschritt-Bedingung. Dies deutet darauf darauf hin, dass die Anwesenheit von Geräuschen, wenn der Executor im toten Winkel des Directors arbeitete, ihn dazu zu ermutigte, sich mehr zu bewegen, vielleicht um seine Anwesenheit spürbar zu machen oder um das Geräusch selbst zu erzeugen. Es handelte sich nicht um eine allgemeine Steigerung der Aktivität während der gesamten Aufgabe; der Effekt trat nur auf, wenn die räumliche Beziehung zwischen den beiden Personen den visuellen Kontakt erschwerte und die Aufgabe das Suchen erforderte.

Die Forscher hörten sich auch die Beschreibungen der Teilnehmer an, um zu verstehen, wie sie diese Klänge interpretierten. Viele beschrieben die Schritte als ein klares Signal dafür, dass jemand ging oder anhielt – eine direkte Verbindung zwischen dem Geräusch und einer spezifischen Handlung. Im Gegensatz dazu wurde das abstrakte Rauschen oft als Hintergrundsummen oder Umgebungsgeräusch beschrieben; einige Teilnehmer waren sich unsicher, was es genau bedeutete, während andere das Gefühl hatten, es sage ihnen lediglich, dass der Partner aktiv sei. Dieser Unterschied verdeutlicht einen Design-Trade-off: Klänge, die reale Ereignisse imitieren, sind leicht zu verstehen, geben aber nur Auskunft über genau dieses eine Ereignis, während abstrakte Klänge ein breiteres Spektrum an Aktivitäten abdecken können, aber schwerer zu interpretieren sind. Die Studie legt nahe, dass diese aktivitätsbezogenen Klänge in der kollaborativen virtuellen Realität kein Ersatz für visuelle Informationen sind und auch keine magische Lösung darstellen, die alle Menschen näher zusammenbringt. Stattdessen fungieren sie als peripherer Hinweis – eine subtile Informationsebene, die erst dann nützlich wird, wenn die visuelle Verbindung unterbrochen ist und die Notwendigkeit, zu wissen, wo sich ein Partner befindet, kritisch wird. Die Ergebnisse deuten darauf hin, dass der Wert solcher Klänge stark vom Kontext der Arbeit und der physischen Beziehung der Kooperationspartner abhängt und nicht als konstanter Vorteil während der gesamten Erfahrung zu werten ist.