Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

バーチャルリアリティの共有空間において、人々がデジタルアバターとして出会い、構築したり、設計したり、あるいは単に共に過ごしたりする場では、ある根本的な課題が残っている。それは、相手が見えないとき、その人が何をしているのかをどのように知るかという問題である。物理的な世界では、私たちの感覚は、周囲の人々に関する絶え間ない低レベルの情報を提供してくれる。足音の擦れる音、椅子のきしむ音、あるいは衣服のこすれる音などが聞こえ、それらの音によって、直接見なくても相手がどこにいて、何をしているのかを知ることができる。この背景的な認識があるからこそ、私たちは絶えず視線を合わせることなく、並んで作業を行うことができる。しかし、バーチャル環境では、これらの自然な音が欠落していることが多い。ユーザーはヘッドセットによる狭い視野に限定されており、彼らが宿しているデジタルアバターは、動きに伴う偶発的な音を自然には発生させない。これらの手がかりがないと、協力者は互いを確認するために絶えず頭を回さなければならず、それが集中力を削ぎ、作業の流れを中断させてしまう。研究者たちは、人工的な音をバーチャル世界に加えることで、失われた共有プレゼンス（存在感）を回復できるかどうかを探り、この感覚的な空白を埋める方法を長年模索してきた。

筑波大学の研究チームは、二種類の異なるタイプの音を協調的なバーチャルリアリティ・タスクに導入することで、このアイデアを検証することに乗り出した。彼らは、パートナーの活動を音を通じて聞くことが、人々の協力の仕方、互いに対する感じ方、そして身体の動き方にどのような変化をもたらすかを知りたいと考えた。これを行うため、24人の学生をバーチャルな部屋に招き、ブロック組み立てタスクを行わせた。参加者はペアで作業し、交代で「ディレクター（指示役）」と「エグゼキューター（実行役）」を務めた。ディレクターは構造物の設計図を見ることができ、言葉で指示を出す。エグゼキューターは、部屋の周囲にある4つの異なるテーブルを探索して正しいブロックを見つけ出し、中央のテーブルに運ぶ役割を担う。研究者は、これらのペアに対して3つの異なるリスニング環境を用意した。一つのシナリオでは、声以外の追加音は一切なかった。二つ目のシナリオでは、人が歩くたびに足音を再生するシステムを用いた。三つ目のシナリオでは、足だけでなく全身の動きに応じて音量が増減する、連続的で抽象的な音を生成した。この三つ目の音は、ソニフィケーション（可聴化）の一種として、一般的な活動レベルを、アバターの周囲を漂うノイズの音量へと変換するように設計された。

研究の結果、これらの音を追加しても、体験全体の感覚やペアがタスクを完了する速度に劇的な変化はなかった。参加者に終了後、パートナーとのプレゼンスをどのように感じたか、あるいは相手をどの程度好ましく思ったかを尋ねたところ、足音を聞いた場合でも、抽象的なノイズを聞いた場合でも、あるいは無音であった場合でも、回答は同様であった。彼らは、特定の音がタスクを容易にしたとか、パートナーをより友好的に感じさせたといった報告もしなかった。さらに、研究者は、これらの音が原因で人々がパートナーを見るために頭を回す頻度が増えることもないことを発見した。パートナーが背後にいて視界の外にいるときでも、リスナーは新しい音に反応して一貫して頭を回すことはなかった。このことは、音が直接的な「見るための命令」として機能したわけでも、また、参加者が容易に説明できるような形で協力の社会的雰囲気をも根本的に変えたわけでもないことを示唆している。

しかし、データを詳細に分析すると、より微細で具体的な行動の変化が見て取れた。研究者は、音が「エグゼキューター」の動きに影響を与えることを発見したが、それは非常に特定の状況においてのみであった。エグゼキューターがディレクターの真後ろにあるテーブルでブロックを探しているとき、再生されている音の種類によって、彼らの運動パターンが変化した。足音が聞こえる条件では、エグゼキューターは、無音の条件と比較して、探索中に移動する距離が有意に長く、移動に費やす時間も長かった。抽象的なノイズの条件でも、移動時間は長くなったが、足音の条件ほどは移動しなかった。このことは、エグекキューターがディレクターの死角で作業しているとき、音の存在が、自らの存在を知らせるためか、あるいは自ら音を発生させるためか、彼らの動きを促したことを示唆している。この効果は、タスク全体における一般的な活動量の増加ではなく、二人の間の空間的な関係によって視覚的な接触が困難になり、探索が必要となる場合にのみ現れた。

研究者はまた、参加者がこれらの音をどのように解釈したかを理解するために、彼ら自身の体験の説明にも耳を傾けた。多くの人々は、足音を「誰かが歩いている、あるいは止まっている」という明確な合図であり、音と特定の動作との直接的な結びつきであると表現した。対照的に、抽象的なノイズは、背景のハム音や環境音として記述されることが多く、その正確な意味を確信していない参加者もいれば、単にパートナーが活動していることを教えてくれるものだと感じている参加者もいた。この違いは、設計におけるトレードオフを浮き彫りにしている。現実世界の出来事を模倣した音は理解しやすいが、その一つの出来事しか伝えない。一方で、抽象的な音はより幅広い活動をカバーできるが、解釈が難しい。この研究は、協調的なバーチャルリアリティにおいて、こうした活動に連動した音は、視覚情報の代わりになるものでも、全員をより親密に感じさせる魔法の解決策でもないことを示唆している。むしろ、それらは周辺的な手がかり、つまり視覚的なつながりが断たれ、パートナーがどこにいるかを知る必要性が極めて高くなったときにのみ有用となる、情報の微細な層として機能するのである。この知見は、こうした音の価値は、体験全体を通じた恒常的な恩恵というよりも、作業の文脈や協力者間の物理的な関係性に大きく依存していることを示している。