Investigating Activity-Linked Audio for Conveying Partner Activity Information in Collaborative VR

사람들이 디지털 아바타로서 만나 무언가를 구축하거나 설계하거나, 혹은 그저 함께 머물기 위해 모이는 가상 현실의 공유 공간에서, 근본적인 과제가 여전히 남아 있다. 바로 파트너를 볼 수 없을 때 그들이 무엇을 하고 있는지 어떻게 알 수 있는가 하는 문제이다. 물리적 세계에서 우리의 감각은 주변 사람들에 대한 지속적이고 낮은 수준의 정보 흐름을 제공한다. 우리는 발걸음 소리, 의자가 삐걱거리는 소리, 혹은 옷이 스치는 소리를 듣게 되며, 이러한 소리들은 우리가 직접 쳐다보지 않고도 누군가가 어디에 있고 무엇을 하고 있는지를 알려준다. 이러한 배경 인지는 우리가 끊임없이 눈을 맞추지 않고도 나란히 협업할 수 있게 해준다. 그러나 가상 환경에서는 이러한 자연스러운 소리가 종종 결여된다. 사용자들은 헤드셋이 제공하는 좁은 시야에 갇혀 있으며, 그들이 거주하는 디지털 아바타는 움직임에 따른 부수적인 소음을 자연스럽게 생성하지 않는다. 이러한 단서가 없으면, 협력자들은 서로를 확인하기 위해 끊임없이 고개를 돌려야 하며, 이는 집중력을 깨뜨리고 작업의 흐름을 방해한다. 연구자들은 이 감각적 공백을 메우기 위해 인공적인 소리를 가상 세계에 추가하는 것이 상실된 공유 현존감을 복원할 수 있을지 탐구하며 오랫동안 방법을 모색해 왔다.

쓰쿠바 대학교의 한 연구팀은 협력적 가상 현실 과제에 두 가지 다른 유형의 소리를 도입함으로써 이 아이디어를 테스트하기로 했다. 그들은 파트너의 활동을 소리로 듣는 것이 사람들이 어떻게 함께 일하고, 서로를 어떻게 느끼며, 어떻게 몸을 움직이는지를 변화시키는지 알고 싶었다. 이를 위해 연구진은 24명의 학생을 가상 공간으로 불러 블록 조립 과제를 수행하게 했다. 참가자들은 쌍을 이루어 '디렉터(Director)'와 '실행자(Executor)' 역할을 번갈아 맡았다. 디렉터는 구조물의 청사진을 볼 수 있었고, 실행자에게 구두로 지시를 내려야 했다. 실행자는 방 안의 네 군데 서로 다른 테이블을 돌아다니며 올바른 블록을 찾아 중앙 테이블로 가져와야 했다. 연구진은 이 쌍들을 위해 세 가지 다른 청취 환경을 만들었다. 첫 번째 시나리오에서는 목소리 외에 추가적인 소리가 전혀 없었다. 두 번째에서는 사람이 걸을 때마다 발소리가 재생되었다. 세 번째에서는 발뿐만 아니라 전체적인 신체 움직임에 따라 소리의 크기가 변하는 연속적이고 추상적인 소리가 생성되었다. 이 세 번째 소리는 일반적인 활동 수준을 추적하여 아바타를 따라다니는 소음의 부피로 변환하는 방식인 소니피케이션(sonification, 가청화)처럼 작동하도록 설계되었다.

연구 결과, 이러한 소리를 추가하는 것이 전반적인 경험의 느낌이나 쌍이 과제를 완료하는 속도를 극적으로 변화시키지는 않았다. 실험 후 참가자들에게 파트너와 얼마나 현존감을 느꼈는지 또는 상대방을 얼마나 좋아했는지 물었을 때, 발소리를 듣든, 추상적인 소음을 듣든, 혹은 침묵 상태였든 상관없이 답변은 동일했다. 그들은 특정 소리가 과제를 더 쉽게 만들거나 파트너를 더 친근하게 느껴지게 했다고 보고하지 않았다. 또한, 연구진은 소리가 사람들이 파트너를 보기 위해 고개를 더 자주 돌리게 만들지도 않는다는 것을 발견했다. 파트너가 등 뒤에서 작업하고 있어 시야에서 벗어난 상황에서도, 청취자들은 새로운 소리에 반응하여 일관되게 고개를 돌리지 않았다. 이는 소리가 직접적인 관찰 명령으로 작용하거나, 참가자들이 쉽게 설명할 수 있는 방식으로 협업의 사회적 분위기를 근본적으로 바꾸지는 않았음을 시사한다.

하지만 데이터를 자세히 살펴보면 더 미묘하고 구체적인 행동 변화가 드러났다. 연구진은 소리가 '실행자'의 움직임에 영향을 미쳤지만, 이는 매우 특정한 상황에서만 발생한다는 것을 발견했다. 실행자가 디렉터의 바로 뒤에 있는 테이블에서 블록을 찾고 있을 때, 그들의 움직임 패턴은 어떤 소리가 재생되느냐에 따라 달라졌다. 발소리가 들리는 조건에서 실행자는 조용한 조건과 비교했을 때 검색하는 동안 훨씬 더 많은 거리를 이동하고 더 많은 시간을 움직임에 사용했다. 추상적인 소음 조건에서도 그들은 더 많은 시간을 움직였지만, 발소리 조건만큼 멀리 이동하지는 않았다. 이는 실행자가 디렉터의 사각지대에서 작업할 때, 소리의 존재가 그들로 하여금 더 많이 움직이게 하거나, 혹은 스스로 소리를 내게 함으로써 자신의 존재를 알리도록 유도한 것처럼 보인다는 점을 시사한다. 이 효과는 전체 과제 과정에서의 일반적인 활동 증가가 아니라, 두 사람 사이의 공간적 관계가 시각적 접촉을 어렵게 만들고 탐색이 필요한 상황에서만 나타났다.

연구진은 또한 참가자들이 이 소리를 어떻게 해석하는지 이해하기 위해 그들이 경험을 기술하는 내용을 경청했다. 많은 이들이 발소리를 누군가 걷거나 멈추고 있다는 명확한 신호, 즉 소리와 특정 행동 사이의 직접적인 연결 고리로 묘사했다. 반면, 추상적인 소음은 흔히 배경 소음이나 환경음으로 묘사되었는데, 일부 참가자들은 그것이 정확히 무엇을 의미하는지 확신하지 못했고, 다른 이들은 그것이 단순히 파트너가 활동 중임을 알려준다고 느꼈다. 이러한 차이는 설계상의 트레이드오프(trade-off)를 보여준다. 실제 사건을 모방하는 소리는 이해하기 쉽지만 단 하나의 사건만을 알려주는 반면, 추상적인 소리는 더 넓은 범위의 활동을 포괄할 수 있지만 해석하기는 더 어렵다. 이 연구는 협력적 가상 현실에서 이러한 활동 연동형 소리가 시각적 정보를 대체하거나 모두를 더 가깝게 만드는 마법 같은 해결책이 아니라는 점을 시사한다. 대신, 이들은 주변부 단서(peripheral cue)로서, 시각적 연결이 끊어지고 파트너가 어디에 있는지 아는 것이 결정적으로 중요해질 때만 유용해지는 미묘한 정보의 층위로 작용한다. 연구 결과는 이러한 소리의 가치가 경험 전체에 걸친 지속적인 혜택이라기보다, 작업의 맥락과 협력자 간의 물리적 관계에 크게 의존한다는 것을 보여준다.