Reconstructed Reality: Enabling Teleportation-Based Locomotion in Immersive Telepresence

무거운 헬멧을 쓴 채 다른 방의 실시간 영상 피드를 보며 방 안을 걷는 모습을 상상해 보십시오. 그런데 그 영상은 거의 2초 정도 지연됩니다. 고개를 돌리거나 발걸음을 옮길 때마다 눈에 보이는 이미지는 실제 움직임보다 뒤처집니다. 이 시각적 정보와 귀에서 느껴지는 균형 감각 사이의 불일치는 가상 현실에서 멀미를 유발하는 주요 원인입니다. 수년 동안 이러한 감각적 충돌은 노인 친척을 돌보거나 먼 시설을 점검하는 것과 같은 원격 작업을 위해 로봇을 사용하는 데 있어 큰 장벽이 되어 왔습니다. 운영자가 표준 조이스틱을 사용하여 로봇을 조종할 때, 지연 현상은 탐색을 느리고 혼란스럽게 만들며, 종종 구토를 유발하여 작업을 중단하게 만듭니다. 연구자들은 오랫동안 물리적인 지연의 대가 없이 사람들이 원격지에 존재감을 느낄 수 있는 방법을 모색해 왔습니다.

오울루 대학교(University of Oulu)의 연구진은 사람들이 원격 공간을 이동하는 방식을 바꿈으로써 이 문제를 해결하는 방법을 개발했습니다. 자동차처럼 로봇을 지속적으로 조종하는 대신, 이 시스템은 사용자가 디지털 지도를 통해 새로운 위치로 즉시 "텔레포트(순간이동)"할 수 있게 해줍니다. 사용자가 이 디지털 공간에서 움직이는 동안, 실제 로봇은 스스로 그 지점으로 이동합니다. 사용자는 로봇이 지연 속에서 고군분투하는 모습을 직접 보고 있지 않기 때문에, 지연으로 인해 발생하는 일반적인 멀미를 느끼지 않습니다. 연구진은 이 아이디어를 두 단계로 테스트했는데, 처음에는 미리 제작된 디지털 지도를 사용했고, 그다음에는 로봇이 움직임에 따라 실시간으로 지도를 구축하는 시스템을 사용했습니다. 연구 결과, 이 텔레포트 방식은 멀미를 현저히 줄여주며, 영상 연결이 느린 상황에서도 사람들이 작업을 더 빠르게 완료하도록 돕는다는 것을 보여주었습니다.

문제의 핵심은 인간의 뇌가 움직임을 처리하는 방식에 있습니다. 사람이 헤드셋을 쓰고 로봇이 움직이는 영상을 볼 때, 눈은 뇌에 자신이 이동하고 있다고 알립니다. 그러나 균형을 제어하는 내이(inner ear)는 자신이 가만히 앉아 있다고 감지합니다. 이 모순은 뇌가 이를 독극물 섭의 신호로 해석하게 만들어 메스꺼움과 어지러움 증상을 유발하는 감각적 충돌을 만듭니다. 이 문제는 360도 카메라를 사용하여 원격 로봇의 영상을 스트리밍할 때 특히 심각한데, 고화질 영상은 전송해야 할 데이터 양이 많아 지연을 증가시키기 때문입니다. 설명된 실험에서 로봇의 동작과 사용자가 화면에서 보는 것 사이의 지연 시간은 약 1.8초로 측정되었습니다. 이 속도에서는 조이스틱으로 로봇을 조종하는 것이 매우 답답하고 신체적으로 힘들며, 영상이 마침내 따라잡을 때 로봇이 어디에 있을지 예측하려 애쓰는 과정에서 성능 저하가 빈번하게 발생합니다.

이를 해결하기 위해 연구진은 VEIPE(Virtual Environment Interface to a Physical Environment, 물리적 환경에 대한 가상 환경 인터페이스)라고 불리는 시스템을 도입했습니다. 이 설정에서 사용자는 로봇을 직접 조종하지 않습니다. 대신, 헤드셋 안에서 원격실의 3D 재구성 모델을 바라봅니다. 이 디지털 방은 실제 방과 일치하도록 제작되었습니다. 사용자가 이동하고 싶을 때, 디지털 방의 바닥 특정 지점을 가리키고 클릭합니다. 그러면 사용자는 가상 세계의 해당 지점에 즉시 나타나며, 로봇은 스스로 그곳을 향해 주행하기 시작합니다. 로봇이 거리를 이동하는 동안 사용자는 디지털 공간 내에서 로봇이 움직이는 것을 보게 되지만, 사용자 자신의 몸은 움직이지 않으므로 감각적 충돌은 최소화됩니다. 로봇이 도착하면, 사용자가 실제 세상을 명확하게 볼 수 있도록 실시간 영상 피드로 전환됩니다.

연구진은 먼저 실험 전에 미리 만들어진 디지털 지도를 사용하여 이 개념을 테스트했습니다. 참가자들에게 로봇을 조종하여 약병이 있는지 확인하거나 쓰레기통이 차 있는지 확인하는 것과 같은 특정 물체를 찾는 과제를 부여했습니다. 절반의 참가자는 전통적인 조이스틱 방식을 사용했고, 나머지 절반은 텔레포트 시스템을 사용했습니다. 결과는 명확했습니다. 텔레포트 방식을 사용한 사람들은 멀미를 훨씬 적게 느꼈습니다. 멀미를 측정하는 표준 척도에서 조이스틱 그룹은 심한 불편함을 나타내는 높은 점수를 기록한 반면, 텔레포트 그룹은 0에 가까운 점수를 기록했습니다. 또한, 텔레포트 그룹은 같은 시간 동안 더 많은 탐색 과제를 완료했습니다. 그들은 또한 정신적 피로도가 낮다고 보고했습니다. 참가자들은 압도적으로 텔레포트 방식을 선호했으며, 대부분은 다시 로봇을 제어해야 한다면 이 방식을 선택하겠다고 답했습니다.

이 결과가 단순히 미리 만들어진 지도의 우연한 결과가 아님을 확인하기 위해, 팀은 더 까다로운 두 번째 연구를 수행했습니다. 이번에는 방을 스캔하고 이동하면서 3D 지도를 구축할 수 있는 특수 카메라가 장착된 로봇을 사용했습니다. 이는 디지털 환경이 사전에 완벽하게 복사된 것이 아니라, 실시간으로 생성되고 있음을 의미했습니다. 과제는 더 복렴해졌는데, 노인 돌봄 보조원과 같은 실제 상황을 시뮬레이션하여 더 넓은 공간에서 더 긴 거리를 이동하며 관찰 점검을 수행해야 했습니다. 고품질 영상과 실시간 지도 처리에 필요한 데이터량 때문에 이 설정에서의 영상 스트림 지연은 1.8초로 약간 더 높았습니다.

추가된 복잡성에도 불구하고, 텔레포트 방식은 우월함을 입증했습니다. 실시간 시스템을 사용하는 참가자들은 조이스틱을 사용하는 사람들보다 현저히 적은 멀미를 경험했지만, 과제 지속 시간이 길어짐에 따라 전체적인 멀미 점수는 첫 번째 연구보다 약간 높았습니다. 텔레포트 그룹 또한 더 많은 과제를 성공적으로 수행했습니다. 연구진은 사용자가 디지털 지도에서 경로를 볼 수 있고 목적지로 즉시 점프할 수 있기 때문에, 로봇이 이동하는 시간이 사용자의 경로 계획 능력을 저해하지 않는다는 것을 발견했습니다. 이는 지연되는 영상 피드를 통해 조종하려 애쓰는 좌절감을 제거했습니다. 사용자가 느끼는 주관적 업무 부하(subjectual workload) 또한 텔레포트 그룹에서 현저히 낮았습니다.

그러나 연구는 사용자 선호도와 관련된 한 가지 놀라운 미묘한 차이를 밝혀냈습니다. 텔레포트 방식이 건강과 성능 측면에서 객관적으로 더 나았음에도 불구하고, 참가자들이 모두 이를 가장 선호한 것은 아니었습니다. 두 번째 연구에서 약 3분의 2의 참가자만이 텔레포트 방식을 선호했으며, 나머지는 여전히 전통적인 조이스틱을 선택했습니다. 연구진은 일부 사용자들이 비록 멀미를 유발하더라도 직접 로봇을 조종할 수 있을 때 더 강한 통제감을 느낀다는 점에 주목했습니다. 한 참가자는 텔레포트 시스템을 사용할 때 "신체가 분리된 듯한(disembodied)" 느낌을 받는다고 언급하며, 조이스틱의 직접적인 연결을 선호했습니다. 이는 기술이 신체적 문제인 멀미는 해결할 수 있지만, 직접적인 통제에 대한 심리적 욕구 또한 설계자가 고려해야 할 요소임을 시사합니다.

연구진은 또한 시스템의 사용 편의성도 살펴보았습니다. 텔레포트 방식은 사용성 척도에서 약간 더 높은 점수를 받았으나, 그 점수가 압도적으로 높지는 않았습니다. 일부 참가자들은 디지털 지도에서 선택한 지점에 로봇이 도달할 수 없는 경우(예: 벽이나 물체에 너무 가깝게 텔레포트한 경우) 답답함을 느꼈습니다. 이는 시스템이 안전한 영역으로 텔레포트를 제한하거나 명확한 경로를 보여주는 등, 도달 가능한 지점에 대해 더 똑똑해질 필요가 있음을 나타냅니다. 이러한 사소한 사용성 문제에도 불구하고, 데이터는 이 방법이 효과적임을 확인해 줍니다. 연구진은 3D 재구성된 환경을 사용하여 로봇을 텔레포트하는 것이 높은 지연 시간을 가진 연결의 한계를 극복하는 실행 가능하고 효과적인 방법이라고 결론지었습니다.

이 연구는 원격 로보틱스의 미래가 반드시 지연을 줄이기 위한 더 빠른 인터넷이나 더 좋은 카메라에 달려 있는 것은 아님을 보여줍니다. 대신, 인간이 기계와 상호작용하는 방식을 바꾸는 것에 달려 있을 수 있습니다. 사용자가 지연되는 여정을 건너뛰고 목적지에 즉시 나타나게 함으로써, 시스템은 멀미를 유발하는 감각적 충돌을 제거합니다. 이 연구는 이러한 접근 방식이 연결 속도가 느린 상황에서도 사람들이 원격 환경을 더 효과적이고 편안하게 탐색할 수 있게 한다는 강력한 증거를 제공합니다. 기술이 아직 완벽하지 않고 일부 사용자가 여전히 직접적인 통제감을 선호하더라도, 결과는 텔레포트 방식이 일반 대중이 사용하기에 적합한 텔레프레즌스(telepresence) 시스템을 만드는 명확한 길을 제시합니다. 사랑하는 사람을 돌보거나 원격지를 점검할 때 몸이 아프지 않게 하는 기술은 우리가 즉각적인 손길이 닿지 않는 세상과 상호작용하는 방식을 변화시킬 수 있습니다.