기술 요약: 실세계 제약 조건이 적용된 가상 환경 강화 VR 프레임워크를 통한 텔레프레즌스 사용자 평가

문제 정의

가상 현실(VR)과 로봇 공학의 통합은 위험한 탐사부터 수색 및 구조에 이르기까지 다양한 응용 분야에서 상당한 잠재력을 제공한다. 그러나 기존 솔루션은 종종 값비싸고 접근하기 어려운 하드웨어(예: 고성능 360도 카메라, 고급 햅틱 장치)에 의존하거나 심각한 사용성 문제로 어려움을 겪는다. 구체적으로, 카메라 영상을 헤드 마운트 디스플레이(HMD)에 직접 매핑하는 방식은 지연 시간(latency), 프레임 속도 불일치 또는 랙(lag)으로 인해 시뮬레이터 멀미를 유발할 수 있다. 또한, 키보드, 마우스 또는 조이스틱을 사용하는 전통적인 제어 스키마는 자연스러운 이동을 제공하지 못해 사용자의 방향 감각 상실과 몰입도 저하를 초け울 수 있다. 사용자는 뒤를 돌아보기 위해 물리적으로 회전할 때 발생하는 전정 및 고유 수용성 단서를 결여하게 되며, 이는 강력한 공간적 존재감을 형성하는 데 필수적이다. 또한, 전통적인 설정의 제한된 시야각(FOV)은 방향 감각 상실을 악화시킨다. 과제는 표준적이고 적당한 가격대의 산업용 하드웨어를 활용하면서도 정확하고 몰입감 있는 제어를 유지하고 시뮬레이터 멀디를 최소화하는 텔레프레즌스 솔루션을 개발하는 것이다.

방법론

본 연구는 하드웨어의 한계를 완화하면서 로봇, 가상 환경(VE), 그리고 VR 장비를 통합하여 실제 세계를 모방하는 텔레오퍼레이션 프레임워크를 제안하였다.

• 하드웨어 구성: 시스템은 ROSBot 2R 로봇과 ROS 2(Ubuntu-Humble)를 실행하는 가상 머신을 결합하여 사용하였다. 로봇에는 내장 카메라(드라이버 제약으로 인해 320x240 해상도 및 15 FPS의 낮은 해상도로 작동)와 LIDAR 스캐너가 장착되었다. 사용자 인터페이스는 표준 HMD와 VR 컨트롤러로 구성되었다.
• 소프트웨어 아키텍처: 시스템은 Unity 3D와 Visual Studio를 사용하여 개발되었으며, 통신을 위해 ROS TCP 엔드포인트를 포함하였다. 가상 환경은 원격 위치를 나타내기 위해 로봇의 LIDAR 데이터를 기반으로 실시간으로 생성되었다.
• 핵심 메커니즘: 지연 시간 및 몰입 문제를 해결하기 위해, 본 시스템은 중간 디지털 환경을 채택하였다. 로봇의 비디오 피드를 HMD에 직접 투영하는 대신(이는 사용자를 하드웨어 랙에 노출시켜 멀미를 유발함), 사용자는 가상 제어실을 보게 된다.
  • 시각적 지연 단서: VE 내의 "플로팅 스크린"이 로봇의 카메라 피드를 표시한다. 이 스크을은 실제 세계에서의 로봇의 실제 방향과 일치하도록 회전한다. 사용자는 자신의 관점과 상대적인 플로팅 스크린의 방향을 관찰함으로써, 주변 디지털 환경의 재생률에 영향을 주지 않으면서도 제어 지연을 시각적으로 인지할 수 있다.
  • 자연스러운 이동: 시스템은 사용자의 물리적 머리 회전을 실제 세계의 로봇 회전에 매핑하였다. 만약 사용자가 VE에서 180도를 회전하면, 원격지의 로봇도 180도 회전한다.
  • 환경 보조 도구: VE에는 LIDAR 스캔에서 파생된 장애물 및 방해물을 나타내는 3D 객체가 포함되어 공간적 맥락과 내비게이션 보조를 제공한다.
• 사용자 연구: 15명의 자원봉사자(기술적 실패 1건 제외, 14건의 유효 결과)를 대상으로 검증 연구를 수행하였다. 참가자들은 3분의 시간 제한 내에 네 개의 숨겨진 아이템이 포함된 물리적 미로를 탐색하였다.
• 데이터 수집: 테스트 후, 참가자들은 몰입도, 제어의 자연스러움, 반응성, 가상 환경의 유용성에 관한 리커트 척도 질문을 포함한 설문조사를 완료하였다. 수치형 질문은 존재감을 평가하였고, 예/아니오 질문과 자유 텍스트 의견은 향후 개선 사항에 대한 관심을 측정하였다.

주요 기여

1. 지연 완화형 텔레프레즌스 프레임워크: 본 논문은 사용자의 시각적 경험을 로봇의 하드웨어 지연으로부터 분리하는 방법을 소개한다. 플로팅 스크린을 통해 로봇의 실제 상태를 시각화하는 가상 제어실을 사용함으로써, 시스템은 사용자가 HMD에 직접적인 랙이 있는 비디오 피드를 노출되어 시뮬레이터 멀미를 겪는 대신, 지연을 인지할 수 있도록 한다.
2. 자연스러운 제어 스키마: 본 연구는 VR에서의 물리적 머리 회전이 로봇의 회전으로 직접 전달되어, 키보드/마우스 기반 텔레오퍼레이션에서 흔히 상실되는 자연스러운 전정 및 고유 수용성 단서를 복원하는 제어 메커니즘을 입증한다.
3. 저가형 하드웨어의 생존 가능성: 본 연구는 소프트웨어 기반의 환경 단서와 지연 시각화를 통해 (저해상도, 저FPS 카메라 및 표준 소비자용 VR과 같은) "이상적이지 않은" 하드웨어를 사용하여 몰입형 텔레프레즌스 경험을 달성할 수 있음을 검증한다.
4. 경험적 검증: 본 연구는 미로 탐색을 포함한 사용자 테스트를 통해 정량적 및 정성적 데이터를 제공하며, 사용자 피드백을 몰입, 가상 환경 수용성, 내비게이션 보조, 하드웨어 제한, 미래 개발 의지라는 다섯 가지 영역으로 분류하였다.

결과

사용자 연구를 통해 다음 다섯 가지 범주에 걸친 결과가 도출되었다:

• 사용자 몰입: 시스템은 존재감을 성공적으로 조성하였다. "그곳에 물리적으로 있다"고 느끼는 평균 수용률은 78.6%였으며, 28.6%의 사용자가 물리적 존재감을 느꼈다고 보고하였다. 전반적인 경험의 몰입도에 대한 평균 수용률은 87.5%였다.
• 가상 환경 수용성: 사용자들은 일반적으로 가상 환경을 수용하였으며, 평균 수용률은 82.1%였다. 대부분의 사용자는 환경에 대한 선호도를 "확실히" 또는 "아마도"라고 평가하였다.
• 내비게이션 보조: 가상 환경이 내비게이션에 도움이 되었는지에 대한 피드백은 엇갈렸으나 긍정적이었으며, 평균 수용률은 73.2%였다. 42.9%의 사용자는 그것이 "확실히" 도움이 되었다고 느꼈으나, 다른 이들은 덜 확신하는 모습을 보였다.
• 하드웨어 제한 및 성능:
  • 제어: 사용자는 제어의 자연스러움을 긍정적으로 평가하였으며(평균 66.1%), 57.1%가 이를 "훌륭하다"고 평가하였다.
  • 반응성: 반응성에 대한 인식은 엇갈렸으며(평균 51.8%), 28.6%가 시스템이 "그다지 반응적이지 않다"고 답했는데, 이는 기저의 하드웨어 제약을 반영한다.
  • 충돌: 78.6%의 사용자가 적어도 한 번 이상의 충돌을 경험하였으며, 사용자당 평균 1.78회의 충돌이 발생하였다.
  • 길 찾기: 71.4%의 사용자가 테스트 중 길을 잃지 않았으며, 이는 하드웨어 제약에도 불구하고 시스템이 충분한 방향 지시 단서를 제공했음을 시사한다.
  • 과업 완료: 발견된 아이템의 평균 개수는 4개 중 1.93개로, 시스템이 탐색 가능하기는 했으나 저사양 하드웨어와 짧은 시간 제한이 도전 과제가 되었음을 나타낸다.
• 사용자 정서: 85.7%의 사용자가 먼 원격지에서의 운영을 가능하게 하는 향후 개선 사항에 대한 의지를 표명하였다. 자유 텍고 분석 결과, 워드 클라우드는 긍정적인 단어("좋음", "완벽함", "멋짐")와 함께 카메라 개선에 대한 구체적인 요청 및 지연에 대한 우려("지연됨", "문제")를 강조하였다.

의의 및 주장

본 논문은 주요 목표가 달성되었음을 주장한다: 즉, 일반 사용자가 쉽게 구할 수 있는 하드웨어를 사용하여 텔레프레즌스를 가능하게 하는 VR 시스템을 구축하는 것이다. 연구의 결론은 다음과 같다:

• 저가형 솔루션의 타당성: 시스템 설계가 시각적 단서와 지연 시각화를 통해 제한 사항을 신중하게 고려한다면, 이상적이지 않은 하드웨어를 사용하여 몰입형 텔레오퍼레이션 경험을 만드는 것이 가능하다.
• 시뮬레이터 멀미 감소: 중간 디지털 환경은 로봇의 비디오 피드로부터 사용자를 격리함으로써 시뮬레이터 멀미의 위험을 성공적으로 줄였다.
• 사용자 참여: 하드웨어 제약에도 불구하고, 사용자는 높은 수준의 몰입감과 가상 환경에 대한 수용도를 보고하였다.
• 미래 잠재력: 본 연구는 VR이 인간-로봇 상호작용(HRI)을 향상시킬 수 있음을 검증하며, 추가적인 정교화(예: 개선된 연결성 및 추가적인 시각적 단서)를 통해 성능을 더욱 높이고 이러한 시스템의 유용성을 확장할 수 있음을 시사한다.

저자들은 시스템이 성공적이었음을 인정하면서도, 반응성과 충돌에 대한 엇갈린 결과가 저사양 하드웨어를 사용할 때 발생하는 지속적인 트레이드오프를 강조하며 겸손한 어조를 유지하였다. 본 연구는 표준 산업용 하드웨어가 향상된 VR 프레임워크와 결합될 때 접근 가능한 텔레프레즌스의 실행 가능한 경로를 제공할 수 있다는 개념의 증거(Proof-of-concept) 역할을 한다.