⚡ electrical engineering

A Distributed Stereo Visual Feedback Framework for VR- based Telesurgical Robotic Teleoperation: Design and Latency Characterization

본 논문은 VR 기반 원격 수술 텔레오퍼레이션을 위한 분산형 스테레오 시각 피드백 프레임워크를 제시하고 특성을 규명하며, 네트워크 전송 지연은 미미한 반면 전체 시스템 지연 시간(약 78ms)의 대부분은 이미지 처리 및 디스플레이 렌더링 단계에서 발생한다는 것을 밝히고 있다.

원저자: Haniyeh Altafi, Rayan Shakeel, Kourosh Zareinia

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Haniyeh Altafi, Rayan Shakeel, Kourosh Zareinia

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 지구 반대편에 있는 방에서 로봇 팔을 조종하는 비디오 게임을 하려고 한다고 상상해 보세요. 당신이 손을 움직이면 로봇도 움직이지만, 당신은 화면을 통해서만 로봇이 보는 것을 볼 수 있습니다. 만약 화면의 영상이 아주 조금이라도 늦게 나타난다면, 당신의 뇌는 혼란에 빠질 것입니다. 이것은 마치 공이 지금 어디에 있는지 보여주는 것이 아니라, 1초 전의 위치를 보여주는 안경을 쓰고 공을 잡으려는 것과 같습니다. 이것이 바로 "원격 조종(teleoperation)"에서 발생하는 큰 문제입니다. 원격 조종이란 멀리 떨어진 곳에서 로봇을 제어하는 것을 뜻하는 멋진 표현입니다.

이것이 잘 작동하게 하려면, 특히 수술과 같이 섬세한 작업을 수행할 때는 두 가지가 필요합니다. 바로 선명한 3D 영상(그래서 바늘이 얼마나 멀리 있는지와 같은 깊이감을 판단할 수 있어야 함)과 속도(영상이 즉각적으로 업데이트되어야 함)입니다. 과학자들은 이를 "스테레오 시각 피드백(stereo visual feedback)"과 "낮은 지연 시간(low latency)"이라고 부릅니다. 지연 시간이 너무 길어지면 조종자는 서투르게 느껴지고, 로봇은 충돌할 수 있으며, 의료 환경에서는 실수가 발생할 수도 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다: "시간이 어디로 사라졌는가?" 인터넷 연결이 느린 것일까요, 아니면 컴퓨터가 영상을 처리하는 데 시간이 너무 오래 걸리는 것일까요?

이 논문은 로봇 시야를 위한 특별한 "타임머신"을 구축함으로써 이 미스터리를 파헤칩니다. 연구진은 한쪽 방에 있는 로봇이 반대편에 있는 VR(가상 현실) 헤드셋을 착용한 사람에게 3D 영상 피드를 보내는 시스템을 만들었습니다. 그들은 단순히 전체 시간을 측정하는 데 그치지 않고, 마치 계주 경주에서 누가 가장 느린지 확인하기 위해 구간을 나누듯, 영상의 여정을 세 가지 뚜렷한 단계로 나누었습니다. 그들은 인터넷 연결은 마치 탄환 열차처럼 믿기지 않을 정도로 빨랐지만, 영상을 처리하는 컴퓨터와 VR 헤드셋이 영상을 보여주는 과정이 실제 병목 현상을 일으키는 주범이며, 마치 느릿느릿 움직이는 달팽이 같다는 것을 발견했습니다.

로봇의 3D 눈과 VR 헤드셋

연구진은 원격의 눈 역할을 하는 시스템을 구축했습니다. "팔로워(follower)" 측(로봇이 있는 곳)에는 인간의 눈처럼 두 개의 사진을 동시에 찍어 3D 효과를 만드는 특수 스테레오 카메라가 있습니다. 이 사진들은 네트워크를 통해 "마스터(master)" 측으로 전송되며, 그곳에는 인간 조종사가 기다리고 있습니다. 인간은 마치 로봇 바로 옆에 서 있는 듯한 느낌을 주는 고성tech 창문과 같은 메타 퀘스트 3(Meta Quest 3) VR 헤드셋을 착용합니다.

영상의 여정은 카메라에서 시작되어 중간 컴퓨터(우체국처럼 우편물을 분류하는 역할)를 거쳐 메인 컴퓨터에 도착하고, 유니티(Unity)라는 게임 엔진에 의해 처리된 다음, 마침내 VR 헤드셋 안에 나타납니다. 연구팀은 이 여정의 각 단계가 정확히 얼마나 걸리는지 알고 싶었습니다.

시간의 계주 경주

시간이 어디에 숨어 있는지 알아내기 위해, 팀은 영상의 여정을 세 명의 주자가 있는 계주 경주처럼 세 단계로 나누었습니다.

네트워크 주자: 영상이 선을 타고 이동하는 데 걸리는 시간입니다.
유니티 주자: 컴퓨터가 영상을 해체하고 VR 헤드셋에 맞게 준비하는 데 걸리는 시간입니다.
VR 주자: 헤드셋이 실제로 당신의 눈에 영상을 보여주는 데 걸리는 시간입니다.

그들은 먼저 네트워크 주자를 측정했습니다. 10,000 프레임의 영상을 보냈고, 결과는 매우 빨랐습니다. 평균 시간은 단 5.59 ± 1.04 ms였습니다. 이는 믿을 수 없을 정도로 빠른 속도입니다! 그들은 중간 "우체국" 컴퓨터가 속도를 늦추는지도 테스트했는데, 그 컴퓨터는 1밀리초 미만의 시간만을 추가했습니다. 이는 인터넷 연결 자체가 문제가 아니라는 것을 증명했습니다. 인터넷 연결은 전체 시스템에서 가장 빠른 부분이었습니다.

하지만 유니티 주자를 살펴보았을 때, 경주는 크게 느려졌습니다. 컴퓨터가 영상을 처리하고 VR 헤드셋에 맞게 준비하는 데만 평균 40.06 ± 10.12 ms가 걸렸습니다. 이것이 가장 큰 지연 구간이었습니다. 마지막 VR 주자(헤드셋)는 이미지를 표시하는 데 또 다른 32.30 ± 0.09 ms를 소요했습니다.

이 세 주자의 시간을 모두 더하면, 카메라가 무언가를 포착한 순간부터 인간이 VR 헤드셋을 통해 그것을 보기까지의 총 시간은 77.95 ± 10.17 ms였습니다.

커다란 반전: 인터넷 때문이 아니다!

이 논문에서 가장 중요한 발견은 약간의 반전입니다. 많은 사람이 로봇을 더 빠르게 만들려면 더 빠른 인터넷 연결이 필요하다고 가정합니다. 하지만 이 연구는 초고속 네트워크(5.59 ms 부분)를 사용하더라도 총 지연 시간이 여전히 약 78밀리초에 달한다는 것을 보여주었습니다. 왜일까요? 영상을 처리하는 컴퓨터와 영상을 보여주는 헤드셋이 대부분의 시간을 차지했기 때문입니다.

이것은 마치 페라리(인터넷)를 가지고 있지만, 느린 톨게이트(컴퓨터 처리)와 느린 운전자(헤드셋 렌더링) 때문에 교통 체증에 갇힌 것과 같습니다. 자동차가 아무리 빨라도, 정차하는 곳들이 있기 때문에 여행은 오래 걸립니다. 연구진은 네트워크가 전체 지연의 아주 작은 부분만을 차지하고 있다는 것을 발견했습니다. 진짜 "교통 체증"은 소프트웨어와 디스플레이 하드웨어 내부에서 일어나고 있었습니다.

실제로 효과가 있을까?

이 시스템이 실제로 유용한지 확인하기 위해, 연구진은 네 명의 사람에게 게임을 요청했습니다. 게임은 "픽 앤 플레이스(pick-and-place)" 작업으로, 로봇을 사용하여 작은 블록을 한 곳에서 다른 곳으로 옮기는 것이었습니다. 그들은 VR 3D 뷰를 사용하는 경우와 일반 2D 화면을 사용하는 경우를 비교했습니다.

결과는 유망했습니다. 참가자들이 VR 시스템을 사용했을 때, 일반 2D 화면을 사용할 때보다 과제를 더 빨리 완료했습니다(VR 사용 시 평균 373.7초 vs 2D 사용 시 527.2초). 또한 그들은 로봇을 더 짧고 직접적인 경로로 움직였으며, 블록을 더 적게 떨어뜨렸습니다. 모든 참가자는 VR 버전이 깊이감을 더 잘 느끼게 해주며 훨씬 편리하다고 답했습니다.

하지만 저자들은 이것이 단 4명만을 대상으로 한 "예비" 테스트임을 주의 깊게 언급했습니다. 이는 시스템이 잘 작동한다는 것을 시사하지만, 이것이 모든 상황에서 모든 사람에게 통할 것이라는 최종적인 증명은 아닙니다. 완벽한 해결책이라고 선언하기 전에 더 많은 사람과 더 어려운 조건에서 테스트를 거쳐야 합니다.

요점

이 논문은 미래의 로봇 수술과 원격 작업을 위한 견고한 토대를 구축합니다. 고품질의 3D 영상을 인터넷 지연 없이 VR 헤드셋으로 보낼 수 있다는 것을 입증했습니다. 하지만 동시에 엔지니어들에게 명확한 메시지를 전달합니다. 만약 이 시스템을 더 빠르게 만들고 싶다면, 단순히 더 빠른 인터넷 케이블을 사는 것만으로는 부족합니다. 영상을 처리하는 소프트웨어와 그것을 보여주는 하드웨어를 개선해야 합니다. 인터넷은 준비되었습니다. 이제 컴퓨터와 헤드셋이 따라잡아야 합니다.

기술 요약: VR 기반 원격 수술 로봇 텔레오퍼레이션을 위한 분산형 스테레오 시각 피드백 프레임워크

문제 정의

로봇 보조 원격 수술 및 고정밀 텔레오퍼레이션에서 효과적인 깊이 지각과 수기-안구 협응(hand-eye coordination)은 저지연 스테레오 시각 피드백에 크게 의존한다. 가상 현실(VR) 인터페이스는 몰입형 시각화를 제공하여 상황 인식 능력을 향상시킬 수 있지만, 이러한 시스템에서 전체 엔드 투 엔드(end-to-end) 지연 시간은 종종 결정적인 병목 구간이 된다. 기존 연구들은 시각적 지연이 작업 성능을 저하시키고, 작업자의 부하를 높이며, 안전을 위협할 수 있다는 점을 강조해 왔다. 그러나 기존의 많은 연구는 주로 네트워크 전송 지연이나 일반적인 상호작용 인터페이스에 초점을 맞추고 있으며, "카메라에서 헤드셋까지" 이어지는 전체 시각 피드백 파이프라인을 상세히 규명하는 데에는 실패했다. 특히, 네트워크 전송, 소프트웨어 프로세싱(예: 게임 엔진 렌더링), 디스플레이 렌더링을 구분하여 지연 소스를 상세히 분해하는 작업이 부족하며, 이는 VR 기반 텔레수술 시스템에서 진정한 병목 지점을 식별하는 데 필수적이다.

방법론

저자들은 VR 기반 로봇 텔레오퍼레이션을 위해 설계된 분산형 스테레오 시각 피드백 파이프라인을 개발하고 평가하였다. 시스템 아키텍처는 다음과 같은 다섯 가지 주요 구성 요소로 이루어진다:

스테레오 카메라: 동기화된 사이드 바이 사이드(side-by-side) 이미지(2560 × 720 픽셀)를 30 fps로 캡처하는 GXIVISION 3D Stereo VR USB 카메라 모듈.
송신 측 컴퓨터: Windows 11 및 NVIDIA RTX 3060 Ti를 실행한다. GStreamer를 통해 하드웨어 가속(NVENC)을 사용하여 영상을 H.264로 인코딩하고 UDP/RTP를 통해 스트림을 전송한다.
중간 네트워크 컴퓨터: UDP 패킷 포워딩을 위한 Ubuntu 기반 브리지이다. 본 연구에서는 기준선(baseline)을 설정하기 위해 임페어먼트 함수(지연, 지터, 패킷 손실)를 비활성화하였으나, 이 설정은 향후 네트워크 시뮬레이션을 가능하게 한다.
수신 측 컴퓨터: Windows 11 및 NVIDIA RTX 4060 Ti를 실행한다. H.264 스트림을 디코딩(NVDEC 사용)하고, Unity 내에서 사이드 바이 사이드 이미지를 처리(커스텀 셰이더를 통해 좌/우 뷰 분리)하며, 프레임을 디스플레이용으로 준비한다.
VR 헤드셋: 몰입형 스테레오 뷰를 디스플레이하기 위해 Meta Quest Link/OpenXR을 통해 연결된 Meta Quest 3.

지연 특성 분석 접근 방식:
연구에서는 전체 지연 시간( $L_{total}$ )을 세 가지 별도 단계로 분해하였다:

$L_{network}$ : 전송 및 디코딩 시간 (GStreamer 지연 트레이서를 통해 측정).
$L_{Unity}$ : Unity 엔진 내 프레임 업데이트 및 프로세싱 시간 (Time.realtimeSinceStartup을 통해 측정).
$L_{VR}$ : Unity 제출부터 헤드셋까지의 렌더링 및 디스플레이 지연.

저자들은 기본 Python 소켓 방식과 최적화된 GStreamer 파이프라인, 그리고 CPU 기반 인코딩과 GPU 가속(NVENC/NVDEC) 인코딩을 포함한 여러 구현 전략을 비교하였다. 또한, 4명의 참가자를 대상으로 예비 픽 앤 플레이스(pick-and-place) 작업을 수행하여 VR 기반 스테레오 시각화와 비-VR 조건을 비교하였으며, 작업 완료 시간, 이동 경로 길이, 낙하 횟수를 측정하였다.

주요 기여

파이프라인 구현: 향후 텔레수술 응용 분야에 특화되어, Meta Quest 3 헤드셋에 동기화된 스테레오 비디오를 캡처, 전송, 처리 및 디스플레이하는 분산형 스테레오 시각 피드백 시스템을 구축하였다.
지연 분해: 네트워크 전송, Unity 프로세싱, VR 렌더링 지연을 격리하는 새로운 특성 분석 방법을 제시하였다. 이 접근 방식은 단순한 컴퓨터 간 지연 측정을 넘어, 엔드 투 엔드 지연에 기여하는 특정 단계를 식별한다.
최적화 검증: 하드웨어 가속 인코딩/디코딩(GPU) 및 구조화된 미디어 프레임워크(GStreamer)가 기본 Python 소켓 구현보다 지연 시간, 지터 및 프레임 안정성 측면에서 유의미하게 우수함을 입증하였다.
경험적 기준 제공: VR 기반 텔레오퍼레이션 설정을 위한 정량적 지연 데이터를 제공함으로써, 스테레오 지각 및 작업자 성능에 관한 향후 연구를 위한 참조 모델을 확립하였다.

실험 결과

네트워크 전송: 최적화된 GStreamer 파이프라인은 10,000개 프레임 동안 0.45 ms의 지터를 포함하여 평균 5.59 ± 1.04 ms의 네트워크 지연 시간을 달성하였으며, 프레임 손실은 제로였다. 중간 브리지 컴퓨터는 직접 연결과 비교했을 때 무시할 만한 수준의 추가 지연(< 1 ms)을 유발했다.
최적화 효과: Python 소켓 베이스라인에서 GStreamer 파이프라인으로 전환했을 때 평균 지연 시간이 약 44.7%(10.11 ms에서 5.59 ms로) 감소하였고 패킷 손실이 제거되었다. 또한, GPU 가속 인코딩/디코딩은 평균 파이프라인 지연을 38.1% 줄였으며, CPU 기반 프로세싱과 비교하여 프레임 타이밍 안정성(프레임 간 표준 편차를 약 44 ms에서 약 8 ms로 감소)을 크게 개선하였다.
엔드 투 엔드 지연: 총 카메라-투-디스플레이 지연 시간은 77.95 ± 10.17 ms로 측정되었다. 분석 결과 네트워크 전송은 아주 작은 부분(~5.6 ms)만을 차지했다. 지연의 주된 원인은 다음과 같았다:
- Unity 프레임 업데이트: ~40.06 ms
- VR 디스플레이 렌더링: ~32.30 ms
예비 작업 평가: 4명의 참가자를 대상으로 한 픽 앤 플레이스 작업에서, VR 조건은 더 빠른 완료 시간(평균 373.7초 vs 비-VR 시 527.2초), 짧은 데카르트 경로 길이, 적은 낙하 횟수(평균 1.25회 vs 4.00회)를 나타냈다. 모든 참가자는 주관적으로 더 나은 깊이 지각을 보고하였으며 VR 조건을 선호하였다.

의의 및 주장

본 논문은 네트워크 전송이 VR 기반 텔레오퍼레이션 시스템에서 지연의 주된 원인이 아님을 입증하는 데 핵심적인 의의가 있다고 주장한다. 대신, 시각화 및 디스플레이 단계(Unity 프로세싱 및 VR 렌더링)가 대부분의 지연을 유발한다.

따라서 저자들은 네트워크 프로토콜만을 최적화하는 것은 저지연 텔레수술 피드백을 달성하기에 불충분하다고 주장한다. 향후 시스템 설계는 카메라 프레임 레이트, 게임 엔진 내 텍스처 업로드 오버헤드, VR 렌더링 경로를 포함한 시각화 파이프라인의 최적화를 우선시해야 한다.

이 연구는 스테레오 지각, 시각적 지연 및 작업자 성능에 관한 향후 연구를 위한 실질적인 토대로서 제안된 파이프라인을 위치시킨다. 저자들은 예비 작업 결과가 적은 표본 크기로 인한 기술적 관찰임을 명시하였으며, 본 시스템은 아직 햅틱 피드백이나 물리적 로봇 제어 루프와 통합되지 않았다. 본 연구는 더 복적인 통합 텔레오퍼레이션 연구를 수행하기 전, 전체 시각 피드백 루프를 규명하기 위한 필수적인 단계로서 기능한다.