Mixed Reality Tele-Ultrasound over 750 km: A Feasibility Study

기술 요약: 750km 이상의 혼합 현실 원격 초음파

문제 제기
초음파 (US) 는 중요하고 비침습적이며 휴대 가능한 진단 도구이지만, 원격 및 원주민 지역 사회는 종종 훈련된 초음파 전문의의 접근성이 부족합니다. 현재 솔루션은 상당한 트레이드오프를 제시합니다: 로봇 원격 초음파는 정밀도를 제공하지만 높은 비용, 큰 공간 점유, 복잡한 유지보수로 고통받습니다; 원격 멘토링 초음파는 저렴하지만 지역 전문성에 의존하며 정밀한 변환기 제어가 부족합니다; 그리고 자율 로봇 초음파는 추론 및 안전성 측면에서 과제를 안고 있습니다. 저비용, 유연성, 정밀한 솔루션에 대한 필요성을 충족시키기 위해, 본 연구는 원격 전문가가 초보 '팔로워'를 안내하여 스캔을 수행하게 하는 혼합 현실 (MR) 시스템인 '인간 원격 조작'을 평가합니다. 이 개념의 이전 버전들이 존재했음에도 불구하고, 큰 거리 (지연 시간 도입) 와 복부 영상에 필요한 정밀한 동작에 대한 실현 가능성은 아직 탐구되지 않았습니다.

방법론
본 연구는 캐나다 스카이게이트 (하이다 과이) 와 밴쿠버 사이, 754km 떨어진 거리에서 수행된 11 건의 원격 복부 초음파 스캔에 대한 실현 가능성 테스트를 수행했습니다.

• 시스템 아키텍처:

  • 팔로워 측 (원격): 초보자는 동적 가상 초음파 변환기를 렌더링하는 Microsoft HoloLens 2 헤드셋을 착용합니다. 팔로워는 실제 초음파 변환기를 이 홀로그램과 물리적으로 정렬합니다. 시스템은 적외선 (IR) 반사 마커를 사용하여 물리적 변환기의 자세를 추적하고, 차동 자기 힘 센서 쉘을 통해 가해진 힘을 측정합니다.
  • 전문가 측 (로컬): 원격 초음파 전문가는 3D 프린팅 변환기 핸들을 갖춘 6 자유도 (6-DOF) 햅틱 장치 (Touch X) 를 사용하여 가상 변환기를 제어합니다. 전문가는 팔로워의 시점 비디오와 실시간 초음파 이미지 피드 (Windows Phone Link 를 통해 Philips Lumify 앱으로) 를 시청하며 구두로 안내를 제공합니다.
  • 통신: 시스템은 피어 투 피어 통신을 위해 WebRTC 를 사용하여 자세, 힘, 비디오 데이터를 전송합니다.

• 햅틱 피드백 모델:
  통신 지연과 팔로워의 지연에도 불구하고 안정적인 햅틱 피드백을 제공하기 위해, 시스템은 환자의 복부 표면을 타원체로 모델링합니다. 이 모델은 xiphoid 과정, 환자의 극단적인 좌우 측면, 그리고 침대 수준이라는 네 가지 특정 지점을 사용하여 보정됩니다. 시스템은 타원체의 축이 환자의 해부학적 축과 정렬되며 타원체가 침대에 접한다고 가정합니다. 힘은 스프링 - 댐퍼 모델을 사용하여 계산된 이 타원체 내 가상 변환기의 침투 깊이에 기반하여 전문가에게 렌더링됩니다.

• 연구 프로토콜:
  두 명의 전문 초음파 전문의가 10 명의 초보 팔로워 (20 세에서 60 대 이상) 를 안내하여 다섯 가지 특정 목표 이미지를 획득하도록 했습니다: 근위 대동맥 (AP 직경), 종방향 하대정맥 (IVC), 좌간엽 (장축 및 횡축), 그리고 우문맥 (횡축).

  • 데이터 수집: 이미지 품질은 두 명의 방사선 전문의가 6 점 척도로 점수화했습니다. 팔로워 정렬 오차 (제곱근 평균 오차 또는 RMSE) 는 물리적 및 가상 변환기 자세를 비교하여 계산되었습니다. 참가자들은 NASA TLX 작업 부하 설문지와 수정된 시스템 사용성 척도 (SUS) 설문지를 완료했습니다.

주요 기여

1. 원거리 실현 가능성: 본 연구는 인간 원격 조작이 네트워크 지연과 관련된 과제를 극복하고 754km 거리에서 원격 복부 초음파 검사를 성공적으로 지원할 수 있음을 입증합니다.
2. 초보 활용: 초음파 경험이 전혀 없는 개인이 원격 전문가의 안내를 따라 진단 품질의 이미지를 획득하는 효과적인 '인지 로봇'으로 작용할 수 있음을 검증합니다.
3. 새로운 햅틱 렌더링: 이 논문은 햅틱 피드백을 위한 타원체 기반 환자 모델을 소개하고 테스트합니다. 이 접근법은 원격 전문가에게 환자의 표면에 대한 안정적이고 직관적인 표현을 제공하여 직접적인 힘 피드백 지연으로 인한 불안정성을 완화합니다.
4. 종합 평가: 본 연구는 방사선 전문의가 등급을 매긴 이미지 품질, 정량적 정렬 오차 분석, 그리고 초보자와 전문가 모두의 주관적 사용성 및 작업 부하 지표를 포함한 다면적 평가를 제공합니다.

결과

• 이미지 품질: 시도된 55 개의 목표 이미지 중 48 개가 성공적으로 획득되었습니다. 획득된 이미지 중 91.7% 가 두 명의 방사선 전문의로부터 ≥3 점 (최적 미만에서 양호) 을 받았으며, 31.3% 는 '양호' (5 점) 로 평가되었습니다. 획득된 이미지의 평균 품질 점수는 4.28 ± 0.95 였습니다.
• 작업 부하 및 사용성: 초보 팔로워들은 NASA TLX 척도에서 낮은 정신적 요구 (23.3/100), 노력 (18.9/100), 그리고 좌절감 (16.5/100) 을 보고했으며, 이는 모두 의료 및 가상 현실 작업의 기준치보다 낮았습니다. 사용성 점수는 일관되게 긍정적이었으며, 모든 10 명의 팔로워가 시스템이 사용하기 쉽고 대부분의 사람들이 빠르게 배울 수 있다는 데 동의했습니다.
• 정렬 오차: 평균 위치 RMSE 는 31.94 ± 10.17mm 이었고, 평균 방향 RMSE 는 11.39 ± 3.55°였습니다. 그러나 중심을 맞춘 경우 (일정한 오프셋 제거), RMSE 는 각각 10.06mm 와 5.81°로 크게 감소했습니다.
• 상관관계: 팔로워의 정렬 오차 (위치 또는 방향) 와 결과 이미지 품질 점수 사이에 통계적으로 유의미한 상관관계는 발견되지 않았습니다. 특히, 가장 높은 위치 오차를 보인 스캔 (스캔 8) 이 가장 높은 이미지 품질 점수를 받았는데, 이는 환자의 체형과 전문가가 이미지로부터 실제 변환기 위치를 추론하는 능력이 절대적인 팔로워 정렬 정밀도보다 더 중요함을 시사합니다.

의의 및 주장
본 논문은 인간 원격 조작이 큰 거리와 초보 운영자를 포함하더라도 원격 복부 초음파 영상을 가능하게 하는 실현 가능하고 효과적인 방법이라고 주장합니다. 본 연구는 이 시스템이 원격 초음파 전문의가 높은 성능으로 원격 스캔을 수행하여 성공적인 획득의 92% 에서 진단 품질의 이미지를 달성하도록 허용함을 강조합니다. 저자들은 정렬 오차와 이미지 품질 간의 상관관계 부재가 전문가가 시각적 피드백을 해석할 수 있다면 시스템이 작은 추적 오차에 대해 견고함을 시사한다고 강조합니다.

저자들은 이 접근 방식이 비용, 휴대성, 그리고 지역 전문성 부족이 장벽인 원격 지역 사회를 위해 로봇 및 원격 멘토링 시스템에 대한 유망한 대안을 제공한다고 결론지었습니다. 그들은 겸손하게도 시스템이 실현 가능하지만, 향후 연구에서 로봇 및 원격 멘토링 접근 방식과 직접 비교하고, 신장 및 전체 대동맥 검사 등 다른 해부학적 부위로 테스트를 확장하며, 수집된 풍부한 데이터를 활용한 자율 안내를 위한 AI 통합을 탐구해야 한다고 언급합니다.