RAG-RUSS: A Retrieval-Augmented Robotic Ultrasound for Autonomous Carotid Examination

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 초음파 (US) 는 비침습적이고 실시간이라는 장점으로 임상에서 핵심 진단 도구로 사용되지만, 화질과 표준 평면 획득 효율은 조작자의 숙련도에 크게 의존합니다. 이는 검사 결과의 편차를 유발하고 의료 인력 부족 문제를 심화시킵니다.
• 기존 로봇 초음파 (RUSS) 의 한계:
  • 기존 시스템은 주로 규칙 기반 (Rule-based) 이거나 블랙박스 형태의 엔드 - 투 - 엔드 (End-to-End) 학습 모델에 의존합니다.
  • 해석 불가능성 (Black-box): 의사결정 과정이 투명하지 않아 임상 현장에서의 수용성과 안전성에 대한 우려가 존재합니다.
  • 데이터 부족: 의료 데이터의 희소성으로 인해 대규모 학습 데이터를 확보하기 어렵고, 이로 인해 모델의 일반화 성능이 제한적입니다.
• 목표: 임상 워크플로우에 부합하며, 현재 단계와 다음 행동을 명시적으로 설명할 수 있는 해석 가능 (Interpretable) 하고 자율적인 경동맥 로봇 초음파 시스템 개발.

2. 제안 방법론: RAG-RUSS (Methodology)

저자들은 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 을 로봇 초음파 시스템에 접목한 RAG-RUSS 프레임워크를 제안했습니다.

A. 시스템 아키텍처

시스템은 크게 세 가지 핵심 모듈로 구성됩니다:

1. 대형 언어 모델 (LLM): Vicuna v1.5 (7B) 를 백본으로 사용하여 자연어 기반의 의사소통 및 추론을 담당합니다.
2. 비전 파운데이션 모델 (Vision Encoder): PubMedCLIP-ViT-B/32 를 사용하여 초음파 이미지의 텍스처, 경계, 구조적 특징을 추출합니다. (RoCO 데이터셋으로 사전 학습됨)
3. 검색 엔진 (RAG Module): 현재 스캔 컨텍스트와 유사한 과거 스캔 사례 (이미지, 단계 설명, VQA 주석) 를 데이터베이스에서 검색하여 LLM 에 컨텍스트로 제공합니다.

B. 작동 원리 (Inference Workflow)

시스템은 매 시간 단계 (Timestep) 마다 다음과 같은 다중 턴 질문 - 응답 (QA) 프로세스를 수행합니다:

1. 입력: 최근 2 프레임의 초음파 이미지, 이전 단계 정보, 시스템 프롬프트.
2. 검색 (Retrieval): 현재 상황을 가장 잘 설명하는 유사한 과거 스캔 컨텍스트 (Top-k, k=2) 를 RAG 모듈을 통해 검색합니다.
3. 추론 및 출력: LLM 은 검색된 컨텍스트와 현재 이미지를 바탕으로 다음 3 가지를 생성합니다:
   • 현재 스캔 단계 (Current Stage): 8 단계 중 현재 위치 식별.
   • 해석 (Explanation): 해당 단계의 해부학적 특징에 대한 자연어 설명 (예: "갑상선이 CCA 근처에 위치함").
   • 다음 행동 (Next API): 로봇 팔이 수행할 다음 명령어 (예: transverse_tracking, rotate 등).

C. 데이터셋 및 학습 파이프라인

• 데이터: 32 명의 건강한 지원자로부터 수집된 32 개의 3D 초음파 볼륨 데이터를 기반으로 시뮬레이션 환경을 구축했습니다. (안전상 실제 로봇 훈련은 시뮬레이션 환경에서 수행)
• 워크플로우: 경동맥 (CCA, ICA, ECA) 의 횡단면 (Transverse) 및 종단면 (Longitudinal) 스캔을 포함하는 8 단계의 임상 표준 프로토콜을 정의했습니다.
• 학습 단계:
  1. 검색기 학습: Triple loss 를 사용하여 유사한 스캔 컨텍스트를 매칭하는 ResMLP 학습.
  2. 크로스-모달리티 정렬 (Pre-training): 이미지 특징과 텍스트 설명을 정렬하기 위해 2 층 MLP 프로젝터 학습.
  3. 지시 미세 조정 (Instruction Fine-tuning): LoRA 어댑터를 사용하여 LLM 과 프로젝터를 함께 학습시켜 다중 턴 QA 능력 강화.

3. 주요 기여 (Key Contributions)

1. 해석 가능한 자율 스캐닝: 기존 블랙박스 방식과 달리, 현재 단계와 다음 행동을 자연어로 설명하며 투명성을 확보했습니다.
2. 데이터 효율성 향상 (RAG 적용): 대규모 학습 데이터에 대한 의존도를 줄이고, 검색된 유사 사례를 통해 일반화 성능을 향상시켰습니다. 이는 의료 데이터 부족 문제를 해결하는 중요한 접근법입니다.
3. 통합 프레임워크: 지각 (Perception), 설명 (Explanation), 행동 (Action) 을 하나의 통합된 프레임워크로 결합한 최초의 경동맥 로봇 초음파 시스템입니다.
4. 임상 워크플로우 준수: 실제 임상 표준 (횡단면 및 종단면 스캔 포함) 을 따르는 8 단계의 구조화된 스캔 프로세스를 구현했습니다.

4. 실험 결과 (Results)

• 데이터: 28 명으로 학습, 4 명 (보이지 않는 지원자) 으로 테스트.
• 검색 정확도: RAG 모듈은 Top@2 기준 평균 76.2% 의 검색 정확도를 보였으며, 명확한 해부학적 특징이 있는 단계 (예: CCA 근위부, 종단면 회전) 에서 95% 이상의 높은 정확도를 달성했습니다.
• 단계 인식 정확도 (Ablation Study):
  • RAG-RUSS@2 (가장 좋은 성능): 2 개의 검색 예시를 사용할 때 평균 정확도 79.1% 를 기록했습니다.
  • 비교: VLM 만 사용하는 경우 (71.7%) 나 RAG 만 사용하는 경우 (64.7%) 보다 우수한 성능을 보였습니다.
  • 특이점: 'Return completed' 단계에서는 오히려 검색 예시가 1 개인 경우 (75.0%) 가 2 개인 경우 (25.0%) 보다 성능이 좋았으며, 이는 과도한 컨텍스트가 시간적 모호성을 유발할 수 있음을 시사합니다.
• 시각화: Fig. 6 에서 보듯, 시스템은 보이지 않는 볼륨 데이터에서도 8 단계를 성공적으로 완료하며 로봇 팔의 궤적과 스캔 영역을 정확히 추적했습니다.

5. 의의 및 결론 (Significance)

• 임상 신뢰성 확보: 의사에게 시스템의 내부 상태와 다음 행동을 설명함으로써, 로봇 초음파 시스템에 대한 의사의 신뢰와 수용성을 높이는 중요한 발걸음이 되었습니다.
• 데이터 희소성 해결: RAG 기술을 통해 소량의 의료 데이터로도 고성능을 낼 수 있음을 입증했습니다.
• 미래 전망: 현재는 시뮬레이션 환경과 이산적 (Discrete) API 제어에 국한되어 있으나, 향후 실제 임상 환경에서의 변형 (Deformation) 처리와 연속 제어 기술이 결합된다면 실제 의료 현장에서의 자동화 진단 도구로 활용될 잠재력이 큽니다.

이 연구는 로봇 공학과 의료 AI 의 융합 분야에서 투명성 (Transparency) 과 일반화 (Generalization) 를 동시에 달성하기 위한 새로운 패러다임을 제시했습니다.