Sample-Efficient Learning with Online Expert Correction for Autonomous Catheter Steering in Endovascular Bifurcation Navigation

1. 연구 배경 및 문제 정의 (Problem Definition)

• 배경: 로봇 보조 혈관 내 중재술은 방사선 노출을 줄이고 정밀한 항법을 가능하게 하여 안전하고 효과적인 치료법으로 부상하고 있습니다. 특히 복잡한 혈관 분기부 (Bifurcation) 를 통과하는 카테터 조종은 실시간으로 정확한 방향 전환이 요구되는 핵심 과제입니다.
• 기존 방법의 한계:
  • 강화 학습 (RL) 의 비효율성: 기존 RL 기반 자동 항법 방법은 희소 보상 (Sparse Reward) 설계와 수동으로 설계된 보상 함수에 의존하여 학습에 필요한 샘플 수가 많고 (Sample-inefficient), 학습 시간이 길었습니다.
  • 정적 모델 의존성: 대부분의 방법은 사전에 준비된 정적 혈관 모델에 의존하여, 수술 중 발생하는 동적인 변화 (이미지 왜곡, 해부학적 변이 등) 에 적응력이 떨어집니다.
  • 실시간 보정 부재: 분기부 진입 시 실시간으로 전문가의 피드백을 반영하여 정책을 수정하거나 보정하는 메커니즘이 부족했습니다.

2. 제안된 방법론 (Methodology)

이 논문은 SAC-EIL-GAIL 프레임워크를 제안하며, 이는 강화 학습 (RL), 모방 학습 (Imitation Learning), 그리고 온라인 전문가 보정 (Online Expert Correction) 을 통합한 하이브리드 접근법입니다.

A. 시스템 아키텍처 및 핵심 구성 요소

1. 세그멘테이션 기반 포즈 추정 (Pose Estimation):
   • 실시간 수술 영상에서 YOLO 기반의 카테터 팁 탐지와 U-Net 기반의 혈관/카테터 분할을 수행합니다.
   • 획득한 이진 마스크를 통해 카테터의 스�keleton(골격) 을 추출하고, Savitzky-Golay 필터를 적용하여 서브픽셀 (Sub-pixel) 수준의 정밀한 중심선 (Centerline) 을 추정합니다.
2. 상수 곡률 운동학 모델 (Constant-Curvature Kinematic Model):
   • 카테터의 말단 굽힘을 고정된 작은 각도로 가정하여 상수 곡률 모델로 근사화합니다.
   • 이를 통해 이미지 기반의 중심선과 로봇의 제어 입력 (회전, 전진) 간의 매핑을 정밀하게 수행합니다.
3. 온라인 전문가 보정 (Online Expert Correction) 및 퍼지 제어:
   • 카테터가 혈관 분기부에 도달하면, 시스템은 미리 정의된 전문가의 목표 포즈 (Target Pose) 를 참조합니다.
   • 현재 카테터 팁의 위치/방향과 목표 포즈 간의 오차 (이동 오차, 회전 오차) 를 계산합니다.
   • 계산된 오차를 입력으로 받아 퍼지 논리 제어기 (Fuzzy Controller) 를 작동시켜 로봇의 구동 신호를 실시간으로 보정합니다. 이는 모델링 오차나 이미지 왜곡을 보상하여 안정적인 분기부 선택을 가능하게 합니다.

B. 학습 프레임워크 (SAC-EIL-GAIL)

• 하이브리드 보상 함수 설계:
  • SAC (Soft Actor-Critic): 최대 엔트로피 기반의 탐색 (Exploration) 을 촉진합니다.
  • GAIL (Generative Adversarial Imitation Learning): 전문가의 행동 데이터를 모방하여 정책의 정확도를 높입니다.
  • 동적 보상 스케줄링: 학습 초기에는 SAC 보상 (환경 기반) 의 비중을 높여 탐색을 유도하고, 학습이 진행됨에 따라 GAIL 보상 (전문가 모방) 의 비중을 서구적으로 증가시켜 (시그모이드 함수 기반) 안정적인 수렴을 도모합니다.
• 온라인 보정 루프: 분기부 감지 시, 강화 학습 에이전트가 생성한 행동과 전문가가 지정한 목표 포즈 간의 차이를 퍼지 제어기를 통해 실시간으로 보정하며, 이 과정이 정책 업데이트에 반영됩니다.

3. 주요 기여 (Key Contributions)

1. 통합된 SAC-EIL-GAIL 프레임워크: 최대 엔트로피 RL, 적대적 모방 학습, 그리고 전문가-인-더-루프 (Expert-in-the-Loop) 감독을 결합하여 샘플 효율성을 극대화하고 학습 안정성을 높였습니다.
2. 정밀한 운동학 모델링 및 제어: 상수 곡률 모델과 스텔레톤 기반 중심선 추출을 결합하여 서브픽셀 수준의 궤적 피팅을 가능하게 했으며, 이를 통해 복잡한 분기부에서의 정밀 조종이 가능해졌습니다.
3. 실시간 퍼지 보정 메커니즘: 이미지 기반 모델링 오차를 실시간으로 보상하는 퍼지 제어기를 도입하여, 분기부 항법 성공률과 시스템의 강건성 (Robustness) 을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 실험 환경: 3D 실리콘 신장 동맥 팬텀 (Phantom) 과 2-DoF 로봇 팔을 사용하여 실제 로봇 플랫폼에서 실험을 수행했습니다.
• 성능 비교 (TD3, SAC, SAC-GAIL, SAC-EIL 대비):
  • 수렴 효율성: 제안된 방법은 123 에피소드에서 수렴하여, 기존 SAC (166 에피소드) 대비 25.9% 더 빠른 수렴을 보였습니다.
  • 성공률: 분기부 항법 성공률은 **59.00%**로, 가장 높은 성능을 기록했습니다 (SAC: 44.67%, TD3: 41.67%).
  • 정확도: 평균 위치 오차는 82.58 픽셀로, SAC (98.55) 대비 약 83.8% 수준으로 감소하여 정밀도가 크게 향상되었습니다.
  • 학습 시간: 평균 학습 시간은 59.41 초로, 다른 방법들보다 효율적이었습니다.
• 통계적 유의성: 다양한 RL 알고리즘과의 비교에서 SAC-EIL-GAIL 은 평균 오차와 분산 측면에서 통계적으로 유의미한 우위를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 의의: 이 연구는 복잡한 혈관 분기부에서 자동화된 카테터 조종이 가능함을 입증했습니다. 특히, 실시간 전문가 피드백과 퍼지 제어의 결합은 수술 중 발생할 수 있는 해부학적 변이나 이미지 노이즈에 대한 적응력을 높여, 임상 적용 가능성을 크게 높였습니다.
• 기술적 혁신: 기존 RL 의 '샘플 비효율성'과 '정적 모델 의존성'이라는 한계를 극복하고, 샘플 효율적 학습 (Sample-Efficient Learning) 과 온라인 보정을 통해 안전하고 정확한 자율 항법 시스템을 구축했습니다.
• 향후 전망: 향후 가이드와이어와 카테터의 협업 항법, 적응형 온라인 전문가 피드백 메커니즘, 그리고 시뮬레이션에서 실제 환자 (Sim-to-Real) 로의 일반화 성능 향상을 통해 실제 임상 워크플로우에 통합될 것으로 기대됩니다.

이 논문은 로봇 보조 혈관 내 중재술의 자동화 수준을 한 단계 끌어올리는 중요한 이정표로, 특히 복잡한 분기부 항법이라는 난제에 대해 데이터 효율성과 실시간 제어의 균형을 맞춘 혁신적인 솔루션을 제시했습니다.