Learning Expert Strategy for Autonomous Robotic Endovascular Intervention via Decoupled Procedural Execution

기술 요약: 분리된 절차적 실행을 통한 자율 로봇 혈관 내 중재술을 위한 학습 전문가 전략

문제 정의
혈관 내 중재술은 복잡하고 구불구불한 혈관 해부학 구조를 통해 유연한 가이드와이어와 카테터를 정밀하게 조작해야 하는 고위험, 최소 침습적 절차입니다. 이러한 절차는 높은 학습 곡수를 요구하며, 수술 시간을 연장시키고, 운영자를 지속적인 방사선 노출에 노출시킵니다. 자동화를 위한 핵심 과제는 운영자 숙련도의 가변성이며, 이는 일관되지 않은 절차적 결과로 이어집니다. 강화 학습(RL)은 시뮬레이션 환경으로부터 탐색 정책을 학습하는 데 유망함을 보여주었으나, 기존의 학습 기반 접근 방식은 명시적인 제약 조건 만족과 안전 보장에 어려움을 겪는 경우가 많습니다. 순수 RL 정책은 국소 최적 결정(locally optimal decisions)을 생성하여 불필요한 기동, 과도한 탐색 단계, 불확실한 접촉 조건에 대한 강건성 부족을 야기할 수 있으며, 이는 혈관 벽 충돌과 같은 위험한 결과로 이어질 수 있습니다. 반대로, 순수 모델 기반 최적화 방법(예: 모델 예측 제어)은 불완전한 센싱 하에서 유연한 가이드와이어의 고도로 비선형적이고 해부학적 의존적인 역학을 포착하는 데 실패할 수 있습니다.

방법론
본 논문은 고수준의 전략적 의사결정과 저수준의 절차적 실행을 분리하는 **학습 전문가 전략(learning expert strategy)**을 제안합니다. 이 아키텍처는 전역적인 절차 계획과 정밀한 장치 조작을 분리하는 중재 전문의의 임상 워크플로우를 모방합니다. 프레임워크는 세 가지 주요 모듈로 구성됩니다:

1. 시각적 인지 및 상태 추정: 시스템은 실시간 투시 영상을 처리하기 위해 YOLOv5 모델을 사용하여 가이드와이어 끝단을 검출하고, ResNet50 백본을 사용하여 혈관 해부학을 나타내는 고차원 시각적 특징을 추출합니다. 이들은 기하학적 상태 데이터(끝단 위치, 속도, 방향) 및 이전 제어 동작과 결합되어 복합 관측 벡터를 형성합니다.
2. 전략적 탐색 정책 (RL): Soft Actor-Critic (SAC) 에이전트가 고충실도 3D 혈관 시뮬레이션(Sim4EndoR 환경 사용)에서 훈련됩니다. 이 정책은 장기적인 작업 성공과 효율성을 극대화하기 위해 전역적인 탐색 의도를 학습합니다. 결정적으로, RL 에이전트를 위한 보상 함수는 작업 완료와 경로 효율성에 집중하며, 훈련 중에 명시적으로 엄격한 혈관 벽 경계 제약 조건을 강제하지 않습니다. 이를 통해 정책은 즉각적인 안전 한계에 구애받지 않고 고수준의 전술을 학습할 수 있습니다.
3. 예측 모션 정밀화 (MPC): RL 정책에 의해 생성된 참조 제어 동작($u_{RL}$)은 다운스트림 비선형 모델 예측 제어(NMPC) 모듈로 전달됩니다. 이 모듈은 실시간으로 유한 시계(finite-horizon) 제약 최적화 문제를 해결합니다. 이 모듈은 가이드와이어의 단순화된 운동학 모델을 활용하여 미래 궤적을 예측하며 다음을 명시적으로 강제합니다:
   • 운동학적 한계: 장치의 변형을 방지하기 위한 곡률 임계값($\kappa_{max}$).
   • 안전 제약: 혈관 벽으로부터의 최소 간격($d_{min}$).
   • 액추에이터 한계: 속도 및 회전 제한.
     NMPC는 RL 출력을 필터링하여 최종 실행되는 동작($u^*_0$)이 전문가의 운영 규범과 안전 제약을 준수하면서도 RL 정책의 전략적 의도를 유지하도록 보장합니다.

핵심 기여

• 제약 조건 분리형 RL 프레임워크: 저자들은 전략적 의도 습득(RL을 통한)과 운영 제약 강제(최적화를 통한)를 분리하는 새로운 아키텍처를 도입했습니다. 이 공식은 임상 워크플로우와 일치하며, 안전이 중요한 영역에서 엔드 투 엔드 학습의 한계를 해결합니다.
• 온라인 예측 정밀화 모듈: 가이드와이어의 운동학, 곡률 제약, 혈관 중심선 준수를 명시적으로 포함하는 특화된 NMPC 레이어가 개발되었습니다. 이는 RL 에이전트가 이러한 엄격한 제약을 직접 학습할 필요 없이, 실시간으로 안전 제약 준수와 궤적 매끄러움을 보장합니다.
• 포괄적 검증: 본 프레임워크는 고충실도 3D 시뮬레이션 환경과 물리적 로봇 플랫폼(ALL-VAS™ 시스템)의 혈관 팬텀을 사용하여 광범위한 실험을 통해 검증되었습니다.

실험 결과
제안된 프레임워크는 다양한 해부학적 기하 구조(완두동맥, 경동맥, 쇄골하동맥)와 물리적 팬텀 시험에서 기본 RL 정책(SAC 및 DDPG)과 비교하여 평가되었습니다.

• 시뮬레이션 성능:

  • 성공률: 통합 프레크임워크는 **>96%**의 성공률(완두동맥 및 쇄골하동맥에서 98%, 경동맥에서 96%)을 달기했으며, 이는 기본 SAC(90-94%) 및 DPPG(84-92%)보다 우수한 성능을 보였습니다.
  • 효율성: 기본 RL 정책 대비 운영 단계가 29.3% 감소하여 절차적 효율성이 향려되었음을 나타냈습니다.
  • 궤적 일관성: 프레임워크는 우수한 표준화를 보여주었으며, 궤적 분산이 13% 감소(주요 탐색 축을 따른 공간적 확산 13.0% 감소 및 측면 폭 11.4% 감소)했습니다.
  • 절제 연구(Ablation Study): 정책의 자율성과 제약 강제 사이의 균형을 맞추는 최적의 정밀화 가중치 계수($\lambda_{MPC} = 0.1$)가 식별되었습니다. 값이 너무 높으면 학습된 전략이 억제되었고, 너무 낮으면 진동 동작을 교정하지 못했습니다.

• 물리적 (In Vitro) 검증:

  • 실리콘 혈관 팬텀이 있는 로봇 플랫폼에 배포되었을 때, 시스템은 90.0%의 성공률(20회 시도 중 18회)을 달성했습니다.
  • 평균 탐색 시간은 4.2분이었으며, 시도당 156개의 제어 단계가 소요되었습니다.
  • 안전성: 특히, 물리적 실험에서 혈관 경계 위반이 0건 기록되었으며, 이는 심뮬레이션-투-리얼(sim-to-real) 격차에도 불구하고 안전 제약을 유지하는 MPC 레이어의 효과를 입증합니다.

의의 및 주장
본 논문은 이 분리된 접근 방식이 학습 기반 방법의 적응성과 최적화 기반 제어의 안전 보장 사이의 간극을 성공적으로 메운다고 주장합니다. 고수준의 의도가 저수준의 실행과 구별되는 전문가의 임상 의사결정 과정을 재현함으로써, 본 프레임워크는 로봇 혈관 내 중재술의 예측 가능성, 안전성 및 일관성을 향상시킵니다. 결과는 이 패러다임이 절차의 품질을 표준화하고, 운영자의 업무 부하를 줄이며, 장치-혈관 상호작용 위험을 최소화할 수 있음을 시사합니다. 저자들은 시뮬레이션에서 현실로의 전환 과정에서 발생한 다소의 성능 저하(모델링되지 않은 마찰 및 시각적 폐쇄에 기인함)를 언급했으나, 시스템은 엄격한 안전 준수를 유지했습니다. 향-후 연구로는 더 높은 충실도의 생체 역학 모델을 통합하고 임상적 효능을 추가로 검증하기 위한 in vivo 동물 실험을 수행하는 것이 제안되었습니다.