Toward AI Autonomous Navigation for Mechanical Thrombectomy using Hierarchical Modular Multi-agent Reinforcement Learning (HM-MARL)
이 논문은 급성 뇌경색 치료인 기계적 혈전 제거술을 위한 복잡한 혈관 내 항법을 해결하기 위해 계층적 모듈형 다중 에이전트 강화학습 (HM-MARL) 프레임워크를 제안하고, 이를 통해 시뮬레이션 및 체외 실험에서 성공적인 자율 항법을 입증하여 임상 적용 가능성을 제시했습니다.
원저자:Harry Robertshaw, Nikola Fischer, Lennart Karstensen, Benjamin Jackson, Xingyu Chen, S. M. Hadi Sadati, Christos Bergeles, Alejandro Granados, Thomas C Booth
원저자: Harry Robertshaw, Nikola Fischer, Lennart Karstensen, Benjamin Jackson, Xingyu Chen, S. M. Hadi Sadati, Christos Bergeles, Alejandro Granados, Thomas C Booth
뇌졸중은 뇌로 가는 혈관이 막혀 발생하는 무서운 병입니다. 이를 치료하기 위해 '혈관 내 기계적 혈전 제거술 (MT)'이라는 시술을 합니다. 하지만 이 시술은 시간과의 싸움입니다.
문제점: 숙련된 전문의가 많지 않고, 환자가 있는 곳에서 시술이 가능한 병원까지 가는 시간이 길면 치료 효과가 떨어집니다.
해결책: 전문의가 원격으로 로봇을 조종하거나, 로봇이 스스로 혈관 속을 찾아 혈전을 제거하게 하면 어떨까요?
🤖 핵심 기술: "HM-MARL"이란 무엇인가요?
연구팀은 AI 가 두 개의 도구 (카테터와 가이드와이어) 를 동시에 조작하며 혈관 속을 항해하게 했습니다. 이를 위해 **'HM-MARL'**이라는 새로운 방식을 썼는데, 이를 쉽게 풀면 다음과 같습니다.
1. "한 명의 천재" 대신 "팀워크" (계층적 모듈형 다중 에이전트)
기존의 AI 는 "한 명의 천재"처럼 모든 일을 혼자 하려고 했습니다. 하지만 혈관 항해는 너무 길고 복잡해서 (허벅지 혈관부터 뇌 혈관까지) AI 가 혼란을 겪기 쉽습니다.
비유: 긴 여행을 갈 때, 한 사람이 모든 길 (고속도로, 시골길, 산길) 을 다 외우려 하면 지칩니다. 대신 전문가 팀을 꾸리는 겁니다.
A 팀: 고속도로 주행 전문가
B 팀: 시골길 주행 전문가
C 팀: 산길 주행 전문가
HM-MARL 의 방식: AI 는 이 '전문가 팀'을 구성합니다. 각 팀원 (에이전트) 은 특정 구간만 전문적으로 훈련받습니다. 그리고 **지휘관 (TSM)**이 "이제 고속도로 구간이니까 A 팀이 나가고, 다음엔 시골길이니까 B 팀이 나간다"고 지시합니다. 이렇게 나누어 학습하면 훨씬 효율적이고 정확해집니다.
2. "가상 현실"에서 "실제 실험실"까지
시뮬레이션 (in silico): 먼저 AI 는 컴퓨터 속의 '가상 혈관'에서 수만 번의 연습을 했습니다. 마치 비행 시뮬레이터로 조종법을 익히는 것과 같습니다.
결과: 컴퓨터 안에서는 90%~100% 의 성공률을 보이며 복잡한 혈관도 잘 통과했습니다.
실제 실험 (in vitro): 그다음, 실제 사람 혈관과 똑같은 모양으로 3D 프린팅한 인공 혈관 모형에 AI 를 투입했습니다.
결과: 오른쪽 혈관 (비교적 직선) 으로 가는 길은 100% 성공했습니다! 하지만 왼쪽 혈관 (구부러진 길) 으로 가는 길은 실패했습니다.
🚧 왜 왼쪽 혈관에서는 실패했을까요? (현실의 벽)
컴퓨터에서는 잘되던 AI 가 실제 실험에서는 좌절했습니다.
이유: 컴퓨터 속의 혈관은 완벽하지만, 실제 3D 프린팅 모형은 마찰력이나 재질의 탄성이 다릅니다. 특히 왼쪽 혈관은 혈관 모양이 매우 급하게 꺾여 있어 (비유하자면 '90 도 급커브') AI 가 카테터를 구부려 넣기가 매우 어렵습니다.
흥미로운 사실: 이 실험은 '초인 (Superhuman)' 챌린지였습니다. 인간 전문의조차 직선 카테터로는 왼쪽 혈관에 들어갈 수 없는 상황인데, AI 가 시도해 본 것입니다. 아직은 AI 가 인간을 완전히 대체할 단계는 아니지만, AI 가 인간이 못하는 영역까지 도전해 볼 수 있음을 보여준 것입니다.
💡 이 연구의 의미와 미래
최초의 기록: AI 가 두 개의 도구를 동시에 조작하며 실제 실험실 환경에서 혈관 항해를 성공한 첫 사례입니다.
현실적인 전망: 당장 AI 가 환자를 치료하는 로봇이 되는 것은 아닙니다. 대신 의사를 돕는 '코파일럿' 역할을 합니다. AI 가 항해를 도와주고, 의사는 최종 결정과 안전 장치를 담당하는 방식입니다.
앞으로의 과제:
왼쪽 혈관처럼 어려운 길도 잘 가게 훈련해야 합니다.
컴퓨터와 실제 환경의 차이 (마찰력 등) 를 더 정교하게 반영해야 합니다.
AI 가 혈관 벽을 찢지 않도록 안전 장치를 더 강화해야 합니다.
📝 한 줄 요약
"복잡한 혈관 항해를 위해 AI 에게 '팀워크'와 '전문가 교육'을 시켰더니, 컴퓨터 안에서는 천재가 되었고, 실제 실험실에서는 오른쪽 길은 완벽하게, 왼쪽 길은 아직 도전 중입니다. 이제부터는 AI 가 의사와 손잡고 환자를 구하는 시대가 열릴 것입니다."
이 연구는 AI 가 의료 현장에서 어떻게 인간을 돕고, 더 나아가 자율적으로 작동할 수 있을지에 대한 중요한 첫걸음입니다.
논문 요약: 기계적 혈전 제거술 (MT) 을 위한 계층적 모듈형 다중 에이전트 강화학습 (HM-MARL) 기반 AI 자율 항법
1. 문제 제기 (Problem Statement)
임상적 필요성: 급성 뇌경색 (대혈관 폐색) 에 대한 기계적 혈전 제거술 (Mechanical Thrombectomy, MT) 은 표준 치료법이지만, 지리적·물리적 장벽으로 인해 접근성이 제한적입니다. 치료까지의 시간이 길어질수록 예후가 나빠지므로, 신속한 치료가 필수적입니다.
현재 기술의 한계:
기존 강화학습 (RL) 기반 자율 항법 연구는 주로 '단일 에이전트'나 '짧은 항법 구간'에 국한되었습니다.
복잡한 혈관 구조 (대동맥에서 경동맥까지) 를 통과하는 '긴 항법 (Long-horizon navigation)' 작업은 단일 에이전트에게 학습과 일반화가 매우 어렵습니다.
기존 연구는 대부분 시뮬레이션 (in silico) 에만 그쳤으며, 실제 실험실 환경 (in vitro) 에서의 검증이 부족했습니다.
개념: 복잡한 MT 항법 작업을 여러 하위 작업 (Sub-tasks) 으로 분할하고, 각 하위 작업을 전문적으로 수행하는 다중 에이전트 (Multi-Agent) 를 도입했습니다.
계층적 구조:
모듈형 (Modular): 전체 항법 (대퇴동맥 → 경동맥) 을 5 개의 하위 작업 (A1~A5) 으로 세분화하여 각각 별도의 RL 에이전트를 훈련시킵니다.
계층적 (Hierarchical): 작업 선택 모듈 (Task Selection Module, TSM) 이 현재 상태와 목표 위치에 기반하여 어떤 하위 에이전트를 활성화할지 결정합니다. 이는 에이전트 간의 동시 협업이 아닌, 순차적이고 규칙 기반의 전략을 따릅니다.
알고리즘: 각 에이전트는 Soft Actor-Critic (SAC) 알고리즘을 사용하여 훈련되었습니다.
환경 (Environment):
in silico (시뮬레이션): stEVE (simulated EndoVascular Environment) 프레임워크와 SOFA 물리 엔진을 사용했습니다. 환자별 CTA(컴퓨터 단층 혈관조영술) 스캔 데이터를 기반으로 10 가지 다양한 혈관 모델을 생성하고, 이를 3D 메쉬로 변환하여 훈련에 활용했습니다.
in vitro (실험실): 3D 프린팅된 투명한 혈관 팬텀 (Phantom) 을 글리세린에 담가 광학적 투명도를 확보했습니다. 가이드 와이어와 카테터의 팁을 추적하기 위해 상단 카메라와 로봇 매니퓰레이터 (Concentric Tube Robot) 를 사용했습니다.
나. 작업 정의
입력: 혈관 기하학적 구조에 대한 시각 정보는 제공되지 않으며, 가이드 와이어 팁의 3 개 지점 좌표 (2D) 와 목표 좌표, 이전 행동 등을 관측 (Observation) 으로 사용합니다.
행동 공간: 가이드 와이어의 회전 (Rotation) 과 이동 (Translation) 속도 제어.
보상 함수: 경로 길이 감소, 목표 도달 시 보상, 그리고 안전성을 위한 패널티를 포함한 밀집 보상 (Dense Reward) 함수를 사용했습니다.
3. 주요 기여 (Key Contributions)
최초의 in vitro 자율 항법 증시: MT 혈관 환경에서 2 개의 장치 (가이드 카테터 및 가이드 와이어) 를 동시에 조작하여 대퇴동맥에서 경동맥 (ICA) 까지 항법하는 최초의 in vitro 자율 항법 실증.
HM-MARL 프레임워크 도입: 긴 항법 작업을 모듈화된 하위 작업으로 분해하여 효율적으로 학습하고 일반화할 수 있는 새로운 RL 아키텍처 제안.
확장 가능한 데이터 파이프라인: CTA 스캔 기반의 환자 맞춤형 혈관 모델을 생성하여 다양한 해부학적 구조에서 RL 에이전트를 훈련 및 검증할 수 있는 파이프라인 개발.
시뮬레이션 - 현실 (Sim-to-Real) 전이 검증: 시뮬레이션에서 훈련된 에이전트가 실제 물리적 환경 (in vitro) 에서도 부분적으로 작동함을 입증.
4. 결과 (Results)
가. 시뮬레이션 (in silico) 결과
단일 혈관 모델 (HM-MARL-1): 개별 해부학 구조에서 92~100% 의 성공률 (Success Rate, SR) 을 기록했습니다. 특히 오른쪽 경동맥 (RCCA/ICA) 항법에서 100% 성공률을 보였습니다.
다중 혈관 모델 (HM-MARL-10): 10 가지 다른 환자 혈관 모델에서 훈련 및 테스트 시, 오른쪽 항법에서 5680% 의 성공률을 보였습니다. 왼쪽 (Left-side) 항법은 해부학적 각도가 급격하여 성능이 낮아졌으나 (4662%), 단일 에이전트 (SA-RL) 보다 훨씬 우수한 성능을 보였습니다.
비교: 기존 단일 에이전트 (SA-RL) 는 긴 항법 작업 (A1,2,3) 에서 0% 성공률을 기록한 반면, HM-MARL 은 60~90% 의 성공률을 보이며 우월성을 입증했습니다.
나. 실험실 (in vitro) 결과
성공: 오른쪽 경동맥 (RCCA) 까지 항법 (A1,2) 에서 두 모델 모두 100% 성공률을 기록했습니다. 대동맥 하강부에서 오른쪽 경동맥 (RICA) 까지 항법 (A2,3) 에서도 80% 성공률을 달성했습니다.
실패 요인: 왼쪽 혈관 (LCCA/LICA) 항법에서는 두 모델 모두 0% 성공률을 기록했습니다. 이는 시뮬레이션과 달리 실제 팬텀의 마찰 계수, 카테터의 물성, 그리고 왼쪽 경동맥의 급격한 각도 (Superhuman challenge) 로 인해 전문가조차도 직선형 카테터로는 항법이 불가능했기 때문입니다.
시간 지연: 시뮬레이션 대비 실제 실험에서 항법 소요 시간 (Procedure Time) 이 크게 증가했습니다 (약 6~10 배). 이는 로봇 모터의 과열 방지 및 동작 완료를 위한 지연 (Delay) 때문이었습니다.
5. 의의 및 결론 (Significance & Conclusion)
기술적 진보: 본 연구는 MT 수술의 자동화 기술 성숙도 (TRL) 를 4 단계 (실험실 환경에서의 유효성 검증) 로 끌어올리는 중요한 이정표입니다.
임상적 함의: 완전한 자율성보다는 공유 자율성 (Shared Autonomy) 모델이 현실적입니다. AI 가 항법을 보조하고 의사가 최종 결정권을 가지거나 개입할 수 있는 시스템으로 발전해야 합니다.
한계 및 향후 과제:
왼쪽 혈관 항법 실패는 실제 임상에서 특수한 형태의 카테터 (예: Simmons 2) 가 필요함을 시사합니다.
시뮬레이션과 현실 간의 차이 (마찰, 물성 등) 를 줄이기 위해 '월드 모델 (World Models)' 도입 및 더 다양한 데이터셋을 통한 훈련이 필요합니다.
향후 연구에서는 힘 (Force) 제어를 보상 함수에 포함하여 혈관 파열 위험을 줄이고, 영상 기반 (Image-based) RL 로 전환하는 것을 고려해야 합니다.
요약하자면, 이 논문은 HM-MARL 을 통해 복잡한 혈관 항법 문제를 분해하고 해결함으로써, 기계적 혈전 제거술의 자동화 가능성을 처음으로 실험실 수준에서 입증했습니다. 비록 왼쪽 혈관 항법 등 일부 한계가 있으나, 향후 기술 발전과 함께 임상 적용을 위한 중요한 기초를 마련했습니다.