Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

기술 요약: 문맥 인지형 보상 모델링을 위한 시각-언어 절차적 추론 기반 로봇 혈관 내 가이드와이어 네비게이션

문제 정의
로봇 보조 혈관 내 중재 시술에는 복잡하고 환자 특이적인 혈관 해부학 구조를 통과하는 정밀하고 안정적인 가이드와이어 네비게이션이 필요합니다. 강화 학습(RL)이 센서 피드백을 액추에이션으로 매핑하는 프레임워크로 부상했음에도 불구하고, 현재의 자율 네비게이션 방식은 상당한 한계에 직면해 있습니다. 대부분의 기존 접근 방식은 전체 절차 과정 전반에 걸쳐 최적화된 정적 보상 함수에 의존합니다. 이러한 정적 공식화는 실제 네비게이션의 이질적이고 단계 의존적인 요구 사항(예: 직선 구간에서의 빠른 진행 대 분기점에서의 전략적 조향)을 동적으로 처리하지 못합니다. 또한, 기존 프레임워크는 고수준의 문맥적 추론을 통합하여 단계별 피드백을 제공하는 메커니즘이 부족하여, 장기 과업(long-horizon tasks)에서 효율성, 안전성 및 정밀도 사이의 최적의 트레이드오프를 달도 달성하지 못합니다.

방법론
이러한 과제를 해결하기 위해 저자들은 시각-언어 절차적 추론(Vision-Language Procedural Reasoning, VL-PR) 프레임워크를 제안합니다. 이 접근 방식은 멀티모달 대규모 언어 모델(MLLM)을 통합된 RL 파이프라인 내의 절차적 추론 모듈로 통합합니다. 핵심 혁신은 저수준 제어 명령을 직접 생성하는 것이 아니라, MLLM을 사용하여 고수준의 네비게이션 문맥을 추론하고 이를 통해 보상 함수를 동적으로 적응시키는 데 있습니다.

1. 절차적 추론 모듈 (MLLM):

   • MLLM(구체적으로 4-bit QLoRA로 미세 조정된 Qwen2.5-VL-3B-Instruct 백본)은 국소 혈관 이미지, 가이드와이어 팁 구성, 기하학적 단서(중심선 방향, 곡률, 분기점)를 포함한 실시간 멀티모달 관측 데이터를 처리합니다.
   • 이 모듈은 정의된 공간 $\{cruise, bifurcation, retraction, final\ align\}$으로부터 이산적인 절차적 상태 $g_t$를 추론합니다.
   • 이 모듈은 범주형 교차 엔트로피, 시간적 일관성 규제, 그리고 모호한 영역에서 과도한 확신을 방지하기 위한 엔트로피 규제를 결합한 손실 함수를 사용하여 전문가 유도 세만틱 레이블로 학습됩니다.

2. 문맥 인지형 보상 적응:

   • 정책을 교체하거나 정책 입력에 세만틱 변수를 추가하는 대신, 본 프레임워크는 단일 통합 제어 정책(Soft Actor-Critic, SAC을 통해 구현)을 유지합니다.
   • 보상 함수 $r_t$는 네 가지 해석 가능한 구성 요소인 진행($\phi_{prog}$), 안전($\phi_{safe}$), 중심선 이탈($\phi_{dev}$), 굽힘 안정성($\phi_{bend}$)으로 분해됩니다.
   • MLLM이 추론한 절차적 분포 $p_\psi(g_t | o_t)$는 상태 의존적 가중치 행렬 $W_g(\xi_t)$를 조절합니다. 이 행렬은 현재 단계와 위험 지표 $\xi_t$에 따라 보상 구성 요소의 중요도를 동적으로 조정합니다.
     • Cruise (순항): 효율성을 강조하며, 위험도가 높아짐에 따라 안전 페널티가 증가합니다.
     • Bifurcation (분기): 기하학적 정렬과 조향 가능성을 우선시합니다.
     • Retraction (후퇴): 벽 접촉이나 실패 위험이 높을 때 후퇴를 유도하기 위해 진행 보상을 억제합니다.
     • Final Align (최종 정렬): 기하학적 정밀도에 우선순위를 전환합니다.

3. 학습 및 배포:

   • 학습은 물리적 혈관 팬텀의 디지털 트윈 역할을 하는 고충실도 물리 기반 시뮬레이션(SOFA 프레임워크)에서 수행됩니다.
   • 학습된 정책은 추가적인 미세 조정 없이 물리적 로봇 플랫폼(ALLVAS™ 시스템)에 제로샷(zero-shot)으로 배포됩니다.
   • 시각 인지 파이프라인(단일 카메라 프레임에서 가이드와이어 상태를 추정하기 위한 YOLOv5 탐지 및 U-Net 세그멘테이션)이 실시간 상태 관측을 제공합니다.

주요 기여

• VL-PR 프레임워크: 복잡한 혈관 해부학 구조에서 지능적인 의사결정을 촉진하기 위해 고수준 멀티모달 추론과 RL을 연결하는 프레임워크를 구축했습니다.
• 문맥 인지형 보상 적응: 추론된 절차적 상태에 따라 상충하는 목표(예: 주행 효율성과 안전 필수 정밀도 간의 균형)를 동적으로 우선순위화하는 전략을 도입했습니다.
• 물리적 검증: 물리적 로봇 시스템을 통한 시연을 통해, 절차적 추론이 실제 혈관 팬텀 및 도전적인 해부학적 구조에서 작업 신뢰성과 네비게이션 효율성을 향상시킨다는 것을 입증했습니다.

실험 결과
본 프레임워크는 관상동맥, 경동맥, 신장 중재라는 세 가지 뚜렷한 혈관 시나리오에서 평가되었습니다.

• 성공률: 제안된 VL-PR 방식은 관상동맥 및 신장 중재에서 100% 성공률을 기록했으며, 경동맥 중재에서는 **97%**를 달성했습니다. 이는 60%에서 73% 사이의 성공률을 보인 표준 RL 베이스라인(SAC, PPO, TD3, DDPG)을 크게 상회하는 수치입니다. 또한 전문가의 수동 조작 성능(93~100%)과도 유사한 수준을 보였습니다.
• 효율성: 해당 방식은 평균 네비게이션 단계를 크게 단축했습니다. 관상동맥 네비게이션의 경우, 제안된 방식은 표준 SAC(80.6 단계)에 비해 41.6 단계만을 필요로 하여 48.4%의 감소를 보여주었습니다.
• Ablation (제거 실험): MLLM 추론 모듈을 제거(규칙 기반 베이스라인 사용)했을 때, 성공률이 73~77%로 떨어지고 단계 수가 크게 증가하여, 문맥 인지형 보상 적응의 결정적인 역할을 확인했습니다.
• 추론 정확도: MLLM은 91.2%에서 94.0% 사이의 절차적 상태 분류 정확도를 달성하여, 규칙 기반 베이스라인(22~27%)을 압도했습니다.

의의 및 주장
본 논문은 VL-PR 프레임워크가 단일 정책을 통해 경쟁하는 목표들을 해결하면서 일관된 글로벌 과업 목표를 유지할 수 있게 함으로써, 복잡하고 다중 작업적인 로봇 혈관 내 시술을 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 고수준의 절차적 추론과 저수준의 모션 제어를 분리함으로써, 이 접근 방식은 다양한 해부학적 구조 전반에서 일관성을 유지하고 강건성을 개선하며 훈련과 배포 사이의 일관성을 보장합니다. 저자들은 이 방법이 정적 보상 방식에 비해 작업 신뢰성을 높이고 네비게이션 효율성을 간소화하며, 실제 혈관 네비게이션의 다양한 과제에 적응할 수 있는 더 자율적이고 지능적인 로봇 중재를 향한 경로를 제공한다고 단언합니다. 향후 연구 과제로 더 풍부한 구조적 표현으로의 추론 확장, sim-to-real 일반화 개선, 그리고 공식적인 안전 제약 조건의 통합을 제시하였습니다.