Towards Real-Time Autonomous Navigation: Transformer-Based Catheter Tip Tracking in Fluoroscopy

기술 요약: 실시간 자율 항법을 위한: 형광 투시 하에서 트랜스포머 기반 카테터 팁 추적

문제 제기
기계적 혈전 제거술 (MT) 은 대혈관 폐색 뇌졸중을 위한 핵심적 중재술이지만, 그 효능은 시간 의존적이며 국소 치료 접근성의 부재로 제한받습니다. 혈관 내 로봇 플랫폼과 강화 학습 (RL) 기반 자율 항법이 잠재적 해결책을 제시하지만, 현재 RL 접근법은 장치 팁 좌표 (카테터와 가이드와이어) 의 정밀한 실시간 추적을 요구합니다. 기존 장치 추적 방법은 낮은 이미지 대비, 노이즈, 모션 블러, 장치 가려짐으로 특징지어지는 임상적으로 현실적인 조건에서 어려움을 겪습니다. 더 나아가, 합성 데이터나 팬텀 데이터로 훈련된 딥러닝 모델이 장치가 부분적으로 가려진 경우를 포함하여 in vivo 임상 형광 투시 데이터에 일반화될 수 있는지는 여전히 불분명합니다. 다양한 영상 모드에서 작동할 수 있는 견고한 실시간 추적 파이프라인의 부재는 in silico 시뮬레이션에서 임상 적용으로의 자율 항법 전환을 방해합니다.

방법론
저자들은 도전적인 형광 투시 조건 하에서 작동하도록 설계된 멀티스레드 실시간 카테터 및 가이드와이어 팁 추적 파이프라인을 제안합니다. 이 시스템은 네 개의 비동기 단계를 통합합니다:

1. 리더 (Reader): 프레임 손실을 방지하기 위해 추론 속도와 독립적으로 원시 형광 투시 또는 비디오 프레임을 캡처합니다.
2. 전처리기 (Preprocessor): 프레임을 리사이즈하고 정규화하며 텐서 형식으로 변환합니다.
3. 추론 (Inference): 훈련된 분할 모델을 통해 프레임을 전달합니다. 대형 이미지의 경우, 품질과 메모리 균형을 맞추기 위해 겹치는 패치를 가진 슬라이딩 윈도우 방식을 사용합니다.
4. 후처리기 (Post-processor): 구성 요소 병합, 아티팩트 제거, 그리고 골격화를 통해 분할 마스크를 정제합니다. 특히, 두 단계 구성 요소 필터링과 1 픽셀 중부 골격화를 적용하여 끝점을 식별합니다. 모션 블러와 가려짐에 대한 추적을 안정화하기 위해, 시스템은 골격을 따라 세 점을 샘플링합니다: 주 팁 ($T_0$) 과 각각 5 픽셀 및 10 픽셀 떨어진 두 개의 하류 점 ($T_1, T_2$).

모델 아키텍처
세 가지 딥러닝 분할 아키텍처가 CathAction 데이터셋 (in vitro 팬텀 및 in vivo 돼지 대상자로부터의 25,000 개 픽셀 수준 마스크) 을 사용하여 훈련되고 벤치마크되었습니다:

• 표준 U-Net: 기존 문헌의 64 채널 SGD 구현과 달리, 실시간 메모리 제약을 충족하도록 AdamW 로 최적화된 수정된 16 채널 기본 U-Net 입니다.
• U-Net + 트랜스포머: 더 넓은 컨텍스트를 포착하기 위해 U-Net 병목 구간을 16 레이어, 16 헤드 자기 주의 트랜스포머 모듈로 대체합니다.
• SegFormer: 대칭형 U-Net 디코더를 사용하는 Mix Transformer B5 인코더를 활용하며, 공간 및 채널 스쿼즈 앤 엑시테이션 (scSE) 주의 모듈을 통합합니다.

본 연구는 하류 추적 정확도에 미치는 영향을 결정하기 위해 이중 클래스(장비 대 배경) 및 삼중 클래스(카테터 대 가이드와이어 대 배경) 공식을 모두 평가했습니다.

주요 기여

1. 새로운 추적 파이프라인: 낮은 대비, 부분적 가려짐, 그리고 중첩된 장비의 존재 하에서 국소화 안정성을 향상시키는 골격화 및 다점 샘플링 파이프라인의 도입.
2. 통합 벤치마킹: 추적 프레임워크에 내장된 현대적 분할 아키텍처가 CathAction 데이터셋에서 기존 벤치마크를 능가함을 입증하며, 독립 분할 지표를 넘어 팁 국소화 오차를 포함하여 평가를 확장함.
3. 크로스 도메인 검증: in vivo 미세 조정 없이 in vitro 팬텀, in vivo 동물, 그리고 in vivo 임상 형광 투시 데이터 전반에 걸쳐 방법론을 검증하여 영상 모드 간 일반화를 평가함.

결과

• CathAction 벤치마크: 이중 클래스 SegFormer가 가장 높은 성능 (Dice: 0.809, IoU: 0.722) 을 달성하여 U-Net 및 U-Net+Transformer 를 능가했습니다. 삼중 클래스 분할에서도 SegFormer 는 Dice 점수 0.667 로 U-Net(0.517) 등 기존 벤치마크를 상회하며 선두를 차지했습니다.
• In Vitro 오프라인 RGB: SegFormer 가 이중 클래스 추적에서 가장 낮은 평균 절대 오차 (MAE, 0.47 mm) 를 달성했습니다. 그러나 삼중 클래스 추적에서는 U-Net 이 가장 우수하게 수행 (0.60 mm) 했으며, SegFormer 는 오분류로 인한 골격 가지 발생으로 인해 더 높은 오차 (1.21 mm) 를 보였습니다.
• In Vivo 형광 투시: 복잡도에 따라 계층화된 임상 데이터에서 **SegFormer(이중 클래스)**가 일관되게 가장 안정적이고 정확한 팁 국소화를 보여주었습니다. "중간 복잡도"(G2) 그룹에서 평균 절대 오차 4.44 mm를 달성하여 U-Net(4.60 mm) 과 U-Net+Transformer(6.20 mm) 를 능가했습니다. 삼중 클래스 모델들은 일반적으로 복잡한 해부학적 배경에서 더 높은 오차와 더 많은 아티팩트를 보였습니다.
• 속도: 시스템은 모델과 데이터셋에 따라 약 21~30 FPS 의 추론 속도로 실시간 성능을 유지했습니다.

의의 및 주장
본 논문은 제안된 멀티스레드 추적 프레임워크가 도전적인 영상 조건 하에서 안정적인 성능을 유지하여 RL 기반 자율 MT 항법을 위한 신뢰할 수 있는 기반을 제공한다고 주장합니다. 저자들은 시스템이 기존 벤치마크를 능가하고 실시간 추적의 실현 가능성을 입증하지만, in vivo 환경에서 아직 임상 등급의 서브밀리미터 정밀도 (<1 mm) 를 달성하지는 못했다고 강조합니다. 관찰된 오차 (4~7 mm) 는 도메인 이동 (대비, 노이즈, 운동), 가려짐, 그리고 in vivo 훈련 데이터의 부재에 기인합니다.

본 연구는 이중 클래스 분할이 현재 추적 요구 사항에 대해 속도, 안정성, 팁 국소화 정확도 간의 가장 신뢰할 수 있는 균형을 제공한다고 결론지었습니다. 그러나 삼중 클래스 분할은 카테터와 가이드와이어의 동시 추적을 가능하게 하여 의사결정 에이전트를 위한 더 풍부한 입력을 제공하므로 자율 RL 항법에는 여전히 가치가 있습니다. 이 연구는 팬텀 성능과 임상 현실 간의 격차를 해소하기 위해 도메인 적응의 개선과 다양한 in vivo 훈련 데이터의 포함이 필요함을 강조하며, 임상 배포 가능한 시스템으로 나아가는 한 걸음으로 자기를 위치시킵니다.