A Vision-Language-Action Model for Adaptive Ultrasound-Guided Needle Insertion and Needle Tracking

논문 요약: 적응형 초음파 유도 바늘 삽입 및 추적을 위한 시각 - 언어 - 행동 (VLA) 모델

1. 문제 제기 (Problem)

• 초음파 (US) 유도 바늘 삽입의 어려움: 조직 생검, 종양 절제, 국소 마취 등 다양한 침습적 시술에 필수적이지만, 동적인 영상 조건, 노이즈, 아티팩트, 그리고 바늘의 가시성 저하 (occlusion) 로 인해 매우 까다로운 절차입니다.
• 기존 방법의 한계:
  • 기존 자동화 시스템은 수동으로 설계된 파이프라인 (hand-crafted pipelines) 과 모듈형 컨트롤러에 의존합니다.
  • 이러한 방법들은 환경 변화에 취약하며, 바늘 추적과 삽입 제어를 분리하여 통합된 맥락 인식 (context-awareness) 이 부족합니다.
  • 실시간 추적이 필요한 경우, 기존 VLA(Vision-Language-Action) 모델은 계산 비용이 크거나 추론 속도가 느려 실시간 적용이 어렵습니다.
• 목표: 로봇 초음파 (RUS) 시스템을 통해 실시간으로 바늘을 추적하고, 환경의 불확실성에 적응하여 바늘 삽입을 자동으로 수행하는 통합 프레임워크 개발.

2. 방법론 (Methodology)

제안된 프레임워크는 시각 - 언어 - 행동 (VLA) 모델을 기반으로 하며, 크게 크로스-딥 퓨전 (CDF) 추적 헤드, TraCon 레지스터, 비동기 VLA 파이프라인, 불확실성 인지 제어 정책으로 구성됩니다.

• 시스템 아키텍처:

  • 기반 모델: Qwen2.5-VL-3B 를 기반으로 하며, 사전 학습된 비전 인코더 (ViT 기반) 와 대규모 언어 모델 (LLM) 을 사용합니다.
  • 비동기 파이프라인 (Asynchronous VLA Pipeline): 추적 (Tracking) 과 행동 생성 (Action Generation) 을 분리하여 처리합니다.
    • 실시간 분기 (Real-time Branch): 바늘 추적을 위해 약 25 FPS 로 작동 (CDF 헤드 사용).
    • 심층 분기 (Deep Branch): LLM 을 통한 행동 생성을 위해 약 10 FPS 로 작동.
    • 이 구조는 실시간 추적 지연 없이 정밀한 삽입 제어를 가능하게 합니다.

• 핵심 구성 요소:

  1. 크로스-딥 퓨전 (Cross-Depth Fusion, CDF) 추적 헤드:
     • ViT 비전 백본의 얕은 층 (Shallow layers, 위치 정보 풍부) 과 깊은 층 (Deep layers, 시맨틱 정보 풍부) 의 특징을 통합합니다.
     • 얕은 층의 위치 정보와 깊은 층의 의미론적 정보를 융합하여 바늘의 정확한 위치를 예측합니다.
  2. 추적 조건부 레지스터 (Tracking-Conditioning, TraCon Register):
     • 전체 비전 인코더를 미세 조정 (Fine-tuning) 하는 대신, 학습 가능한 경량 토큰 (Register) 을 입력 임베딩에 추가합니다.
     • TraCon은 파라미터 효율적 미세 조정 (PEFT) 을 가능하게 하여, 적은 데이터로도 추적 태스크에 특화된 특징을 조건부 (Conditioning) 로 부여합니다.
  3. 불확실성 인지 제어 정책 (Uncertainty-Aware Control Policy):
     • LLM 은 바늘의 가시성 (Visibility) 을 기반으로 불확실성을 판단합니다.
     • "보이는 대로 행동하라"는 원칙에 따라, 바늘이 가려지거나 아티팩트가 발생하면 삽입 속도를 늦추고, 가시성이 확보되면 속도를 회복합니다.
     • 이는 바늘 끝이 보이지 않는 동안의 위험한 진행을 방지합니다.

3. 주요 기여 (Key Contributions)

1. CDF 추적 헤드 개발: 얕은 위치 정보와 깊은 시맨틱 정보를 통합하여 사전 학습된 비전 백본을 추적 작업에 효과적으로 적응시킵니다.
2. TraCon 레지스터 도입: 파라미터 효율적인 전이 학습을 위한 경량 학습 가능 토큰을 제안하여, 추적 및 LLM 작업 간의 특징 정렬을 용이하게 합니다.
3. 불확실성 인지 제어 정책: 영상 아티팩트 및 가시성 저하 상황에서 안전하고 성공적인 시술을 보장하는 적응형 삽입 전략을 구현합니다.
4. 비동기 VLA 파이프라인: 추적 (고속) 과 제어 (저속) 의 실행 속도를 분리하여 실시간 추적과 정밀한 행동 생성을 동시에 달성합니다.

4. 실험 결과 (Results)

• 데이터셋: 239 개의 비디오 (41,075 프레임) 로 구성된 바늘 추적 데이터셋 (D1) 과 18 개의 비디오 (3,852 프레임) 로 구성된 바늘 삽입 데이터셋 (D2) 을 수집 및 학습에 사용했습니다.
• 바늘 추적 성능:
  • 기존 최첨단 (SOTA) 추적기 (Siamese, Transformer 기반 등) 와 비교하여 **AUC 63.5%, 정밀도 88.9%**를 달성했습니다.
  • 평균 오차 (Err) 와 표준 편차 (SD) 에서 기존 방법 대비 10.7% 및 16.0% 개선을 보였으며, 특히 SD 가 2.0 mm 미만으로 매우 안정적입니다.
• 바늘 삽입 성능 (로봇 vs 수동):
  • 성공률 (SUC): 제안된 VLA 방식은 수동 조작 대비 33.3% 향상된 성공률 (평균 80.0% vs 60.0%) 을 보였습니다. 특히 이동식 (IPM) 시나리오에서는 63.6% 향상되었습니다.
  • 시술 시간: 성공적인 시술의 평균 소요 시간이 수동 조작보다 약 6 초 단축되었습니다.
  • 실시간성: 추적 25.1 FPS, 행동 생성 10.4 FPS 로 실시간 요구사항을 충족하며 안전성을 확보했습니다.
• Ablation Study: TraCon 레지스터 제거, 비동기 파이프라인 제거, 불확실성 제어 정책 제거 시 성능이 크게 저하되어 각 구성 요소의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 통합적 접근: 기존에 분리되어 있던 '추적'과 '제어'를 하나의 VLA 프레임워크로 통합하여, 환경 변화에 유연하게 대응하는 지능형 개입을 가능하게 했습니다.
• 안전성 및 효율성: 불확실성 인지 제어 정책을 통해 바늘 가시성이 떨어지는 상황에서도 안전한 속도 조절이 가능하며, 이는 임상적 안전성을 크게 향상시킵니다.
• 자원 효율성: TraCon 레지스터를 통해 적은 양의 의료 데이터로도 대규모 사전 학습 모델의 성능을 효과적으로 전이 (Transfer) 할 수 있음을 입증했습니다.
• 미래 전망: 이 연구는 로봇 초음파 (RUS) 기반의 자동화 시술을 위한 새로운 패러다임을 제시하며, 향후 다자유도 프로브 조작 및 대규모 데이터셋 구축을 통해 더욱 발전할 것으로 기대됩니다.

이 논문은 의료 로봇 분야에서 VLA 모델의 실용성을 입증하고, 복잡한 동적 환경에서도 안전하고 정확한 침습적 시술을 자동화할 수 있는 강력한 솔루션을 제시합니다.