Point Tracking as a Temporal Cue for Robust Myocardial Segmentation in Echocardiography Videos

기술 요약: 심초음파 영상의 견고한 심근 분할을 위한 시계열 단서로서의 포인트 트래킹(Point Tracking)

문제 정의
심초음파(echo) 영상에서 심근(myocardium) 분할은 수축 기능 평가, 심근 변형률(strain) 계산, 그리고 국소적 벽 운동 이상 탐지에 매우 중요하다. 그러나 이 작업은 낮은 이미지 대비도, 노이즈, 그리고 상당한 해부학적 가변성으로 인해 어려움을 겪으며, 특히 비전문가 운영자가 저품질 클립을 획득하는 경우가 많은 현장 진단용 초음파(POCUS) 환경에서 이러한 문제가 두드러진다.

기존의 딥러닝 접근 방식은 다음과 같은 구체적인 한계점을 가진다:

• 프레임 독립적 모델(예: UNet, SwinUNet)은 시계열 정보를 무시하여 심장 주기 동안 일관되지 않은 분할 결과를 초래한다.
• 메모리 기반 모델(예: MemSAM, MedSAM2)은 시간에 따라 특징을 전파하지만, 초기 프레임이 노이즈가 심하거나 축에서 벗어난 경우 오차 누적에 취약하다.
• 광학 흐름(Optical flow) 기반 방법은 밝기 불변성(brightness constancy)과 매끄러운 움직임 가정을 기반으로 하지만, 초음파 특유의 스펙클 디코릴레이션(speckle decorrelation) 및 면외 운동(out-of-plane motion)으로 인해 이러한 가정이 자주 위배되며, 결과적으로 시간적으로 불안정하거나 해부학적으로 타당하지 않은 변형을 일으킨다.
• 파운데이션 모델(예: SAM)은 대화형 프롬프트가 필요한 경우가 많아, 실시간 및 레이블이 부족한 워크플로우에는 부적합하다.

방법론: Point-Seg
저자들은 메모리 기반의 특징 축적에 의존하지 않고도 안정적이고 일관된 심근 분할을 보장하기 위해, 포인트 트래킹을 명시적인 시계열 단서(temporal cue)로 통합한 트랜스포머 기반 분할 프레픽워크인 Point-Seg를 제안한다.

• 아키텍처: 모델은 인코더(deformable attention transformer 레이어가 포함된 ResNet50 백본), 포인트 디코더, 퓨전 레이어, 그리고 마스크 디코더로 구성된다.
• 포인트 트래킹 모듈: 시스템은 $T$개의 프레임에 걸쳐 $N$개의 서로 다른 점들(조밀한 그리드 및 선택적 수동 포인트 포함)을 추적한다. 이는 궤적($L_i$)과 가시성 시퀀스($V_i$)를 추정하기 위해 SynUS 합성 데이터셋으로 학습된 포인트 디코더를 활용한다. 디코더는 초음파에 맞게 미세 조정된 TAPTR(Transformer-based Point Tracking)을 채택한다.
• 퓨전 메커니즘: 프레임워크는 공간 및 움직임 인식 정보를 통합하기 위해 여러 어텐션 메커니즘을 사용한다:
  • Point-to-Patch Cross-Attention: 포인트 토큰이 패치 토큰을 참조(attend)하게 하여 공간적 특징을 통합한다.
  • Point Self-Attention: 추적된 점들이 한 프레임 내에서 정보를 교환할 수 있게 한다.
  • Point Temporal Self-Attention: 포인트 토큰이 프레임 전반에 걸쳐 자신의 궤적을 참조하게 함으로써 움직임을 모델링한다.
  • Patch-to-Point Cross-Attention: 움직임 단서를 공간적 표현에 통합하여 마스크 디코더로 전달한다.
• 학습 전략: 학습은 두 단계로 수행된다. 첫째, 포인트 디코더는 궤적 추정을 위한 $\ell_1$ 손실과 가시성 예측을 위한 교차 엔트로피 손실을 사용하여 학습된다. 둘째, 포인트 디코더를 고정한 상태에서 마스크 디코더를 Dice 손실과 **시계열 평활화 손실(temporal smoothing loss)**을 사용하여 학습시킨다. 시계열 평활화 손실은 추적된 마스크 값들 사이의 쌍별 유사성을 강제하여 일관성을 높인다.
• 추론: 모델은 수동 프롬프트 없이도 분할 마스크와 픽셀 수준의 움직임 정보를 동시에 생성한다.

주요 기여

1. 초음파 최적화 포인트 트래킹: 저자들은 이미지 품질이 변동하는 상황에서도 안정적인 조밀 샘플링 심근 궤적을 생성할 수 있도록 SynUS 합성 데이터셋을 사용하여 TAPTR를 적응 및 미세 조정하였다.
2. 트래킹 조건부 분할: 새로운 트랜스포머 분할 헤드는 추적된 궤적을 움직임 사전 정보(motion priors)로 입력받는다. 이 접근 방식은 메모리 전파 없이 시계열 일관성을 강제하며, 저품질 초음파 클립에서의 드리프트(drift) 현상을 효과적으로 줄인다.
3. 픽셀 수준 움직임 정보: 표준 분할 방법과 달리, Point-Seg는 박출률(ejection fraction) 및 벽 운동 이상 측정과 같은 다운스트림 작업에 필수적인 명시적인 심근 움직임 정보를 출력한다.

실험 결과
방법론은 공개 데이터셋인 CAMUS와 1,305개의 훈련, 181개의 검증, 367개의 테스트 영상을 포함하는 비공개 데이터셋에서 평가되었다.

• 고품질 데이터: 고품질 CAMUS 프레임에서 Point-Seg는 평균 Dice 계수(mDice) 및 Hausdorff 거리(HD95) 측면에서 최첨단 모델(예: nnUNet, 바운딩 박스 프롬프트가 포함된 MedSAM2)과 통계적 동등성(p ≥ 0.05)을 달성했다.
• 저품질 데이터: 저품질 초음파 클립에서 Point-Seg는 우수한 성능을 보인다. CAMUS 테스트 세트에서 mDice(nnUNet의 84.0 대비 86.7)와 HD95 측면에서 베이스라인보다 유의미하게 높은 성능을 기록했다. 비공개 데이터셋에서도 저품질 시나리오에서 베이스라인을 능가했다.
• 시계열 안정성: 정성적 분석(그림 2) 결과, Point-Seg는 심장 주기 전반에 걸쳐 안정적인 경계를 유지하며, 프레임 독립적 모델에서 나타나는 깜빡임(flickering)이나 메모리 기반 접근법에서 관찰되는 드리프트 현상을 피하는 것을 보여준다.
• 절제 연구(Ablation Studies): 실험을 통해 포인트 궤적, point-to-patch cross-attention, 그리고 특히 temporal self-attention의 포함이 분할 정확도와 안정성을 크게 향상시킨다는 것을 확인했다. 제안된 트래커는 SynUS 데이터셋에서 기존의 초음파 특화 트래커(EchoTracker) 및 일반 트래커(CoTracker)보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 Point-Seg가 특히 도전적인 POCUS 환경에서 심근 분할을 위한 신뢰할 수 있고 일반화 가능한 접근 방식을 제공한다고 주장한다. 포인트 트래킹을 시계열 단서로 활용함으로써, 이 방법은 메모리 기반의 특징 축적과 수동 프롬프트의 필요성을 제거하는 동시에 픽셀 수준의 움직임 데이터를 제공하는 부가적인 이점을 제공한다. 저자들은 이 접근 방식이 침상 옆 심부전 진단의 핵심 요구 사항, 즉 이미지 품질이 최적이 아닐 때도 박출률 및 변형률과 같은 실행 가능한 측정을 가능하게 하는 신뢰할 수 있고 시계열적으로 일관된 분할을 목표로 한다고 강조한다. 연구를 촉진하기 위해 코드는 공개되어 있다.