Temporally Consistent Mitral Annulus Measurements from Sparse Annotations in Echocardiographic Videos

기술 요약: 희소한 주석을 이용한 심초음파 영상에서의 시간적 일관성을 갖는 승모판 환상(Mitral Annulus) 측정

문제 정의
승모판 환상을 정확하게 평가하는 것은 심장 질 질환, 특히 승 모판 역류증 및 관상 동맥 질환을 진단하는 데 매우 중요합니다. 승모판 평면 수축기 전진 거리(MAPSE) 및 환상 직경과 같은 핵심 임상 지표는 수축기 말(ES)과 이완기 말(ED)에서의 환상 랜드마크를 정밀하게 국지화하는 것에 의존합니다. 딥러닝은 지도 학습 기반의 랜드마크 검출을 가능하게 했으나, 기존 방식들은 두 가지 주요 과제에 직면해 있습니다:

1. 시간적 불일치성(Temporal Inconsistency): 프레임 단위의 수동 주석 작업은 노동 집약적이며 일관성이 결여되기 쉽습니다. 기존의 자동화된 방법들은 희소한 인간의 주석을 복제하는 데 집중할 뿐, 시간적 매끄러움(temporal smoothness)을 강제하지 않기 때문에 생리학적 움직임을 반영하지 못하는 불규칙한 랜드마크 궤적을 초래하는 경우가 많습니다.
2. 해부학적 랜드마크 누락: 초음파 영상의 제한된 시야로 인해, 환자 또는 검사자의 움직임으로 인해 대상 해부 구조가 화면에서 사라지는 경우가 발생합니다. 현재의 방법들은 랜드마크가 시야를 벗어났을 때 이를 인식하는 데 어려움을 겪으며, 이는 잠재적으로 잘못된 검출로 이어질 수 있습니다.

방법론
저자들은 오직 희소한 주석만을 사용하여 시간적으로 일관된 랜드마크 국지화를 달 수 있는 새로운 자기 지도 학습(self-supervised) 접근 방식을 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 통합됩니다:

1. 네트워크 아키텍처:

   • 시스템은 전역 풀링(global pooling)이 없는 ResNet 스타일의 완전 합성곱 신경망(CNN)을 사용하며, 소규모 배치 학습을 위해 GroupNorm을 활용합니다.
   • 네트워크는 채널 차원에 연속된 세 개의 프레임을 쌓아서 입력으로 처리합니다.
   • 이 모델은 이중 헤드 출력을 사용합니다: 특정 이미지 패치 내에 랜드마크가 존재할 확률을 예측하는 **분류 헤드(classification head)**와 패치 중심으로부터 랜드마크까지의 거리를 추론하는 **회귀 헤드(regression head)**입니다.
   • 최종 랜드마크 좌표는 분류 확률에 의해 가중치가 부여된 회귀 위치의 가중 평균으로 계산됩니다.

2. 시간적 일관성 손실(Temporal Consistency Loss):

   • 매끄러움을 강제하기 위해, 네트워크는 현재 프레임($t$)의 랜드마크 위치뿐만 아니라 인접 프레임($t-1$ 및 $t+1$)으로의 변위 벡터(displacement vectors)도 예측하도록 학습됩니다.
   • 자기 지도 학습 손실 항($L_{temp}$)이 도입되어, $t \pm 1$에서의 직접 예측 위치와 $t$에서의 예측값을 예측된 변위 벡터를 사용하여 전파(propagation)함으로써 얻은 위치 사이의 오차를 최소화합니다.
   • 이 손실은 표준 지도 학습 분류 및 회귀 손실과 결-합되며, 계수 $\beta = 0.5$에 의해 스케일링됩니다.

3. 시야 확장(Field-of-View Augmentation):

   • 누락된 랜드마크를 처리하기 위해, 훈련 파이프라인에는 현실적인 부채꼴 모양의 크롭(cropping) 및 회전 증강 기법이 포함됩니다.
   • 이러한 증강은 랜드마크가 초음파 시야 밖으로 이동하는 시나리오를 시뮬레이션합니다.
   • 훈련 중 랜드마크가 크롭되어 나간 경우, 해당 랜드마크의 분류 타겟은 무효화(0으로 설정)되며, 해당 패치에 대한 회귀 출력은 역전파(back-propagation)에서 제외됩니다.
   • 추론 시, 특정 임계값 미만으로 최대 분류 확률이 떨어지면 예측을 수행하지 않습니다.

주요 기여

• 자기 지도적 시간적 규제화(Self-Supervised Temporal Regularization): 밀집된 주석 없이도 인접 프레임 간의 일관성을 강제하는 손실 항을 도입하여, 효과적으로 랜드마크 궤적을 매끄럽게 만듭니다.
• 데이터 누락에 대한 견고성: 랜드마크가 시야를 벗어났을 때 위치를 환각(hallucination)하는 대신, 이를 인식하고 예측을 억제하도록 훈련하는 특정 시야 증강 전략을 구현했습니다.
• 희소 주석의 효율성: 본 방법은 오직 희소하게 주석된 프레임(수축기 말 및 이완기 말)만을 사용하여 높은 정확도를 달성함으로써, 밀집 레이블링 전략에 비해 주석 부담을 줄였습니다.

결과
본 방법은 공공 데이터셋인 CAMUS와 암스테르담 대학 의료 센터(AUMC)의 개인 데이터셋(심첨 2, 3, 4방실 뷰 포함)을 결합한 데이터셋을 통해 평가되었습니다.

• 국지화 정확도: 제안된 방법은 랜드마크 국지화에서 2.48 ± 0.07 mm의 평균 절대 오차(MAE)를 달しまいました.
• MAPSE 계산: MAPSE의 MAE는 1.81 ± 0.14 mm로 나타났으며, 이는 베이스라인 방법(2.32 ± 0.14 mm, $p < 0.05$)보다 유의미한 개선을 보였습니다.
• 시간적 매끄러움: 평균 절대 저크(jerk, 궤적의 매끄러움을 측정하는 척도)가 3.18에서 0.98 mm/frame³로 감소하였으며, 이는 훨씬 더 생리학적으로 타당한 움직임 추적을 나타냅end.
• 누락된 랜드마크 인식: 모델은 증강된 데이터를 사용하여 테스트했을 때, 특정 시야 증강을 적용하지 않았을 때의 0.91과 비교하여 0.99의 ROC-AUC를 달성했습니다.
• 환상 크기: 랜드마크 간의 거리를 측정하는 오차는 2.46 ± 0.31 mm였습니다.

의의 및 주장
본 논문은 제안된 방법이 이전 방식들보다 기대되는 생리학적 행동에 더 잘 부합하는 견고한 자동 승모판 환상 추적 솔루션을 제공한다고 주장합니다. MAPSE 계산 오차를 약 0.5 mm 줄임으로써, 저자들은 이 방법이 사망 위험 증가와 관련된 임상적 컷오프 값인 9 mm 근처의 환자들에 대한 위험 계층화(risk stratification)를 개선할 수 있다고 제안합니다.

저자들은 광범위한 비교에 대해 신중한 입장을 유지하며, 본 결과가 이전 연구(예: Smistad 등)보다 우수해 보이지만 서로 다른 데이터셋을 사용했기 때문에 직접적인 비교는 어렵다고 언급했습니다. 또한, 본 방법이 특정 작업에 대해 최신 기술(state of the art)을 개선했음은 인정하나, 비디오 기반 랜드마크 검출의 다른 작업들에 대한 효능을 결정하기 위해서는 추가 연구가 필요하다고 밝혔습니다. 아울러, 누락된 랜드마크 인식이 자연적으로 발생하는 누락 랜드마크가 포함된 임상 데이터셋이 아닌 증강된 테스트 데이터에서 검증되었다는 점을 언급하며, 이를 향후 데이터 수집이 필요한 영역으로 식별했습니다.