Learning to Unify Deformable Shape and Texture Representations for Cardiac Video Classification

기술 요약: 심장 비디오 분류를 위한 변형 가능한 형태 및 질감 표현의 통합 학습

문제 정의
심장 자기공명영상(CMR)의 자동 분류는 최근 딥러닝 모델들이 오로지 원시 이미지 강도(raw image intensities)에만 의존한다는 점 때문에 여전히 도전적인 과제로 남아 있다. 이러한 모델들은 시간적 의존성은 포착하지만, 근본적인 심근 변형(myocardial deformations)은 간과하는 경우가 많다. 심근병증이나 심근염과 같은 병리적 상태는 국소적인 벽 운동 이상 및 변화된 변형 패턴(strain patterns)으로 나타나며, 이는 기하학적으로 변형 필드(deformation fields)에 인코딩된다. 변형 가능한 형태 표현(deformable shape representations)이 신경 퇴행성 질환 분류에서 질감 특징을 보완하는 강력한 도구임이 입증되었으나, 이를 심장 비디오 분석으로 확장하는 것은 쉽지 않다. 기존 방법들은 일반적으로 단순 결합(concatenation)이나 요소별 덧셈(element-wise addition)을 통해 형태와 질감 특징을 결합한다. 이러한 접근 방식은 교차 모달리티 특징 의존성(cross-modal feature dependencies)을 모델링하지 못하며, 서로 다른 심장 단계의 진단적 중요성을 무시하고, 모든 시점에 대해 균일한 가중치를 적용함으로써 심근 운동과 이미지 강도 사이의 역동적인 상호작ло(interplay)를 놓치게 된다.

방법론: ShapeFuse
저자들은 변형 가능한 형태와 이미지 질감 표현을 공유 잠재 공간(shared latent space)에서 통합하는 프레임워크인 ShapeFuse를 제안한다. 이 아키텍처는 세 가지 주요 단계로 구성된다:

1. 특징 추출 (Feature Extraction):

   • 형태 표현 (Shape Representation): 형태 인코더-디코더 네트워크($\theta^E_S, \theta^D_S$)는 미분 가능한 등록 원리(Stationary Velocity Fields)를 사용하여 소스 프레임($I_0$)을 타겟 프레임($I_t$)에 정렬함으로써 프레임별 속도 필드($v$)를 추정한다. 이를 통해 잠재 기하 변형 특징($z_{vt}$)을 생성한다.
   • 질감 표현 (Texture Representation): 이미지 인코더($\theta^E_I$)는 원시 CMR 프레임으로부터 잠재 질감 특징($z_{ft}$)을 추출한다.

2. 잠재 형태 인식 특징 융합 (Latent Shape-Aware Feature Fusion):

   • 양방향 교차 모달리티 시간적 어텐션 (Bidirectional Cross-Modal Temporal Attention, BCTA): 정적인 융합 대신, ShapeFuse는 잠재 공간 내에서 양방향 어텐션 메커니즘을 사용한다. 각 모달리티(형태 및 질감)는 고유의 쿼리(query), 키(key), 값(value) 투영을 학습한다. 이를 통해 형태 시퀀스가 시간 전반에 걸쳐 관련 있는 질감 프레임에 주목(attend)할 수 있고, 그 반대의 경우도 가능하다. 이 메커니즘은 교차 단계 의존성(cross-phase dependencies)을 명시적으로 매개변수화하여, 각 모달리티가 시공간적 대응 관계에 따라 서로를 적응적으로 가중치 조절할 수 있게 한다.
   • 적응형 게이팅 (Adaptive Gating): 시점별 적응형 게이트($g_t$)는 형태와 질감 특징의 상대적 기여도를 동적으로 제어한다. 결합된 잠재 특징에 대한 시그모이드 함수를 통해 계산되는 이 게이트는, 모델이 형태와 질감을 대칭적으로 취급하는 대신 특정 심장 단계에서 어떤 모달리티가 더 정보가 많은지를 학습할 수 있게 한다.
   • 진단적 중요도 풀링 (Diagnostic Importance Pooling): 게이팅 메커니즘 이후, 학습된 시간적 풀링 전략(Bahdanau Attention 기반)이 융합된 시퀀스를 집계한다. 이는 균일한 시간적 풀링을 적용하는 대신, 진단적으로 중요한 시점(예: 수축기 정점)에 더 높은 가중치를 부여한다.

3. 훈련 전략 (Training Strategy):

   • 모델은 두 단계로 훈련된다. 먼저, 형태 네트워크는 등록 손실(이미지 불일치와 속도 필드의 매끄러움을 결합)을 최소화하도록 최적화된다. 둘째, 형태 인코더를 고정(frozen)한 상태에서 이미지 인코더, 어텐션 모듈, 게이팅 메커니즘, 풀링 전략 및 분류기를 공동으로 최체화(BCE loss 사용)한다.

주요 기여
본 논문은 세 가지 주요 기여를 주장한다:

1. 양방향 교차 모달리티 시간적 어텐션: 단순한 결합을 넘어, 심장 주기 동안 잠재적인 변형 가능한 형태와 질감 표현 사이의 상호 의존성을 학습하는 메커니즘을 제공한다.
2. 적응형 융합 및 풀링: 각 심장 단계에서 형태와 질감의 기여도를 동적으로 가중치 조절하는 게이팅 전략과, 진단적으로 유의미한 시점을 우선시하는 학습된 시간적 풀링을 결합하였다.
3. 최첨단 성능 및 해석 가능성: 실제 cine CMR 비디오에서의 우수한 분류 성능을 입증하였으며, 어텐션 맵을 통해 진단적으로 중요한 단계와 모달리티 기여도를 국소화하여 이를 뒷받침한다.

실험 결과
프레임워크는 125명의 피험자로부터 얻은 510개의 cine CMR 비디오 시퀀스(심근 흉터로 인한 벽 운동 이상 클래스 불균형 포함) 데이터셋을 통해 평가되었다.

• 분류 성능: ShapeFuse는 다양한 이미지 인코더 백본(ResNet, EfficientNet, DenseNet, ViT)과 등록 네트워크(VoxelMorph 및 TLRN)에 대해 경쟁 융합 전략(덧셈, 결합, 가중치, 바이리니어 및 표준 어텐션 융합 포함)보다 일관되게 우수한 성능을 보였다. 예를 들어, ResNet 백본과 VoxelMorph 등록을 사용했을 때, ShapeFuse는 정확도 0.888, F1-score 0.902를 달 기록하며, 가장 우수한 베이스라인인 Weighted fusion(0.832/0.857)을 능가했다.
• 해석 가능성: Grad-CAM 시각화 결과, ShapeFuse는 시간 경과에 따라 심근 영역을 일관되게 강조한 반면, 베이스라인 방법들은 확산되거나 일관되지 않은 활성화를 보였다.
• 어텐션 분석: 학습된 어텐션 맵은 변형 특징이 수축기 중기(mid-systolic)의 질감 프레임에 지속적으로 주목하는 반면, 질감 표현은 위상 정렬된 기하학적 맥락을 찾는다는 것을 보여주었다. 적응형 게이팅 분포는 질감 표현이 기하학적 근거(geometric grounding)로부터 상당한 이득을 얻음을 나타냈다.

의의
본 논문은 ShapeFuse가 심장 비디오 분류를 위해 공유 잠재 공간에서 변형 가능한 형태와 질감 표현의 융합을 공동으로 학습하는 최초의 프레임워크라고 주장한다. 단순한 나이브 융합을 동적인 교차 모달리티 어텐션과 적응형 게이팅으로 대체함으로써, 이 방법은 정적인 접근 방식이 놓치는 보완적인 생리학적 정보를 포착한다. 저자들은 이것이 최첨단 분류 성능과 향상된 해석 가능성으로 이어진다고 주장하며, 어텐션 메커니즘이 진단에 가장 중요한 특정 심장 단계와 모달리티 기여도를 성공적으로 식별해 낸다는 점을 강조한다. 향후 연구로는 멀티 라벨 병리 분류로의 확장과 라벨링된 데이터에 대한 의존도를 줄이기 위한 자기 지도 학습(self-supervised pretraining) 탐색이 제안되었다.