A Composable Multimodal Framework for cine CMR-Text-Driven Prediction of Heart Failure Outcomes

기술 요약: 심부전 예후 예측을 위한 Cine CMR–텍스트 기반의 구성 가능 다중 모달 프레임워크

1. 문제 제기

심부전 (HF) 은 전 세계적 유병률이 증가하고 있으며 사망률이 높은 복잡하고 다인자적인 질환입니다. 딥러닝이 의료 영상 분석 및 임상 의사결정 지원을 발전시켰음에도 불구하고, 기존 접근법은 종종 단일 모달 데이터 (예: 영상 또는 임상 지표만 사용) 에 의존하여 부분적인 판단을 내립니다. 또한, 임상 기록에는 약물 병력, 처방전과 같은 풍부한 비정형 텍스트 데이터와 구조화된 수치 데이터가 포함되어 있으나, Cine Cardiac Magnetic Resonance (Cine CMR) 와 같은 고차원 영상과 결합하여 활용되는 경우는 드뭅니다. Cine CMR 시퀀스, 구조화된 임상 지표, 비정형 텍스트 기록과 같은 이질적인 데이터 소스를 체계적으로 통합하여 심부전 환자의 예후 예측, 위험 계층화, 그리고 개인화된 치료 계획을 개선할 수 있는 포괄적인 프레임워크에 대한 시급한 필요성이 있습니다.

2. 방법론: M-PRTM 프레임워크

저자들은 심부전 예후 예측을 위해 세 가지 서로 다른 데이터 모달을 융합하도록 설계된 **다중 모달 회복 후 추적 모델 (M-PRTM)**이라는 구성 가능 전략 프레임워크를 제안합니다.

데이터 모달:

• Cine CMR: 지연 조영 증강 (Late Gadolinium Enhancement) 을 통해 감지된 심근 섬유화를 포함한 해부학적 및 기능적 특징을 포착합니다.
• 수치 데이터: 인구통계학적 정보 (나이, 성별), 생체 신호 (심박수, 혈압), 그리고 실험실 지표 (예: ALT, LDL-C) 를 포함합니다.
• 텍스트 데이터: 약물 유형, 용량, 치료 단계 및 진단 레이블에 중점을 둔 비정형 의료 기록, 특히 처방 정보로 구성됩니다.

아키텍처:
각 모달에 대한 전문 하위 네트워크를 사용하고, 그 뒤에 동적 융합 메커니즘을 적용합니다:

1. 영상 분기 (DAE-Former): Cine CMR 분석을 위해 이중 주의 안내 효율적 트랜스포머 (DAE-Former) 를 활용합니다. 이 모델은 효율적 이중 주의 (EDA) 및 스킵 연결 교차 주의 (SCCA) 모듈을 갖춘 스킵 연결 인코더와 마스크 디코더를 통합합니다. 이 모델은 특히 심근 섬유화 영역을 분할하여 공간적 및 시간적 특징을 추출하는 역할을 합니다.
2. 수치 분기: ReLU 활성화 및 드롭아웃을 갖춘 완전 연결 네트워크 (MLP) 를 통해 임상 지표를 처리하여 입력을 256 차원 특징 공간으로 매핑합니다.
3. 텍스트 분기: 의료 기록 및 처방 기록을 토큰화하고 임베딩하기 위해 사전 훈련된 BERT 인코더를 사용합니다. 이후 완전 연결 계층이 768 차원 BERT 출력을 256 차원으로 축소하여 다른 모달과 정렬합니다.
4. 다중 모달 융합 (자기 추론 주의): 핵심 혁신은 자기 추론 주의 (Self-Reasoning Attention) 메커니즘입니다. 정적 융합과 달리, 이 모듈은 Query(Q), Key(K), Value(V) 행렬을 동적으로 계산하여 특정 예측 작업에 대한 각 모달의 의미적 관련성에 기반하여 적응형 가중치를 할당합니다. 이를 통해 모델은 실시간으로 중요한 정보를 우선시하여 (예: 심한 섬유증이 있는 환자의 경우 영상 가중치 증가, 복잡한 약물 변경 사항이 있는 경우 텍스트 가중치 증가) 최종 환자 표현을 "구성"할 수 있습니다.

훈련 및 검증:

• 데이터셋: 난징 드럼 타워 병원의 후향적 데이터로, 136 건의 Cine CMR 사례와 688 건의 구조화된 임상 기록으로 구성됩니다.
• 작업: 캐스케이드 예측 프레임워크입니다. 먼저, 이진 분류가 24 개월 내 주요 심혈관 및 뇌혈관 사건 (MACCE) 발생 확률을 예측합니다. 둘째, 보조 회귀 분기는 고위험 환자의 사건 발생 시간을 추정합니다.
• 손실 함수: 교차 엔트로피 (분류), Dice 손실 (섬유화 분할), 그리고 평균 제곱 오차 (사건 발생 시간 회귀) 를 결합한 복합 손실 함수입니다.
• 프로토콜: 엄격한 시간적 검열 (temporal censoring) 을 통해 예측이 퇴원 시점에 이용 가능한 데이터에만 기반하도록 보장합니다. 모달 마스킹을 통해 일부 환자에게 영상 데이터가 누락된 경우에도 전체 코호트 (n=688) 로 훈련이 가능합니다.

3. 주요 기여

• 구성 가능 다중 모달 프레임워크: Cine CMR, 구조화된 지표, 비정형 텍스트를 단일 예측 파이프라인으로 독특하게 통합한 M-PRTM 의 도입.
• 동적 주의 전략: 환자별 조건에 기반하여 모달을 적응적으로 재가중하는 자기 추론 주의 메커니즘의 개발로, 정적 융합 및 고정 가중치 기준선보다 우수한 성능을 발휘함.
• 전문 특징 추출: 심부전 예후에 맞게 특별히 조정된 정밀한 심근 섬유화 분할을 위한 DAE-Former 적용 및 임상 처방의 의미 추출을 위한 BERT 적용.
• 종합 평가: 섬유화 분할, 사건 예측, 위험 계층화, 그리고 사건 발생 시간 회귀를 포함한 여러 작업에 대한 검증.

4. 결과

연구는 독립 테스트 세트에서 다음과 같은 성능 지표를 보고합니다:

• 전체 정확도: 전체 다중 모달 M-PRTM 은 임상 결과를 예측하는 데 **96.5%**의 정확도를 달성하여 단일 모달 접근법 및 기준선보다 현저히 우수한 성과를 보였습니다.
• 모달 비교:
  • 텍스트 + Cine CMR + 수치: 96.5%
  • 텍스트 + Cine CMR: 94.0%
  • 텍스트 + 수치: 92.5%
  • Cine CMR + 수치: 86.5%
  • 참고: 텍스트 데이터 (처방전) 가 가장 지배적인 모달로 확인되었으며, 그 다음으로 Cine CMR 이 뒤를 이었습니다.
• 주의 할당: 자기 추론 주의 메커니즘은 평균적으로 텍스트 데이터에 약 55%, Cine CMR 에 30%, 수치 데이터에 **15%**의 가중치를 동적으로 할당했으나, 이는 적응적으로 변화했습니다 (예: 심한 섬유증이 있지만 지표는 안정적인 환자의 경우 Cine CMR 가중치가 82% 로 증가).
• 기준선 비교: M-PRTM (96.5% 정확도) 은 단순 다중 모달 네트워크 (74.8%) 와 MAGGIC 점수에 기반한 로지스틱 회귀 모델 (87.2%) 보다 현저히 우수한 성능을 보였습니다.
• 섬유화 분할: DAE-Former 구성 요소는 Dice 유사도 계수 (DSC) 72.32% 및 하우스도르프 거리 (HD) 21.66을 달성하여 TransUNet 및 HiFormer 를 능가했습니다.
• 사건 발생 시간 회귀: 보조 회귀 분기는 MACCE 사건 발생 시점을 예측하는 데 평균 절대 오차 (MAE) 14.3 일 및 $R^2$ 0.64를 달성했습니다.

5. 중요성 및 주장

본 논문은 M-PRTM 프레임워크가 포괄적인 예후 평가 및 개인화된 치료 계획을 지원함으로써 심부전 치료 최적화를 위한 확장 가능한 솔루션을 제공한다고 주장합니다.

• 포괄적 평가: 이질적인 데이터를 통합함으로써 단일 모달 시스템의 한계를 보완하고 더 정확한 임상 추론 과정을 제공합니다.
• 동적 적응성: 프레임워크의 구성 가능성은 개별 환자 조건에 적응할 수 있게 합니다 (예: 섬유화가 많은 경우 영상을 우선시하거나, 약물 관련 정보가 많은 경우 텍스트를 우선시함). 이는 정적 모델보다 더 신뢰할 수 있는 예측으로 이어집니다.
• 임상 유용성: 이 모델은 24 개월 위험 궤적을 생성하기 위해 환자 퇴원 시점에 배포되도록 설계되었습니다. 이는 임상가가 악화 가능성을 정량화하고 증상이 악화될 때까지 기다리는 대신 선제적 개입 (예: 조정된 추적 관찰 간격) 을 구현할 수 있게 합니다.
• 자원 최적화: 이 시스템은 저위험 환자에게 불필요한 의료 부담을 줄이고 자원을 고위험 개인에게 집중시킬 수 있는 위험 계층화를 지원합니다.

저자들은 데이터셋의 단일 센터 성격과 딥러닝의 "블랙박스"적 성격을 포함한 한계를 인정하며, 향후 연구는 임상 도입을 위한 다중 센터 검증 및 해석 가능성 향상에 초점을 맞춰야 한다고 명시합니다.