Multimodal synthesis of MRI and tabular data with diffusion in a joint latent space via cross-attention

기술 요약: 교차 주의를 통한 공동 잠재 공간 내 MRI 및 표형 데이터의 확산 기반 다중 양식 합성

문제 제기
의료 AI 응용 분야는 고차원 입체 영상 (예: MRI) 과 이질적인 표형 임상 데이터 (인구통계, 인체계측, 검사 수치) 를 통합한 포괄적인 환자 프로필을 점점 더 요구합니다. 생성 모델이 두 영역 모두에서 독립적으로 크게 발전했음에도 불구하고, 이러한 양식의 일관된 합성 쌍을 생성하는 것은 여전히 어렵습니다. 확산 모델과 같은 딥러닝 아키텍처는 영상 처리에 뛰어나지만 혼합 유형의 표형 데이터에는 어려움을 겪는 반면, 트리 기반 모델은 표형 데이터 처리에는 탁월하지만 영상 생성 능력은 부족합니다. 기존 다중 양식 접근법은 종종 순차적 단방향 파이프라인 (예: 먼저 표형 데이터를 생성한 후 이를 조건부로 영상 생성) 에 의존하는데, 이는 제한된 양방향성, 손상된 양식 간 의존성 모델링, 그리고 오류 전파의 문제를 겪습니다. MRI 와 표형 데이터를 통합된 프레임워크 내에서 공동으로 합성할 수 있는 엔드 - 투 - 엔드 아키텍처는 부재합니다.

방법론
저자들은 입체 MRI 와 표형 임상 데이터를 융합하기 위해 공유 잠재 공간 내에서 작동하는 다중 양식 잠재 확산 모델 (LDM) 을 제안합니다. 이 아키텍처는 두 가지 주요 단계로 구성됩니다:

1. 양식 융합을 위한 변분 오토인코더 (VAE):

   • 인코더: 모델은 이미지 도메인 ($D_{img}$) 과 표형 도메인 ($D_{tab}$) 의 고차원 데이터를 저차원 공동 잠재 다양체 (manifold) 로 매핑하기 위해 VAE 를 활용합니다.
   • 표형 처리: 수치 및 범주형 특징은 토큰화되어 TabSyn 과 유사한 별도의 학습 가능 임베딩 방식을 통해 처리되며, 이질적인 변수들을 통합된 벡터 공간으로 매핑합니다.
   • 영상 처리: 3D 컨볼루션이 MRI 볼륨에서 공간 특징을 추출합니다.
   • 융합: 교차 주의 (cross-attention) 메커니즘이 인코더 내에서 표형 임베딩과 영상 특징을 통합하여 공동 잠재 표현을 생성합니다.
   • 디코더: 각 양식에 적합한 재구성을 보장하기 위해 각 양식별로 별도의 디코더를 사용합니다. 영상 재구성은 3D 컨볼루션을 사용하고, 표형 재구성은 트랜스포머를 사용합니다.
   • 손실 함수: VAE 는 엄격한 가우시안 잠재 구조를 강제하기보다는 고충실도 재구성을 우선시하도록 훈련됩니다. 손실 함수는 이미지에 대해서는 L1, 지각, 적대적 손실을 포함하고, 표형 데이터에 대해서는 평균 제곱 오차 (MSE) 와 교차 엔트로피를 포함하며, 정규화를 위해 Kullback–Leibler (KL) 발산 항을 포함합니다.

2. 합성을 위한 확산 모델:

   • VAE 가 수렴하면, 계산 복잡성을 줄이기 위해 원시 픽셀 공간이 아닌 융합된 잠재 공간에서 디노이징 확산 확률 모델 (DDPM) 을 훈련합니다.
   • 모델은 선형 베타 스케줄로 훈련된 U-Net 아키텍처를 사용합니다.
   • 샘플링은 결정론적 생성을 가능하게 하고 단계를 줄여주는 디노이징 확산 암시적 모델 (DDIM) 궤적을 사용하여 가속화됩니다.

실험 설정
본 프레임워크는 10,748 명의 참가자로 구성된 독일 국가 코호트 (NAKO) 데이터를 사용하여 평가되었습니다.

• MRI 데이터: 3T 스캐너에서 촬영된 축방향 T1 가중 VIBE 시퀀스 (상반 위상 대비) 로, $160 \times 160 \times 128$ 볼륨으로 재샘플링되었습니다.
• 표형 데이터: 특징으로는 나이, 성별, 키, 체중, BMI, 체지방 비율, 인종이 포함되었습니다.
• 분할: 90% 훈련, 10% 테스트.

주요 결과

• MRI 합성: 모델은 합성된 표형 속성과 일관된 해부학적으로 타당한 MRI 볼륨을 생성했습니다 (예: 생성된 BMI 와 성별에 부합하는 체성분). 범용 의료 사전 훈련 모델 (UMedPT) 임베딩을 사용한 정량적 평가 결과 프레셰트 거리 (FD) 가 1.54였습니다. 이미지 충실도는 $\alpha$-정밀도 (0.871) 와 $\beta$-재현율 (0.183) 로 평가되었습니다.
• 표형 합성: 다중 양식 LDM 은 단일 양식 베이스라인인 TabSyn(최첨단 확산), CTGAN, TVAE와 비교되었습니다.
  • 예상대로, 공동 MRI-표형 일관성의 제약을 받지 않는 단일 양식 TabSyn 이 모든 지표에서 최고의 점수를 기록했습니다.
  • 그러나 다중 양식 LDM 은 CTGAN 과 TVAE 에 대해 경쟁력 있는 성능을 보였으며, 평균 단변수 적합도를 제외한 모든 지표에서 CTGAN 을 능가했습니다.
  • 모델은 GAN 기반 베이스라인에 비해 더 낮은 **상관 거리 (0.035)**를 달성하여 데이터 내 의존성을 포착하는 능력이 우수함을 나타냈습니다.
  • $\alpha$-정밀도 (0.562) 는 CTGAN (0.127) 과 TVAE (0.260) 를 크게 상회하여 더 나은 샘플 충실도를 시사했습니다.

의의 및 주장
저자들은 이 연구가 단일 잠재 확산 프레임워크에서 MRI 와 혼합 유형 표형 데이터를 공동으로 모델링하는 타당성을 처음으로 입증했다고 주장합니다.

• 개념 증명: 본 연구는 순차적 파이프라인을 넘어 공동 생성 전략으로 이동하는 일관된 합성 다중 양식 환자 데이터 생성에 대한 개념 증명을 확립합니다.
• 디지털 트윈: 이 접근법은 합성 코호트에서 환자 프로필을 더 포괄적으로 표현함으로써 의료 분야에서 고충실도 디지털 트윈 개발이라는 더 넓은 목표와 부합합니다.
• 향후 방향: 저자들은 결과가 유망하지만, 특히 단변수 분포 모델링과 다양성과 관련하여 전문 단일 양식 모델과의 성능 격차를 해소하기 위해 추가 정교화가 필요하다고 지적합니다. 향후 연구는 교차 양식 결측치 대체 및 양식 조건부 생성과 같은 양방향 워크플로우를 가능하게 하는 통합 트랜스포머 아키텍처를 통합하는 것을 목표로 합니다.