기술 요약: 모델링 및 획득 가변성 제어를 위한 메타데이터 지도 학습 기반 영상 표현법

문제 정의

생체 의학 영상, 특히 자기공명영상(MRI)은 상당한 획득 가변성(acquisition variability) 문제를 겪고 있다. 동일한 생물학적 구조라도 영상 장치, 획득 프로토콜, 촬영 사이트 및 재구성 설정의 변화에 따라 현저히 다르게 나타날 수 있다. 이러한 "획득 시프트(acquisition shift)"는 학습된 표현이 기저의 생물학적 정보와 획득 의존적 외형을 뒤섞이게 만들어, 모델의 해석 가능성, 일반화 능력, 그리고 다양한 스캐너 및 기관 간의 임상적 배포를 제한한다.

이 문제에 대한 기존 접근 방식은 일반적으로 도메인 일반화(불변 특징 학습)나 영상 조화(도메인 간 외형 변환)를 통해 획득 가변성을 제거해야 할 노이즈 요인으로 취급한다. 그러나 이러한 방법들은 MRI의 가변성이 영상 형성 과정의 물리적이고 의미 있는 결과라는 점을 간과하는 경우가 많다. 또한, 일상적인 임상 영상은 이러한 물리적 파라미터(예: 에코 시간, 반복 시간, 스캐너 제조사)를 설명하는 풍부한 DICOM 메타데이터를 생성하지만, 이 정보는 대규모 아카이브에서 종종 활용되지 않거나 신뢰할 수 없는 것으로 취급된다. 따라서 해부학적 구조를 획득 의존적 대비(contrast)와 분리하고, 메타데이터를 활용하여 이 가변성을 모델링, 감사 및 제어할 수 있는 프레임워크가 필요하다.

방법론: MaRaI 프레임워크

저자들은 MaRaI(Multimodal Acquisition-aware Radiology AI)를 소개한다. 이 프레임워크는 DICOM 메타데이터를 단순한 보조 레이블이 아니라, 얽힘이 해제된 표현(disentangled representations)을 학습하기 위한 구조화된 감독 신호로 취급한다. 프레임워크는 공통된 표현 공간을 공유하는 두 가지 주요 구성 요소로 이루어져 있다.

1. MR-CLIP: 메타데이터 지도 학습 기반 대조 학습

MR-CLIP은 DICOM 획득 태그로부터 구축된 자연어 프롬프트와 MRI 볼륨을 정렬한다. 이를 위해 지도 대조 목적 함수(supervised contrastive objective)를 사용한다.

• 메타데이터 처리: 수치형 파라미터(에코 시간[TE], 반복 시간[TR], 반전 시간[TI])는 빈(bin)으로 이산화하며, 범주형 태그(스캐너, 시퀀스 유형)는 그룹화한다. 이들은 구조화된 텍스트 프롬프트로 구성된다.
• 대조 목적 함수: 모델은 양방향 지도 대조(SupCon) 손실을 사용하여, 피험자의 정체성이나 해부학적 구조와 관계없이 동일한 획득 프로토콜(대비 인식 레이블)을 공유하는 볼륨들을 서로 가깝게 만들고, 서로 다른 프로토콜을 가진 볼륨들은 멀어지도록 한다.
• 아키텍처: 프레임워크는 2D(슬라이스 기반), 2.5D(슬라이스 집합 기반), 3D(볼륨형) 비전 트랜스포머(ViT) 인코더를 지원한다.
• 출력: 결과적인 임베딩은 대비(contrast)를 하나의 구조화된 변수로 포착하여, 교차 모달 검색, 퓨샷(few-shot) 시퀀스 분류, 품질 관리를 가능하게 한다.

2. DIST-CLIP: 해부학-대비 요인 분해 및 조화

DIST-CLIP은 사전 학습된 MR-CLIP 임베딩을 활용하여 각 스캔을 **획득 불변 해부학적 맵($\beta$)**과 **대비 표현($\theta$)**으로 분해한다.

• 얽힘 해제(Disentanglement): U-Net "해부학 매퍼(Anatomy Mapper)"는 대비 특유의 강도 패턴을 억제하면서 조직 경계와 전역 형태를 보존하며 원본 영상으로부터 $\beta$를 추출한다.
• 스타일 융합 디코더: 새로운 아키텍처는 해부학적 맵 $\beta$와 타겟 대비 코드 $\theta$를 융합하여 조화된 영상을 합성한다.
  • 조건화(Conditioning): 타겟 대비는 참조 영상($\theta_i$)으로부터 유도되거나 메타데이터($\theta_m$)로부터 직접 유도될 수 있다.
  • 메커니즘: 디코더는 **적응형 인스턴스 정규화(AdaIN)**와 교차 주의 집중(cross-attention) 메커니즘을 채택한다. MLP는 대비 임베딩을 스타일 쿼리로 매핑하며, 이는 멀티 헤드 어텐션과 채널 단위 스케일링/시프트 파라미터를 통해 디코더 특징을 조절한다. 이를 통해 구조 보존형 외형 전이가 가능하다.
• 학습: 모델은 재구성($L_{rec}$), 지각($L_{perc}$), 적대적($L_{adv}$), 패치 수준 대조 정렬($L_\beta$), 전역 스타일 일관성($L_{global}$), 방향성 일관성($L_{dir}$) 손실을 포함하는 복합 손실 함수로 학습된다.

주요 기여

1. 임상적 관련성을 갖춘 해부학-대비 얽힘 해제: 저자들은 DIST-CLIP으로부터 유도된 해부학적 맵이 프로토콜 간의 조직 형태 측정(morphometry)에서 획득 주도 가변성을 감소시킨다는 것을 입증했다. 결정적으로, 이러한 표현은 원본 MRI에 비해 ADNI 데이터셋에서의 교차 벤더 알츠하이머병(AD) 분류 성능을 향상시켜, 명시적인 얽힘 해제가 시각적 일관성을 넘어 측정 가능한 임상적 이점을 제공함을 보여준다.
2. 대비 및 사이트 전반의 통합 조화: 프레임와는 단일 모델을 통해 모든 주요 뇌 MRI 대비(예: T1w, T2w, FLAIR, PD) 및 스캐너에 대해 고충실도 조화를 수행한다. 단일 학습 가중치 세트를 사용하여 이미지 가이드 모드와 메타데이터 조건화 모드를 모두 지원하며, 특정 프로토콜의 참조 스캔 없이도 합성을 가능하게 한다.
3. 메타데이터 기반 대비 인식 표현 학습: 이질적인 DICOM 파라미터를 구조화된 감독 신호로 이산화함으로써, 저자들은 대규모 지도 대조 학습을 가능하게 했다. 결과적인 MR-CLIP 임베딩은 검색 및 퓨샷 분류 작업에서 지도 학습 기반 베이스라인을 능가하며, 획득 메타데이터가 대규모 임상 아카이브를 효과적으로 구조화할 수 있음을 입증했다.

결과

논문은 King's College Hospital, Guy's and St Thomas', ADNI, OASIS-3, 그리고 ON-Harmony travelling-heads 데이터셋의 광범위한 임상 뇌 MRI 데이터를 통해 프레임워크를 검증한다.

• 획득 가변성 억제: 해부학적 표현($\beta$)은 조직 분할에 대해 유사한 Dice 중첩을 유지하면서도, 원본 MRI에 비해 현저히 낮은 시퀀스 간 부피 변동 계수(CV)를 보였다. 교차 벤더 AD 분류(Siemens에서 GE로)에서 $\beta$-입력을 사용한 모델은 원본 MRI를 사용한 모델보다 더 높은 균형 정확도(0.65 대 0.60)를 달아 스캐너 시프트에 대한 민감도가 감소했음을 나타냈다.
• 조화 성능:
  • 픽셀 충실도: DIST-CLIP 변체는 교차 대비 변환 작업(예: T2w $\to$ PDw)에서 HACA3 및 TUMSyn보다 우수한 SSIM 및 PSNR을 달성했다.
  • 해부학적 일관성: 홀드아웃 임상 데이터에서, DIST-CLIP으로 조화된 출력은 HACA3(0.70) 및 TUMSyn(0.38)에 비해 유의미하게 높은 뇌 파셀레이션(parcellation) Dice 점수(0.78)를 기록했다.
  • 다운스트림 유용성: ON-Harmony 데이터셋에서, 조화된 데이터는 사이트 분류 정확도를 0.79에서 0.42로 낮추어(스캐너 지문 제거를 나타냄) 뇌 연령 예측 성능(MAE ~8.89년)을 유지하면서도, 베이스라인들이 스캐너 시그니처를 제거하지 못하거나 생물학적 신호를 저하시킨 것과 대조적인 결과를 보였다.
• 메타데이터 유용성:
  • 검색 및 분류: MR-CLIP은 교차 모달 검색에서 높은 재현율(예: 스캔-메타데이터 recall@1 78.7%)을 달성했으며, 퓨샷 시퀀스 분류에서 엔드 투 엔드 3D ResNet을 크게 앞질렀다.
  • 품질 관리: 프레임워크는 이미지와 메타데이터 임베딩 간의 코사인 유사도를 측정함으로써 합성된 메타데이터 오염(수치 오류, 잘못된 태그, 누락된 필드)을 성공적으로 탐지했다. 50% 오염율에서, 시스템은 대규모 누락 태그 및 수치 오류 탐지에 대해 거의 완벽한 AUC(0.997)를 달了했다.

의의 및 주장

본 논문은 획득 가변성이 단순한 노이즈가 아니라 영상 형성 과정의 구조화된 구성 요소이며, 이를 모델링, 감사 및 제어할 수 있다고 주장한다. DICOM 메타데이터를 활용함으로써 MaRaI는 다음을 위한 토대를 제공한다.

• 강건한 임상 AI: 실제 병원 데이터의 이질성에 탄력적인 시스템.
• 제어된 합성: 특정 프로토콜의 참조 스캔 없이도 프로토콜 사양에 기반하여 타겟 외형을 생성하는 능력.
• 데이터 감사: 대규모 아카이브에서 메타데이터-영상 불일치를 자동 탐지하여 다기관 임상 시험을 위한 데이터 품질 보증의 핵심 루프를 완성함.

저자들은 이 연구를 영상 형성의 물리학을 명시적으로 고려하는 "획득 인식 기초 모델(acquisition-aware foundation models)"을 향한 단계로 위치시키며, 도메인 시프트를 피할 수 없는 한계로만 취급하는 것을 넘어선다고 강조한다. 또한 현재 프레임워크가 성인 뇌 MRI에 집중되어 있으며, 병리 및 움직임 아티팩트가 획득 요인과 아직 완전히 분리되지 않았음을 인정하며, 이를 삼요소 분해(tri-factor decomposition)를 위한 자연스러운 다음 단계로 제시한다.