기술 요약: 다중 시퀀스 뇌 MRI를 위한 모달리티 결손 강건 표현 네트워크 (MMR-Net)

1. 문제 정의

다중 시퀀스 뇌 자기공명영상(MRI)은 견고한 뇌 특성화를 위해 필수적인 해부학적 및 생리학적 보완 정보를 제공한다. 그러나 임상 및 연구 환경 모두에서 획득 제약, 환자의 움직임 또는 다양한 연구 설계로 인해 모달리티가 누락되는 경우가 빈번하다. 기존의 딥러 학습 모델은 완전한 입력 모달리티를 가정하는 경향이 있으며, 단 하나의 시퀀스만 부재하더라도 성능이 크게 저하된다. 제로 패딩(zero-padding)이나 평균 임퓨테이션(mean imputation)과 같은 일반적인 완화 전략은 아티팩트와 가짜 상관관계를 유발하여 예측 정확도를 더욱 저해할 수 있다. 또한, 현재의 아키텍처는 서로 다른 모달리티 가용 시나리오 간의 표현 안정성을 거의 강제하지 않으며, 이는 피험자의 특징 표현이 어떤 시퀀스가 존재하는지에 따라 크게 변하게 만든다.

2. 방법론

저자들은 공개된 IXI 데이터셋을 사용하여 완전한 모달리티 조건과 불완전한 모달리티 조건 모두에서 안정적인 성능을 유지하도록 설계된 프레임워크인 **모달리티 결손 강건 표현 네트워크(MMR-Net)**를 제안한다. 이 아키텍처는 다섯 가지 주요 구성 요소로 이루어져 있다:

• 모달리티 특화 인코더 (Modality-Specific Encoders): 공유된 백본을 갖되 모달리티별 배치 정규화(batch normalization)와 초기 레이어를 가진 3D 합성곱 신경망(CNN) 세트이다. 이 인코더들은 T1 가중, T2 가중, 양성자 밀도(PD), 그리고 TOF-MRA(time-of-flight magnetic resonance angiography) 시퀀스의 뚜렷한 영상 특성을 보존한다. 첫 두 개의 합성곱 블록은 모달리티 특화적이며, 마지막 두 블록은 고수준 특징 추출의 공통성을 강제하기 위해 가중치를 공유한다.
• 모달ity 토큰화 (Modality Tokenization): 각 인코더로부터 나온 고차원 특징 맵은 겹치지 않는 영역으로 분할되고 풀링되어 압축된 토큰 세트(모달리티당 64개 토큰)를 생성하며, 이는 256 차원의 공통 임베딩 차원으로 투영된다.
• 교차 모달 토큰 융합 (Cross-Modal Token Fusion): 가용성 인식 어텐션(availability-aware attention) 메커니즘을 활용하는 핵심 혁신 기술이다. 이 모듈은 현재 사용 가능한 모달리티 세트에 따라 정보를 동적으로 집계한다. 이는 존재하는 모달리티로부터만 쿼리(query), 키(key), 값(value)을 계산하여 결손된 입력이 융합 과정에 기여하는 것을 방지한다. 이를 통해 모델은 추론 시 아키텍처 변경 없이 임의의 결손 패턴에 적응할 수 있다.
• 공유 잠재 공간 투영 (Shared Latent Space Projection): 다층 퍼셉트론(MLP)은 융합된 교차 모달 토큰을 128차원 특징 벡터로 매핑한다. 이 표현은 모달리티 가용성에 불변하도록 설계되어, 모달리티가 누락되거나 완전하더라도 피험자에 대한 잠재 벡터가 일관되게 유지되도록 한다.
• 태스크 특화 예측 헤드 (Task-Specific Prediction Heads): 연령 회귀(선형 레이어), 성별 분류(시그모이드 활성화), 그리고 적대적 사이트 디바이아싱(adversarial site debiasing)을 처리하는 별도의 헤드들이다. 디바이아싱 헤드는 획득 센터를 예측하는 그래디언트 역전 레이어(gradient reversal layer)를 사용하여, 인코더가 센터별 정보를 학습하지 않도록 하여 교차 센터 일반화 능력을 향상시킨다.

훈련 전략 및 목적 함수:
네트워크는 각 에포크마다 무작위 모달리티 서브셋을 제외하여 현실적인 결손 시나리오를 시뮬레이션하는 모달리티 드롭아웃(modality dropout) 전략을 사용하여 훈련된다. 최적화 목적 함수는 다음의 가중 합계이다:

1. 연령 회귀 손실 (Age Regression Loss): 이상치에 대한 강건성을 위한 Smooth L1 손실.
2. 성별 분류 손실 (Sex Classification Loss): 이진 교차 엔트로피.
3. 적대적 사이트 손실 (Adversarial Site Loss): 사이트 분류를 위한 교차 엔트로피이며, 역전파 시 역전된다.
4. 표현 일관성 손실 (Representation Consistency Loss): 동일 피험자에 대한 완전한 모달리티 통과와 결손 모달리티 통과 간의 제곱 유클리드 거리.
5. 예측 일환성 손실 (Prediction Consistency Loss): 완전한 모달리티 통과와 결손 모달리티 통과 간의 연령 예측값의 절대 차이.

3. 주요 기여

• 강건한 아키텍처: 추론 시 임퓨테이션이나 아키텍처 수정 없이 임의의 결손 패턴을 동적으로 처리하는 가용성 인식 어텐션을 갖춘 교차 모달 토큰 융합 모듈의 도입.
• 일관성 제약: 완전한 모달리티와 결손 모달리티 입력 간의 표현 및 예측 일관성을 명시적으로 강제하여, 데이터 가용성에 관계없이 안정적인 특징 추출을 보장함.
• 모달리티 드롭아웃 훈련: 훈련 중에 가능한 모든 비어 있지 않은 모달리티 서브셋을 시뮬레이션함으로써 네트워크가 강건한 표현을 학습하도록 강제하는 훈련 전략.
• 적대적 사이트 디바이아싱: 그래디언트 역전 레이어를 통합하여 스캐너 특유의 편향을 줄이고, 서로 다른 획득 센터 간의 일반화 성능을 높임.
• 재현성: 본 연구는 공용 IXI 데이터셋만을 사용하여 새로운 윤리적 승인 요구 사항을 피하고 방법론과 결과의 완전한 재현성을 보장함.

4. 실험 결과

모델은 IXI 데이터셋(약 600명의 건강한 피험자)에 대해 네 가지 설정(완전한 모달리티, 단일 모달리티 결손, 두 개 모달리티 결손, 단일 모달리티 전용)에서 평가되었다. 태스크에는 연령 회귀(주 태스크)와 성별 분류(보조 태스크)가 포함되었다.

• 완전한 모달리티 (Complete Modality): MMR-Net은 연령 회귀에서 3.42년의 평균 절대 오차(MAE)를 달성하여, 차순위 베이스라인(Transformer Fusion, 3.78년)보다 우수한 성능을 보였다.
• 단일 모달리티 결손 (Single-Modality Missing): 이 방법은 탁월한 강건성을 입증했다. 예를 들어, T1이 결손되었을 때 MMR-Net의 MAE는 단 8.5% 증가(3.71년)한 반면, Transformer Fusion 베이스라인은 19.6% 하락했고, 제로 필링(zero-filling) 베이스라인은 28.7% 하락했다.
• 두 개 모달리티 결손 (Two-Modality Missing): 가장 까다로운 시나리오(T1 및 T2 결손)에서 MMR-Net은 4.45년의 MAE(상대적 하락폭 30.1%)를 기록하여, Transformer Fusion 베이스라인(62.0% 하락)과 제로 필링 베이스라인(95.2% 하락)을 크게 앞질렀다.
• 단일 모달리티 전용 (Single-Modality Only): 단 하나의 모달리티만 사용 가능한 경우에도, MMR-Net은 해당 단일 모달리티로만 훈련된 베이스라인(예: T1 전용 베이스라인의 MAE 4.85년 대비 T1만 사용 시 4.18년)보다 우수한 성능을 보였다.
• 교차 센터 일반화 (Cross-Center Generalization): Leave-one-center-out 실험에서 적대적 디바이아싱 구성 요소는 홀드아웃 센터에서의 MAE를 4.67년에서 3.98년으로 감소시켜 (14.8% 개선) 효과를 입증했다.

통계적 분석(paired t-test) 결과, MMR-Net은 모든 결손 모달리티 설정에서 모든 베이스라인을 유의미하게 능가하였으며(p < 0.01), 효과 크기는 중간에서 매우 큰 수준에 달했다.

5. 의의 및 주장

본 논문은 MMR-Net이 흔히 간과되는 중요한 과제인 모달리티 결손 문제를 효과적으로 해결하여, 다중 시퀀스 뇌 MRI 분석을 위한 일반화 가능한 도구를 제공한다고 주장한다. 임의의 결순 패턴 하에서도 안정적인 성능을 유지함으로써, 이 프레임워크는 획득 프로토콜이 다양하거나 불완전한 임상 현장에서 실질적인 가치를 제공한다.

저자들은 본 연구가 건강한 피험자의 데이터를 대상으로 하며 침술 중재를 포함하지 않지만, 본 방법론이 비약물적 신경 조절(non-pharmacological neuromodulation), 즉 침술 효과에 대한 종단적 다중 시퀀스 추적 조사를 포함한 미래 연구에 유효하다고 명시한다. 이러한 연구에서는 획득상의 어려움으로 인해 시퀀스가 누락될 수 있는데, MMR-Net은 불완전한 데이터를 가진 피험자를 제외하지 않고도 포괄적인 분석을 가능하게 할 수 있다. 공공 데이터를 사용함으로써 본 연구는 오픈 사이언스 원칙을 준수하며 새로운 윤리적 승인의 필요성을 피했다.

저자들은 한계점으로 건강한 피험자로 국한된 점, 주요 실험에서 확산 강조 영상(diffusion-weighted imaging)의 활용 미흡, 그리고 환자의 특성과 상관관계가 있는 비무작위 결손(non-random missingness)이 아닌 무작위 결손을 가정했다는 점을 인정하였다. 향aff future work로는 질병 코호트로 검증을 확장하고 확산 지표를 통합하는 것이 제시되었다.