Modeling Local, Global, and Cross-Modal Context in Multimodal 3D MRI

기술 요약: 멀티모달 3D MRI에서의 국소적, 전역적 및 교차 모달 컨텍스트 모델링

문제 정의
뇌 MRI 분석은 머신러닝에 있어 근본적인 과제를 제시한다: 모델은 해부학적 및 병리학적 다양성에 비해 표본 크기가 제한적인 상황에서도, 여러 가지 공-등록된 모달리티(예: T1, FLAIR, DWI, SWI)를 아우르는 고차원 3D 데이터로부터 학습해야 한다. 멀티모달 이미징은 임상적 해석에 필수적인 상호 보완적 정보를 제공하지만, 이러한 신호들을 효과적으로 통합하는 것은 여전히 어렵다. 기존의 접근 방식들은 두 가지 주요 한계점에 직면해 있다:

1. 명시적 분리(Disentanglement)의 부재: 많은 아키텍처가 모달리티 내부(intra-modality, 단일 모달리티 내)와 교차 모달리티(cross-modality, 모달리티 간) 처리를 명시적으로 분리하는 데 실패한다. 초기 융합(early fusion) 전략은 모달리티 특이적 신호를 뒤섞는 경향이 있으며, 후기 융합(late fusion) 전략은 교차 모달 의존성을 충분히 활용하지 못한다.
2. 컨텍스트 모델링의 격차: 2D 유니모달 아키텍처가 국소적 및 전역적 컨텍스트를 공동으로 모델링하는 것의 중요성을 입증했음에도 불구하고, 이러한 설계는 멀티모달 3D MRI로 확장되는 경우가 드물다. 이는 미세한 해부학적 구조와 전역적 패턴을 모달리티 전반에 걸쳐 함께 포착하는 능력을 제한하며, 이는 국소적 소견이 전역적 뇌 해부학 내에서 맥락화되어야 하는 방사선학적 추론에 필수적인 능력이다.

방법론: 멀티모달 내·교차 컨텍스트 비전 트랜스포머 (MICViT)
저자들은 모달리티 특이적 표현과 국소 및 전역 컨텍스트 전반의 교차 모달 상호작용을 명시적으로 모델링하도록 설계된 3D 비전 트랜스포머인 MICViT를 제안한다. 이 아키텍처는 모달리티 특이적 3D 패치 임베딩 스템을 통해 볼륨 입력($B \times M \times H \times W \times D$)을 처리한 후, 네 가지 별도의 어텐션 메커니즘을 포함하는 단일 블록 아키텍처를 통과한다:

1. 분리된 국소(Separated Local, SL) 어텐션: 각 모달리티 및 공간적 윈도우($W_d \times W_h \times W_w$) 내에서 독립적으로 국소 셀프 어텐션을 적용한다. 이는 상호 작용을 인접한 공간적 패치로 제한하여 모달리티 특이적인 미세한 세부 사항을 보존하기 위해 교차 모달 교환을 방지한다. 또한 3D 상대적 위치 인코딩을 활용한다.
2. 분리된 전역(Separated Global, SG) 어텐션: 멀티모달 3D 환경으로 전역 어텐션을 확장한다. 이는 각 로컬 윈도우가 동일한 모달리티 내에서 전역 컨텍스트에 접근할 수 있도록 모달리티 특이적인 전역 쿼리 토큰을 생성한다. 이를 통해 모달리티를 섞지 않고도 거친 해부학적 조직화를 포착한다.
3. 교차 국소(Cross Local, CL) 어텐션: 국소 공간 윈도우 내에서 모달리티 간의 상호 작용을 명시적으로 모델링한다. 모든 모달리티의 토큰이 윈도우 내에서 결합되며, 이 합동 표현(joint representation)에 대해 어텐션이 계산된다. 이는 공간적 관계와 모달리티 의존적 관계를 모두 모델링하기 위해 인수 분해된 상대적 위치 편향(factorized relative position bias)을 사용한다.
4. 교차 전역(Cross Global, CG) 어텐션: 전역 교차 모달 상호 작용을 모델링한다. SG와 달리, 전역 쿼리는 모달리티 간에 공유되며(채널 차원을 따라 특징을 융합하여 생성됨), 키(key)와 값(value)은 멀티모달 윈도우 토큰으로부터 계산된다. 이를 통해 전역적 규모에서 분산된 멀티모달 정보를 집계할 수 있다.

모델은 SG를 위한 "분리된 전역 쿼리 생성기"와 CG를 위한 "교차 모달 전역 쿼리 생성기"를 사용한다. 최종 표현은 전역 평균 풀링을 통해 풀링된 후 멀티태스크 예측 헤드로 전달된다.

주요 기여

• 새로운 아키텍처: SL, SG, CL, CG 어텐션 메커니즘의 특정 조합을 통해 내·교차 모달 상호 작용을 공동으로 모델링하는 MICViT를 도입하였다.
• 우수한 3D 성능: MICViT가 3D 환경에서 확립된 3D 베이스라인(ResNet, ConvNeXt, ViT, SwinT, GC ViT 포함)을 일관되게 능가함을 입증하였다.
• 모달리티에 따른 확장성: MICViT가 베이스라인 아키텍처보다 모달리티의 점진적 추가에 더 강력하게 혜택을 받으며, 더 많은 모달리티가 통합됨에 따라 더 큰 성능 향상을 얻는다는 증거를 제시하였다.
• 포괄적인 평가: 다양한 표본 크기와 획득 특성을 가진 세 가지 이질적인 데이터셋(UK Biobank, SOOP, Cam-CAN)에 대한 엄격한 경험적 평가, 광범-한 절제 연구(ablation studies) 및 파라미터 매칭 비교를 포함한다.

결과
모델은 신경 영상 분야의 표현 학습을 위한 표준 벤치마크인 뇌 연령 예측에 대해 평가되었다.

• 성능: MICViT는 세 데이터셋 모두에서 가장 낮은 평균 절대 오차(MAE)를 달 기록했다. 대규모 UK Biobank(n=41,404)에서 MICViT는 4개 모달리티를 모두 사용하여 2.82년의 MAE를 달성하였으며, 이는 최상의 베이스라인(ConvNext, 3.53년)과 트랜스포머 베이스라인(GC ViT, 3.34년)을 능가하는 수치이다.
• 모달리티 스케일링: UK Biobank에 대한 절제 연구에서, MICViT는 모달리티가 추가됨에 따라(단일 모달리티에서 4개까지) 일관된 개선을 보였다. MICViT와 베이스라인 간의 성능 격차는 모달리티 수가 증가함에 따라 넓어졌으며, 이는 교차 모달 상보성을 더 효과적으로 활용하고 있음을 나타낸다.
• 어텐션 메커니즘의 절제 연구: 어텐션 구성 요소의 체계적인 제거 결과, 전체 구성(SL, SG, CL, CG)이 최상의 성능을 낸다는 것이 밝혀졌다. 전역 교차 모달 어텐션(CG)이나 분리된 전역 어텐션(SG)을 제거하면 상당한 성능 저하가 발생하였으며, 이는 국소 및 전역, 내·교차 모달 모델링 모두의 필요성을 강조한다.
• 기여도 분석: Grad-CAM 시각화는 상보적인 역할을 보여주었다: SL은 미세한 해부학적 구조(예: 백질 vs 회백질)를 포착했고, SG는 거친 전역 위축 패턴을 강조했으며, CL은 모달리티 간 공간적으로 일치하는 영역을 정렬시켰고, CG는 분산된 멀티모달 정보 집계를 나타내는 균일한 활성화를 생성했다.
• 스케일링 동작: MICViT는 다양한 모델 규모(소형에서 대형까지)에서 우수한 성능을 유지하였으며, 다운샘플링된 64³ 대신 풀 해상도 225³를 사용할 때 추가적인 이득을 보였다.

의의 및 주장
본 논문은 내·교차 모달 상호 작용의 구조를 명시적으로 모델링하는 것이 멀티모달 뇌 MRI의 잠재력을 완전히 끌어올리는 핵심 동력이라고 주장한다. 결과는 멀티모달 3D 신경 영상에서의 성능이 단순히 모델 크기나 데이터 규모에 의해 결정되는 것이 아니라, 공간적 및 교차 모달 상호 작용이 어떻게 모델링되는지에 결정적으로 달려 있음을 시사한다.

저자들은 MICViT를 신경 영상 분야의 표현 학습을 위한 유망한 방향으로 제시하며, 국소 구조, 전역 컨텍스트 및 교차 모달 의존성을 분리하고 공동으로 모델링하는 아키텍처의 능력이 표준 융합 전략을 능가할 수 있게 한다고 강조한다.

한계점
저자들은 다음과 같은 몇 가지 한계점을 겸허히 인정한다:

• 현재 평가는 뇌 MRI 및 뇌 연령 예측에 국한되어 있으며, 질병 분류, 세그멘테이션 또는 예후에 대한 일반화는 아직 검증되지 않았다.
• 모델은 잘 정렬된 멀티모달 입력을 가정하며, 누락되거나 손상되었거나 불균형한 모달리티를 명시적으로 처리하지 않는다.
• 네 가지 별도의 어텐션 메커니즘을 사용하는 것은 아키텍처의 복잡성과 특히 고해상도 3D 데이터에 대한 계산 비용을 증가시킨다.
• 실험은 데이터셋 특유의 설정에서 수행되었으므로, 명시적인 교차 데이터셋 적응 없이 강력한 도메인 변화(domain shift) 하에서의 강건성은 여전히 미해결 과제로 남아 있다.