기술 요약: NeuroAlign

1. 문제 정의

기능적 자기공명영상(fMRI)과 확산 텐서 영상(DTI)의 통합은 경도인지장애(MCI) 및 주관적 인지 저하(SCD)와 같은 인지 기능 저하에 대한 상보적인 통찰을 제공한다. 그러나 효과적인 다중 모달 융합은 현재 문헌에서 확인된 세 가지 주요 문제로 인해 여전히 도전 과제로 남아 있다:

• 이질적인 특징 공간(Heterogeneous Feature Spaces): fMRI 유래 특징(예: 동적 기능 연결성[DFC], 정적 기능 연결성[SFC], 저주파 진폭[ALFF])과 DTI 유래 특징(예: 분획 이방성[FA])은 서로 정렬되지 않은 의미론적 및 분포적 공간에 존재한다. 단순한 결합(concatenation)은 이들의 공변 관계를 모델링하는 데 실패한다.
• 분리된 모델링(Disjoint Modeling): 기존 방법들은 정적 및 동적 연결성을 별개로 취급하여, 안정적인 네트워크 구조와 시변적 상호작용 사이의 상보적 특성을 간과하는 경우가 많다. 또한, 동적 기능 연결성(DFC) 분석은 고정된 기간의 슬라이딩 윈도우에 의존하는 경우가 많아, 다양한 척도에 걸친 시간적 패턴을 포착하지 못한다.
• 구조적 상호작용 및 속성 부여의 부재(Lack of Structured Interaction and Attribution): 현재의 딥러닝 프레임워크는 명시적인 교차 모달 정렬 없이 모달리티를 독립적인 채널로 처리하는 경우가 많다. 또한, 특징 수준의 속성 부여(attribution)가 제한적이어서, 어떤 특정 연결성이나 지역적 패턴이 모델의 결정에 영향을 미치는지 검사하기 어렵다.

2. 방법론: NeuroAlign

저자들은 구조화된 다중 모달 융합을 위해 설계된 계층적 프레임워크인 NeuroAlign을 제안한다. 이 아키텍처는 세 가지 시너지 효과를 내는 구성 요소로 이루어져 있다:

2.1. 이중 모달 계층적 정렬 (Dual-Modal Hierarchical Alignment, DMHA)

DMHA는 세 가지 서브 모듈을 통해 시간 척도, 모달리티 및 도메인 간의 표현을 조화시킨다:

• TSA (다중 척도 시간 정렬): 고정된 슬라이딩 윈도우의 한계를 해결하기 위해 20초에서 100초 범위의 슬라이딩 윈도우를 사용하는 DFC 피라미드를 구축한다. 이러한 척도별 텐서는 경량 어댑터를 통해 공유 잠재 공간으로 투영되며, 깊이별 정제 모듈을 사용하여 통합된 연결성 임베딩($l_{CD}$)으로 융합된다.
• DSA (동적-정적 대조 정렬): 동일 피험자의 동적(DFC) 및 정적(SFC) 연결성 임베딩을 정렬하기 위해 대조 학습(contrastive learning)을 사용한다. 이는 피험자 수준의 일관성을 강제하여, 단일 환자에 대한 동적 및 정적 표현이 서로 다른 환자의 표현보다 의미론적으로 더 가깝도록 보장한다.
• FSA (아핀 불변 학습을 통한 기능-구조 융합): 기능적(fMRI) 특징과 구조적(DTI) 특징의 융합을 불변성 학습 문제로 취급한다. 보완적인 프로브(원소별 곱 및 합)를 생성하고 대조 손실을 통해 이를 정렬함으로써, 모델은 특정 산술 융합 규칙 및 이질적인 획득 설정에 강건한 표현을 학습한다.

2.2. 이중 도메인 계층적 상호작용 (Dual-Domain Hierarchical Interaction, DDHI)

DDHI는 연결성 수준의 특징($l_{CD}, l_{CS}$)과 지역 수준의 특징($l_{RF}, l_{RS}$) 사이의 구조적 상호작용을 촉진한다:

• FI (미세 조정 주의 메커니즘): 한 도메인의 임베딩(예: 정적 연결성)이 다른 도메인(예: 기능적 지역 활동)의 주의 메커니즘을 조건화하여 특징 조건부 라우팅을 허용하는 상향식 변조 메커니즘을 구현한다.
• GI (글로벌 교차 도메인 주의 메커니즘): 네 가지 잠재 표현을 하나의 시퀀스 내 토큰으로 취급하고 다중 헤드 셀프 어텐션을 적용하여 모든 도메인 간의 전방위적 교차 통신을 가능하게 한다. 이를 통해 모델은 고정된 상호작용 순서 없이도 작업 관련 관계를 포착할 수 있다.

2.3. 시너지 활성화 매핑 (Synergistic Activation Mapping, SAM)

사후 해석 가능성을 지원하기 위해 저자들은 그래디언트가 없는 마커 지향적 속성 부여 방법인 SAM을 도입한다. 표준 Grad-CAM과 달리, SAM은 이질적인 입력(연결성 행렬 및 3D 지역 맵)에 적합하도록 설계되었다. SAM은 입력 채널을 섭동(perturbation)시키고 클래스별 반응을 관찰함으로써 DFC, SFC, ALFF, FA에 대한 모달리티별 속성 맵을 생성한다. 이를 통해 임상적 인과성을 주장하지 않으면서도 모델과 관련된 뇌 패턴을 질적으로 검사할 수 있다.

3. 실험 설정 및 결과

프레임워크는 세 개의 독립적인 데이터셋인 GUTCM(로컬 코호트), ADNI, OASIS에서 평가되었다. 실험에는 5-겹 층화 교차 검증 프로토콜이 사용되었다.

• 모달리티 제어 베이스라인: 공정한 비교를 위해, 저자들은 통합된 네 가지 특징 세트(DFC+SFC+ALFF+FA)를 수용할 수 있도록 입력 인터페이스를 적응시킨 후 여러 최신 기술(SOTA) 방법(예: Fang 등, Gao 등, He 등)을 재구현하였다.
• GUTCM에서의 성능: NeuroAlign은 적응된 베이스라인들과 비교하여 여러 진단 작업(SCD/HC, MCI/SCD, MCI/HC, 그리고 3클래스 MCI/SCD/HC)에서 우수한 성능을 달acia했다. 특히, 더 까다로운 MCI/SCD 및 3클래스 작업에서 F1-score와 정확도 측면에서 유의미한 향상을 보였으며, 이는 계층적 설계가 인접한 인지 상태를 효과적으로 구별함을 시사한다.
• ADNI 및 OASIS에서의 성능: NeuroAlign은 ADNI에서 0.825, OASIS에서 0.735의 정확도를 기록하며 경쟁력 있는 결과를 달성했다. ADNI에서 가장 강력한 보고된 베이스라인(Cao 등) 대비 수치적인 정확도 상승은 작았으나, NeuroAlign은 개선된 재현율(0.900 vs 0.840)을 보여 MCI 피험자에 대한 높은 민감도를 입증했다.
• 교차 데이터셋 전이 가능성: 예비 전이 실험 결과 부분적인 전이 가능성을 보였다. GUTCM 또는 ADNI에서 학습된 모델은 OASIS로 적절히 전이되었으나, 더 작은 OASIS 서브셋에서만 학습된 모델은 더 큰 데이터셋으로 전이될 때 성능이 저하되었다. 이는 스캐너 및 프로토콜 차이로 인한 잔여 도메인 격차를 강조한다.
• 절제 연구(Ablation Studies):
  • DMHA 및 DDHI 구성 요소를 제거했을 때(정렬되지 않은 4개 특징 융합 상태), 성능이 크게 저하되었다(정확도: 0.565 vs 0.825). 이는 높은 정밀도에도 불구하고 매우 낮은 재현율을 특징으로 하며, 구조적 정렬이 특징 충돌과 불균형을 방지하는 데 필수적임을 확인시켜 준다.
  • 제안된 대조 학습 목적 함수(DSA/FSA)를 코사인 유사도(Cosine Similarity) 또는 MMD 손실로 대체했을 때 성능이 낮아졌으며, 이는 피험자 수준의 변별적 정렬의 필요성을 입증한다.

4. 속성 분석

SAM을 사용하여 저자들은 모델 관련 패턴을 시각화하였다:

• 연결성 도메인: DFC와 SFC는 디폴트 모드 네트워크(DMN), 전두정엽 네트워크(FPN), 그리고 쐐기앞소엽(precuneus), 후대상피질(posterior cingulate), 각회(angular gyrus)와 같은 영역을 포함하는 동적 및 정적 연결을 강조하였다.
• 지역 도메인: ALFF 및 FA 맵은 보조 운동 영역, 상전두회, 피각(putamen), 시상에서의 구조적 및 기능적 활동을 강조하였다.
• 일관성: 분석 결과 모달리티 간에 부분적으로 일치하는 패턴(예: 쐐기앞소로 및 두정엽 영역)이 나타났으며, 이는 기능적 및 구조적 퇴행이 공변한다는 가설을 뒷받침한다.

5. 의의 및 주장

저자들은 NeuroAlign을 임상 배치를 위한 확정적인 솔루션이 아니라, 다중 모달 신경 영상 융합의 특정 한계를 해결하기 위한 구조적 접근법으로 규정한다. 주요 주장은 다음과 같다:

• 구조적 융합: 이 프레임워크는 모달리티(fMRI/DTI), 시간 척도(다중 척도 DFC), 도메인(지역/연결성) 간의 정렬 및 상호작용을 성공적으로 모델링하여 더 변별력 있는 표현을 이끌어낸다.
• 균형 잡힌 성능: 이 방법은 특히 미묘한 인지 전환(예: MCI vs. SCD)을 구별하는 데 있어 민감도(재현율)와 특이도 사이의 균형을 개선한다.
• 해석 가능성: SAM 모듈은 다중 모달 환경에서 특징 수준의 속성 부여를 조사하는 새로운 방법을 제공하며, 인지 저하와 관련된 뇌 패턴에 대한 모델 기반 증거를 제시한다.
• 일반화에 대한 신중함: 저자들은 Neuro-Align이 경쟁력 있는 성능과 부분적인 전이 가능성을 보여주지만, 이질적인 획득 프로토콜으로 인해 상당한 도메인 격차가 남아 있음을 명시적으로 밝힌다. 그들은 현재 규모(참가자 500명 이상)가 인구 집단 수준의 일반화를 수행하기에는 불충분하며, 결과는 임상적 유효성이 검증된 것이 아니라 다중 모달 표현 학습에 대한 예비적 증거로 간야되어야 한다고 경고한다.

결론적으로, NeuroAlign은 구조화된 다중 모달 융합을 위한 유망한 방향을 제시하지만, 임상적 전환을 위해서는 향에는 더 큰 다기관 코호트, 조화 전략 및 전향적 검증이 필요하다.