기술 요약: 신경영상학의 정규 모델링을 위한 디노이징 확산 네트워크 (Denoising Diffusion Networks)

문제 정의

신경영상학에서의 정규 모델링(Normative modeling)은 공변량(예: 연령, 성별)의 함수로서 생물학적 측정치(영상 유래 표현형, IDP)의 분포를 특징짓고, 이를 통해 임상적으로 해석 가능한 편차 점수와 백분위수를 도출하는 것을 목표로 한다. 현재의 표준 관행은 일반적으로 각 IDP에 대해 별도의 단변량 모델을 적합시키는 "개별 표현형(per-phenotype)" 전략을 채택한다. 이 방식은 확장성은 높지만, 조정된 생물학적 패턴(예: 알츠하이머병에서 동시다발적으로 발생하는 위축)을 인코딩할 수 있는 다변량 의존 구조를 버리게 된다.

기존의 결합 모델링(Joint modeling) 접근 방식은 다음과 같은 상당한 장애물에 직면해 있다:

• 모수적 방법 (LMS, GAMLSS): 다봉성(multimodality), 이분산성(heteroscedasticity), 고차원 결합 밀도를 처리하는 데 어려움이 있으며, 종종 각 IDP마다 별도의 적합 과정이 필요하다.
• 가우시안 프로세스 (GP) 및 계층적 베이지안 회귀 (HBR): 대규모 데이터 적용 시 계산 비용이 많이 들며, 고차원 결합 분포로 확장하기 어렵다.
• 심층 생성 모델 (VAE, Normalizing Flows): VAE는 사후 확률 붕괴(posterior collapse)와 과도하게 매끄러운 재구성 문제를 겪을 수 있으며, Normalizing flow는 전역적 가역성(global invertibility)을 요구하여 고차원에서의 아키텍처 설계에 제약을 준다.

저자들은 표 형식의 IDP를 위한 통합 조건부 밀도 추정기로서 **디노이징 확산 확률 모델(DDPM)**을 제안한다. 이 접근 방식은 고차원 IDP를 공동으로 모델링하면서 현실적인 의존 구조를 보존하고, 교정된 단변량 백분위수와 다변량 편차 프로파일을 도출하는 것을 목표로 한다.

방법론

데이터 소스

1. 합성 데이터셋 (SYNTH): 비선형성, 이분산성, 그리고 (연령 $\ge$ 65세인 경우의 잠재적 하위 그룹을 통한) 다봉성을 유도하는 파라미터 레시피로 생성된 47,000개의 샘플. 이는 교정 성능을 엄격히 테스트하기 위함이다.
2. UK Biobank (UKB): FreeSurfer로 처리된 실제 T1 강조 MRI 데이터.
   • 저차원 ($D=20$): 신경 퇴행에 민데 민감한 IDP 세트 (해마/편도 부피, 뇌실 부피, AD 징후 영역의 피질 두께, WMH 부피, eTIV).
   • 고차원 ($D=100, 200$): 핵심 20개 IDP에 무작위로 샘플링된 추가 FreeSurfer IDP를 더하여 확장성을 테스트함.

모델 아키텍처

저자들은 순방향 과정(forward process)이 가우시안 노이즈를 추가하는 고정된 마르코프 체인을 따르고, 역방향 과정(reverse process)이 공변량 $c$에 조건화된 디노이저 네트워크 $\epsilon_\theta(y_t, t, c)$를 통해 학습되는 DDPM을 구현하였다. 두 가지 백본 아키텍처를 비교하였다:

1. FiLM 조건화를 적용한 MLP:

   • Feature-wise Linear Modulation (FiLM) 레이어를 갖춘 완전 연결 네트워크.
   • 공변량은 은닉층 활성화 함수를 조절하는 아핀 파라미터($\gamma, \beta$)로 매핑된다.
   • 시간 $t$는 입력값에 결합(concatenate)된다.

2. SAINT 스타일 트랜스포머:

   • 연속적인 IDP를 위해 SAINT (Self-Attention with Intersample Attention) 아키텍처를 변형하여 적용하였다.
   • 특징 토큰 (Feature Tokens): 각 스칼라 IDP는 하나의 특징 토큰으로 매핑된다.
   • 조건화 (Conditioning): 공변량과 타임 스텝은 임베딩되어 모든 특징 토큰에 더해진다 (추가적인 컨텍스트 토큰을 피하기 위함).
   • 어텐션 메커니즘:
     • 자기 어텐션 (Self-attention): 한 피험자 내의 특징 간(열 방향) 어텐션.
     • 표본 간 (Intersample/Row) 어텐션: 학습 시 피험자당 하나의 요약 토큰이 미니 배치 내의 다른 피험자들에게 어텐션을 수행하는 경량 메커니즘 (확률 50%). 이는 공유된 구조를 학습하기 위한 정규화 역할을 하지만, 테스트 시에는 예측이 해당 피험자의 데이터에만 의존하도록 비활성화된다.

평가 체계

저자들은 정규 모델링에 특화된 종합적인 평가 프레임워크를 구축하였다:

• 백분위수 교정 (Centile Calibration): 절대 백분위 오차 (ACE), 경험적 피복 확률 (ECP), 확률 적분 변환 (PIT) 히스토그램.
• 분포적 충실도 (Distributional Fidelity): 생성된 조건부 주변 분포와 홀드아웃(held-out) 데이터 간의 Kolmogorov–Sm–KS 검정.
• 다변량 의존성:
  • 쌍별 (Pairwise): 생성된 결합 분포를 곱의 형태인 주변 분포(product-of-marginals) 및 실제 결합 분포와 비교하는 에너지 거리(Energy distance) 및 최대 평균 불일치(MMD).
  • 고차 (Higher-order): IDP 쌍 간의 의존성 배치를 평가하기 위한 "쌍-의-쌍(pair-of-pair)" 형상 상관 행렬 ($C_{shape}$).
• 메모리화 분석 (Memorisation Analysis): 과적합/메모리화를 탐지하기 위한 최근접 이웃 (NN) 비율 ($r = d_{train}/d_{hold}$), 밀도 효과는 층화 서브샘플링을 통해 통제됨.

베이스라인

• GAMLSS: 각 IDP에 개별적으로 적합된 단변량 Sinh–Arcsinh (SHASH) 분포 회귀. 참고로, GAMLSS는 최적화 불안정성으로 인해 UKB 20개 IDP 중 9개에서 수렴에 실패하였다.

주요 결과

1. 교정 및 피복 (Calibration and Coverage)

• 저차원 ($D=20$): MLP와 SAINT 디퓨전 백본 모두 잘 교정된 중앙 예측 구간(PI)을 생성하였으며, SAINT가 MLP보다 명목 피복(nominal coverage)을 약간 더 잘 추적하였다. GAMLSS는 수렴한 IDP에서는 경쟁력이 있었으나, 일부 IDP에서는 심각한 실패(오차 > 0.6)를 보였다.
• 고차원 ($D=100, 200$): MLP 백본은 급격히 저하되어 포화된 피복(1.0에 근접)과 좋지 않은 PIT 성능(0.5 근처에 질량 집중)을 보였다. 반면, SAINT 백본은 실질적으로 더 나은 상태를 유지하였으며, $D=200$에서도 합리적인 피복과 분포적 충실도를 유지하였다.

2. 분포적 충실도

• SYNTH 데이터셋(다봉성/이분산성)에서는 모든 모델이 우수한 성능을 보였다.
• UKB 고차원 데이터에서 MLP 백본의 KS 검정 기각률(rejection fraction)은 포화되었으며, 이는 주변 분포가 실제와 괴리되었음을 나타낸다. SAINT 백본은 제한된 기각률을 유지하며 고차원 결합 모델에서도 현실적인 조건부 주변 분포를 성공적으로 학습하였다.

3. 다변량 의존성

• 쌍별 (Pairwise): 두 백본에서 생성된 결합 분포 모두 주변 분포의 곱(product-of-marginals) 베이스라인으로부터 유의미하게 벗어났으며, 실제 홀드아웃 데이터와 밀접하게 일치하였다. SAINT가 MLP보다 더 높은 정렬도(더 낮은 중앙값 MMD/Energy distance)를 보였다.
• 고차 (Higher-Order): "쌍-의-쌍" 형상 상관 행렬은 실제 데이터와 생성된 데이터 사이에 강한 일치성을 보였다 (MLP의 Mantel 상관계수 $r \approx 0.985$, SAINT $r \approx 0.991$). 이는 모델들이 단순한 쌍별 관계뿐만 아니라 의존성의 전역적 배치까지 포착하고 있음을 의미한다.

4. 메모리화 (Memorisation)

• 샘플 밀도를 통제한 후, 두 백본의 최근접 이웃 비율 $r$은 1을 중심으로 분포하였다 ($E[I(r<1)] \approx 0.5$). 이는 훈련 세트를 유의미하게 메모리화하지 않고 효과적으로 일반화했음을 나타낸다.

5. 계산 효율성

• 훈련: 디퓨전 모델이 GAMLSS보다 빠르게 훈련되었다 (예: UKB $D=20$에서 MLP는 378초, GAMLSS는 3569초).
• 확장성: MLP의 실행 시간은 차원에 무관했다. SAINT의 훈련 시간은 차원에 따라 이차적으로 증가하였으나 (예: $D=200$에서 약 6866초), 여전히 실용적인 수준(< 2시간)이었다. 샘플링 시간은 MLP의 경우 효율적이었으나, SAINT는 고차원에서 증가하였다.

의의 및 주장

본 논문은 표 형식의 트랜스포머 백본을 사용하여 다변량 정규 신경영상 IDP에 디퓨전 모델을 적용한 첫 번째 사례라고 주장한다.

저자들의 핵심 주장은 다음과 같다:

1. 디퓨전 모델은 실용적인 경로를 제공한다: 단변량 개별 IDP 파이프라인의 한계를 극복하고, 교정된 다변량 편차 프로파일을 얻기 위한 실용적인 경로를 제시한다.
2. SAINT 백본은 MLP보다 우월하다: 고차원 정규 모델링($D > 20$)에서 MLP가 실패하는 지점에서도 교정 및 고차 의존 구조를 보존한다.
3. 결합 모델링은 가능하며 유익하다: 조정된 패턴(예: 동시다발적 위축)을 포착함으로써, 독립적인 단변량 적합보다 더 생물학적으로 일관된 편차 점수의 기초를 제공한다.
4. 생성적 유연성: 파라미터 기반 방법과 달리, 디퓨전 모델은 명시적인 분포 가정 없이도 복잡하고 다봉적이며 이분산적인 조건부 밀도를 다룰 수 있으면서도, 표준 임상 지표(백분위수, 편차 점수) 도출을 지원한다.

이 연구는 디퓨전 기반 정규 모델링을 전통적인 백분위 차트의 해석 가능성과 고차원 결합 신경영상 데이터의 복잡성 사이의 간극을 메우는 확장 가능한 대안으로 자리매김한다.