Bayesian Image-on-Image Regression via Deep Kernel Learning based Gaussian Processes

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 신경영상 연구에서 다양한 영상 모드 (예: 구조적 MRI, 휴식 상태 fMRI, 과제 수행 fMRI) 간의 연관성을 규명하는 것이 중요해지고 있습니다. 특히, 휴식 상태 fMRI 데이터를 사용하여 과제 유발 fMRI 활동을 예측하는 것은 비용 효율적이고 실험 설계의 제약을 극복할 수 있어 큰 관심을 받고 있습니다.
• 주요 문제:
  • 해석의 어려움: 기존 딥러닝 기반 이미지 간 회귀 (Image-on-Image Regression, IIR) 방법들은 예측 성능은 높을 수 있으나, 어떤 특징이 예측에 기여했는지 해석하기 어렵습니다.
  • 통계적 추론의 부재: 많은 딥러닝 모델은 불확실성 (uncertainty) 을 정량화하지 못하며, 신경영상 데이터의 높은 차원과 복잡한 공간적 상관관계를 통계적으로 엄밀하게 다루지 못합니다.
  • 데이터 이질성: 서로 다른 해상도 (voxel-wise vs. region-wise) 와 공간 도메인을 가진 다양한 영상 예측자를 효과적으로 결합하는 것이 어렵습니다.
  • 기존 방법의 한계: 선형 회귀는 복잡한 비선형 관계를 포착하지 못하고, GAN(Generative Adversarial Networks) 은 학습 안정성 문제와 해석 가능성 부족, 그리고 명확한 목적 함수 부재로 인해 과학적 활용에 제한이 있습니다.

2. 제안된 방법론: BIRD-GP (Methodology)

저자들은 **BIRD-GP (Bayesian Image-on-image Regression via Deep Kernel Learning Gaussian Processes)**라는 새로운 베이지안 계층 모델을 제안했습니다. 이 모델은 두 단계의 분석 프레임워크를 따릅니다.

• 1 단계: 이미지 투영 (Basis Expansion)

  • 고차원의 예측자 (predictor) 와 결과 (outcome) 이미지를 저차원의 유클리드 벡터 공간으로 투영합니다.
  • 딥 커널 학습 (Deep Kernel Learning): 기존의 고정된 커널 (SE, Matérn 등) 이나 PCA 기반 기저 함수 대신, **딥 신경망 (DNN)**을 사용하여 데이터에 적응적인 직교 기저 함수 (orthonormal basis functions) 와 공분산 커널을 학습합니다. 이는 복잡한 공간적 구조를 포착하고 노이즈에 강건하게 만듭니다.
  • 이미지 $X_i(v)$와 $Y_i(u)$는 각각 기저 함수의 선형 결합으로 표현되며, 이는 가우시안 과정 (GP) 의 실현으로 간주됩니다.

• 2 단계: 비선형 회귀 (Nonlinear Regression)

  • 투영된 예측자 벡터 ($x_i$) 와 결과 벡터 ($y_i$) 사이의 복잡한 비선형 관계를 모델링하기 위해 **피드포워드 딥 신경망 (Feed-forward DNN)**을 사용합니다.
  • 베이지안 프레임워크 하에서 가중치와 편향에 사전 분포를 부여하고, 사후 분포를 추정합니다.

• 사후 계산 (Posterior Computation)

  • 대규모 신경영상 데이터에 효율적으로 적용하기 위해 하이브리드 사후 계산 알고리즘을 개발했습니다.
  • Stage 1: 깁스 샘플러 (Gibbs sampler) 를 사용하여 투영된 계수와 분산 파라미터를 추정합니다.
  • Stage 2: DNN 관련 파라미터를 추정하기 위해 **Stein Variational Gradient Descent (SVGD)**를 적용합니다. 이는 확률적 경사 하강법 (SGD) 기반의 변분 추론 프레임워크로, 계산 효율성과 확장성이 뛰어납니다.

• 해석 가능성 (Interpretability)

  • 학습된 기저 이미지 (basis images) 를 시각화하여 어떤 뇌 영역이 예측에 중요한지 파악할 수 있습니다.
  • 예측자 중요도 함수 (Importance Function): 예측 분포의 로그 밀도 도함수를 기반으로 각 투영된 예측자 차원의 중요도를 정량화하는 새로운 지표를 제안했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 베이지안 프레임워크: 딥러닝의 유연성과 가우시안 과정의 통계적 엄밀함을 결합한 BIRD-GP 모델을 개발하여 IIR 문제를 해결했습니다.
2. 딥 커널 학습: DNN 을 통해 데이터에 최적화된 커널 (기저 함수) 을 학습하여 복잡한 공간적 패턴을 포착하고 과적합을 방지했습니다.
3. 효율적인 알고리즘: SVGD 와 깁스 샘플러를 결합한 병렬 처리 가능한 알고리즘으로 대규모 신경영상 데이터에 대한 계산 효율성을 확보했습니다.
4. 해석 가능성 및 불확실성 정량화: 베이지안 접근법을 통해 예측 불확실성을 제공하며, 학습된 기저 이미지를 통해 모델의 작동 원리를 과학적으로 해석할 수 있게 했습니다.

4. 실험 결과 (Results)

• 합성 데이터 (MNIST, Fashion MNIST):

  • BIRD-GP 는 RBDN, CNN, DNN 등 기존 최첨단 방법들보다 더 높은 예측 정확도를 보였습니다.
  • 특히 파라미터 수가 적은 모델 (약 126K) 로도 99.5% 이상의 분류 정확도를 달성하여 효율성이 입증되었습니다.
  • 학습된 기저 이미지가 입력 데이터의 구조 (숫자 모양, 의류 패턴 등) 를 명확하게 포착함을 확인했습니다.

• HCP (Human Connectome Project) 데이터 분석:

  • 데이터: 휴식 상태 fALFF (fractional amplitude of low frequency fluctuation) 맵과 영역별 연결성 행렬 (connectivity matrix) 을 사용하여 언어 과제 (story-math) 및 사회적 인식 과제 (random-baseline) 의 fMRI 대비 맵을 예측했습니다.
  • 성능 비교: BIRD-GP 는 선형 회귀 (LR) 와 voxel-wise 회귀 (VR) 보다 상당한 예측 우위를 보였습니다. 특히 예측된 맵과 실제 맵 간의 상관관계가 대각선 우세 (diagonal-dominant) 를 보여 개별 주체의 특성을 잘 예측함을 입증했습니다.
  • 예측자 중요도: **연결성 행렬 (connectivity matrix)**이 fALFF 단독보다 두 과제 모두에서 더 높은 예측력을 가졌습니다. 두 모달리티를 결합했을 때 가장 좋은 성능을 보였으나, 연결성 단독으로도 fALFF 단독보다 우월했습니다.
  • 뇌 네트워크 해석: 시각 (Visual), 배측 주의 (Dorsal Attention), 피질하 (Subcortical) 네트워크가 두 과제 모두에서 중요한 예측 신호를 제공했으며, Default Mode Network 는 언어 과제에만 선택적으로 관여함을 발견했습니다.

5. 의의 및 결론 (Significance)

• 과학적 통찰: BIRD-GP 는 단순히 예측을 넘어, 휴식 상태 뇌 활동이 과제 수행 시 뇌 활동에 어떻게 영향을 미치는지에 대한 해석 가능한 통찰을 제공합니다.
• 실용성: 고비용의 과제 fMRI 데이터를 수집하지 않고도, 상대적으로 저렴하고 쉽게 구할 수 있는 휴식 상태 fMRI 데이터를 통해 개인별 뇌 활동을 예측할 수 있는 강력한 도구를 제시했습니다.
• 방법론적 발전: 신경영상 분석뿐만 아니라 공간 경제학, 유전체학 등 다양한 분야의 고차원 이미지 간 회귀 문제에 적용 가능한 새로운 표준을 제시했습니다.

결론적으로, 이 논문은 딥러닝의 표현력과 베이지안 통계의 해석 가능성을 성공적으로 융합하여 신경영상 데이터의 복잡한 관계를 규명하고 예측하는 데 있어 획기적인 진전을 이루었습니다.