Nonlocal operator learning for fMRI encoding and decoding tasks

기술적 요약: fMRI 인코딩 및 디코딩 작업을 위한 비국소 연산자 학습

문제 제기
기능적 자기공명영상 (fMRI) 데이터는 고차원적인 시공간 구조로 인해 계산 신경과학에 상당한 도전 과제를 제시합니다. fMRI 를 통해 기록된 뇌 활동은 먼 영역에 분산된 상호작용과 확장된 시간 규모에 걸쳐 전개되는 현상을 반영하며, 혈역학적 평활화 및 지연과 같은 측정 효과를 포함합니다. 국소성 또는 단거리 의존성에 대한 가정 (예: 합성곱 필터, 고정된 그래프 이웃, 또는 단기 기억 순환) 에 종종 의존하는 표준 딥러닝 아키텍처는 이러한 분산된 비국소 역동성을 포착하기에는 너무 제한적일 수 있습니다. 저자들은 fMRI 모델링이 연결성에 대한 사전 제약을 부과하지 않고도 공간적으로 분산되고 시간적으로 확장된 상호작용을 표현할 수 있는 프레임워크가 필요하다고 주장합니다.

방법론
본 논문은 fMRI 인코딩 및 디코딩 작업을 위해 Attentional Neural Integral Equation (ANIE) 모델 [ZFC+24] 을 특히 적응시킨 신경 적분 연산자 기반의 프레임워크를 제안합니다.

• 수학적 공식화: BOLD 신호는 공간 $x$와 시간 $t$에 대한 함수 $u(x, t)$로 취급됩니다. 뇌의 역동성은 이 함수 공간에 작용하는 비국소 연산자 $T$로 모델링됩니다. 핵심 메커니즘은 잠잠 공간에서의 고정점 반복으로, 다음 방정식으로 정의됩니다:
  $$T(u) + u_{lat} = u$$
  여기서 $u_{lat}$는 인코더 $E$를 통해 얻은 잠잠 표현이며, $u^*$는 고정점 해입니다.
• 비국소 연산자: 국소 연산자와 달리, 적분 연산자 $T$는 전체 시공간 영역에 대해 적분함으로써 점 $(x, t)$에서의 신호를 평가합니다. 이 연산자는 학습 가능한 커널 $K_\theta$로 정의됩니다:
  $$T(u)(x, t) = \int_0^1 \int_\Omega K_\theta(u(z, s), x, t, z, s) \, dz \, ds$$
  여기서 $z$와 $s$는 각각 공간 및 시간 적분 변수를 나타냅니다. 이 공식화는 임의의 공간 위치 쌍 간의 상호작용과 여러 시간 규모에 걸친 기억 효과를 자연스럽게 고려합니다.
• 작업:
  • 디코딩: fMRI 기록으로부터 입력 자극 (객체 레이블 또는 시각적 패턴) 을 예측합니다. 고정점 $u^*$는 자극 $y_{stim}$으로 회귀됩니다.
  • 인코딩: 입력 자극으로부터 fMRI 역동성을 예측합니다. 고정점 $u^*$는 디코더 $D$가 BOLD 신호를 재구성하는 데 사용되는 인코딩된 함수로 작용합니다 ($D(u^*) = u$).
• 실험 설계: 이 프레임워크는 두 개의 오픈 소스 데이터셋 (Haxby 및 Miyawaki) 에서 평가되었습니다. 저자들은 시공간 컨텍스트가 성능과 잠잠 공간 기하학에 미치는 영향을 평가하기 위해 시간 창 크기(짧음 vs. 김)와 공간 컨텍스트(시각 피질 ROI vs. 전체 뇌 기록) 를 체계적으로 변형했습니다. 모델들은 파라미터 수를 동등하게 유지하여 공정한 비교를 보장하면서 FFNN, CNN, LSTM, ResNet, ViT 와 같은 표준 아키텍처와 비교되었습니다.

주요 기여 및 결과

1. 시간 컨텍스트의 영향:

   • 디코딩: 두 데이터셋 모두에서 더 큰 시간 창은 일반적으로 신경 적분 연산자의 성능을 향상시켰습니다. Haxby 데이터셋 (객체 분류) 에서 ANIE 모델의 정확도는 약 73.7%(1 시간점) 에서 약 79.2%(20 시간점) 로 증가한 반면, 경쟁 모델들 (CNN, LSTM, ViT) 은 더 긴 창에서 성능 저하 또는 정체 현상을 자주 보였습니다.
   • 인코딩: 100 픽셀 자극으로부터 약 5000 개의 복소 (voxels) 를 예측하는 본질적인 어려움으로 인해 절대적 성능은 중등도 수준으로 유지되었으나 ($R^2 \approx 0.25$), 더 긴 시간 창은 일관된 향상을 가져왔습니다. ANIE 모델은 $R^2 \approx 0.15$(5 시간점) 에서 $R^2 \approx 0.25$(25 시간점) 로 개선되었습니다.

2. 공간 컨텍스트 및 전체 뇌 정보:

   • 디코딩 작업에서 시각 피질만 사용하는 대신 전체 뇌 기록을 활용하는 것이 통계적으로 유의미하게 모델 성능을 크게 향상시켰습니다. 이는 시각 자극과 관련된 정보가 여러 뇌 영역에 걸쳐 비국소화되어 있으며, 긴 시간 규모를 통해 효과적으로 접근될 수 있음을 시사합니다.

3. 잠잠 공간 구조:

   • 클래스 분리: 디코딩 실험에서 학습된 잠잠 공간은 종종 원시 데이터보다 더 명확한 클래스 분리를 제공했습니다.
   • 자기지도 학습 분류: 기하학적 자극과 무작위 자극을 구별할 때, 모델이 학습한 잠잠 공간은 특히 짧은 시간 창에서 원시 데이터보다 더 구조화된 조직을 보여주었습니다. 작은 창 ($t=3, 5$) 에서 모델의 잠잠 임베딩은 KNN 분류에서 원시 데이터를 유의미하게 능가했습니다 ($p < 0.05$). 시간 창이 증가함에 따라 원시 및 잠잠 표현 모두 매우 분리 가능해져 잠잠 공간의 상대적 이점이 감소했습니다.

의의 및 주장
저자들은 신경 적분 연산자가 뇌 활동에서 분산된 비국소 구조를 명시적으로 포착하기 때문에 fMRI 역동성 모델링을 위한 유망한 프레임워크를 제공한다고 주장합니다. 결과는 다음과 같은 점을 시사합니다:

• 광범위한 시공간 컨텍스트는 유익함: fMRI 역동성의 성공적인 모델링은 국소화된 스냅샷이 아닌 장기적인 시간 정보와 분산된 공간 정보에 의존합니다.
• 아키텍처가 중요함: 이러한 비국소화된 구조를 활용하려면 국소 합성곱이나 순환에만 의존하는 것이 아니라 적분 연산자와 같이 비국소 의존성을 포착하도록 특별히 설계된 모델 아키텍처가 필요합니다.
• 표현 학습: 이 접근법은 특히 원시 데이터에서 신호가 덜 명확할 때 (즉, 짧은 시간 창에서) 자극 의존 정보를 더 구조화된 잠잠 표현으로 조직화할 수 있습니다.

본 논문은 결과가 장거리 시공간 기능의 가설을 지지하지만, 증가된 통계적 안정성과 같은 요인도 관찰된 향상에 기여할 수 있으므로 뇌 기능에 대한 직접적인 기작적 설명을 확립하지는 않는다는 점을 지적하며 겸손한 입장을 유지합니다. 향후 연구는 학습된 연산자의 해석 가능성을 향상시키고 이를 알려진 기능적 뇌 조직과 더 직접적으로 연결하는 데 초점을 맞추는 것이 제안됩니다.