기술 요약: 특징 시각화가 TRIBE v2 로부터 알려진 대뇌 선택성을 복원함

문제 제기

뇌 인코더 모델은 사전 훈련된 비전 및 언어 네트워크의 내부 활성화로부터 대뇌 fMRI 응답을 예측하며, 현재는 거의 전적으로 홀드아웃 예측 정확도 (예: $R^2$) 로 평가됩니다. 이 지표는 훈련에는 효과적이지만 해석에는 불충분합니다. 높은 정확도는 인코더가 데이터에 적합함을 확인하지만, 모델이 뇌의 기능적 조직을 내재화했는지 검증하지는 못합니다. 동일한 홀드아웃 정확도를 가진 두 인코더는 대뇌 영역의 입력 측 전상 (preimage) 에 대해 체계적으로 다른 예측을 할 수 있습니다. 따라서, 인코더가 뇌 영역의 특정 기능적 선택성 (예: V1 의 에지, FFA 의 얼굴, MT 의 운동) 을 복원했는지 정성적으로 평가할 수 있는 보완적 해석 가능 기술이 필요합니다.

방법론

저자들은 뇌 인코더를 탐구하기 위한 프로브로서 특징 시각화 (feature visualization) 를 제안합니다. 이 기술은 목표 관심 영역 (ROI) 에 대한 인코더의 예측 활성화에 대해 경사 상승 (gradient ascent) 을 수행하여 해당 영역을 최대한 자극하는 입력 자극을 합성하는 것을 포함합니다.

실험 설정:

• 모델: 이 연구는 TRIBE v2에 이 프로브를 적용합니다. TRIBE v2 는 비디오에 대해 결합 임베딩 예측 목적 함수로 사전 훈련된 40 층 ViT-G 비전 백본인 V-JEPA 2로 구성된 뇌 인코더입니다. 두 모델 모두 고정되어 있으며, 입력 이미지 매개변수만 최적화됩니다.
• 목표 ROI: HCP-MMP1 파셀레이션에 기반하여 시각 위계를 아우르는 일곱 개의 대뇌 영역이 선택되었습니다: V1, V2, V3, V4, MT (중측두엽 영역), FFA (측두엽 얼굴 영역), PPA (측두해마 영역).
• 최적화 과정:
  • 입력 매개변수화: 이미지는 비상관 색상 채널 위의 실수형 2 차원 푸리에 스펙트럼으로 매개변수화되며, 역 FFT 와 시그모이드를 통해 $[0, 1]$ 픽셀 범위로 매핑됩니다.
  • 정적 최적화: V-JEPA 2 가 비디오 모델임에도 불구하고, 최적화는 64 개의 동일한 프레임으로 타일링된 단일 정적 프레임을 합성합니다. 이는 운동 선택성 영역을 구동하는 데 정적 단서가 충분한지 테스트하면서 계산 비용을 줄입니다.
  • 손실 함수: 목적 함수는 "글로벌 리프트 (global lift)" 손실입니다: $L = -\frac{1}{|R|}\sum_{v \in R} \hat{y}_v + \beta \cdot \frac{1}{|\bar{R}|}\sum_{v \in \bar{R}} \hat{y}_v + \lambda_{fft} \|S\|^2$. 이는 목표 ROI 의 평균 활성화를 최대화하면서 대뇌 나머지 부분의 평균 활성화를 차감하여 (일반적 구동보다 선택성을 장려) 병리적 고주파 질감을 억제하는 스펙트럼 에너지 정규화 항을 포함합니다.
  • 하이퍼파라미터: 최적화는 3,000 개의 경사 단계로 실행됩니다. 각 ROI 당 안정성을 평가하기 위해 다섯 번의 무작위 시드 재시작이 수행됩니다.

주요 결과

1. 대뇌 선택성의 정성적 복원

합성된 자극은 알려진 기능적 해부학의 명확한 복원을 보여줍니다:

• V1 $\to$ V4 진행: 공간 규모와 특징 복잡성이 증가하는 가시적인 진행이 관찰됩니다. V1 은 작은 규모의 방향성 에지 (Gabor 유사) 의 밀집된 필드를 생성합니다. V2 와 V3 는 더 큰 윤곽과 접합부를 보여주며, V4 는 조직화된 중간 규모의 곡선을 나타냅니다.
• MT (운동 영역): 정적 이미지만 최적화되었음에도 불구하고, MT 에 대한 다섯 번의 재시작 모두 "동결된 광류 (frozen optic flow)"나 장노출 사진과 유사한 날카로운 방사형 또는 대각선 스트릭 패턴을 생성합니다. 이는 인코더가 정적 운동 단서 (스트릭, 길쭉한 방향성) 를 MT 영역과 연관 짓도록 학습했음을 나타냅니다.
• FFA (얼굴 영역): 프로브는 재시작마다 다양하지만 인식 가능한 얼굴과 유사한 특징 (눈 영역, 코 능선, 입 윤곽) 을 생성합니다.
• PPA (장소 영역): 자극은 일관된 직선 질감 (평행하며 주로 수평 및 대각선 선) 을 생성합니다. FFA 만큼 범주 특이적이지는 않지만, 이는 해당 영역이 장면 배치와 건축물에 대한 민감성과 부합합니다.

2. 정량적 선택성과 "초과 자극 (Super-Stimuli)"

• 활성화 리프트: 최적화된 자극은 무작위 노이즈 기준선보다 목표 ROI 를 훨씬 더 강하게 구동합니다. 특히, FFA 최적화 자극은 자연스러운 얼굴 사진보다 예측된 FFA 활성화를 약 4 배 더 높게 구동합니다 (+0.339 대 +0.080). 이는 경사 상승이 자연 분포 한계를 초과하는 적대적 패턴을 찾는 "초과 자극" 현상을 확인시켜 줍니다.
• 교차 ROI 구조: 활성화 행렬은 예상되는 해부학적 관계를 보여줍니다. 초기 시각 영역 (V1–V3) 은 강한 교차 활성화를 보입니다. FFA 와 PPA 는 상호 억제적입니다. V4 는 초기 시각 영역보다 FFA 를 더 강하게 구동하는 연결고리 역할을 합니다.
• MT 기준선: MT 는 가장 큰 활성화 리프트 (+0.70) 를 보여주는데, 부분적으로 그 무작위 노이즈 기준선이 강하게 음수이기 때문입니다 (비운동 자극에 대한 비활성화를 나타냄).

3. 안정성과 한계

• 안정성: 정성적 특징 (예: FFA 의 얼굴 특징, MT 의 스트릭) 은 다섯 개의 무작위 시드 전반에 걸쳐 안정적이며, 변이는 범주가 아닌 특정 기하학에 국한됩니다.
• 재현성: 저자들은 CUDA fp16 비결정성이 궤적 발산을 유발한다고 지적하며, 이는 최대 활성화 재시작이 항상 시각적으로 가장 해석 가능한 것은 아니라는 점을 의미합니다 (예: 가장 선명한 얼굴 이미지가 활성화 최대값은 아님).
• PPA 모호성: 저자들은 자극이 인식 가능한 장면보다는 선 패턴처럼 보인다고 명시적으로 언급하며 PPA 결과 해석에 덜 편안함을 표명했습니다. 이는 현재 프로브가 모든 영역에 대한 범주 수준 레이블을 해결하는 능력의 한계를 강조합니다.

중요성과 주장

이 논문은 특징 시각화가 뇌 인코더에 대한 예측 정확도의 필수적인 보완적 정성적 테스트라고 주장합니다.

• 내재화 대 적합: 결과는 TRIBE v2 가 단순히 훈련 fMRI 시계열에 적합된 것이 아니라 시각 위계의 기능적 조직을 내재화했음을 시사합니다. 정적 최적화 파이프라인에서 인코더를 역전시켜 특정 튜닝 특징 (에지, 운동, 얼굴) 을 복원하는 능력은 이러한 내재화의 증거로 제시됩니다.
• 방법론적 범위: 정적 입력으로부터 MT 에서 "암시된 운동"을 복원한 것은 방법의 능력을 보여주는 핵심 사례로 강조되며, 시간 최적화 없이도 인코더의 운동 판독이 인식 가능한 운동 유발 이미지로 역전될 수 있음을 보여줍니다.
• 일반 적용성: 이 프로브는 간단하고 미분 가능하며 미분 가능한 백본을 가진 모든 뇌 인코더에 적용 가능하다고 설명되며, 신경과학 원리를 복원한 인코더와 단순히 데이터를 예측하는 인코더를 구분하는 "저렴한 기본 정성적 테스트"를 제공합니다.

저자들은 겸손하게, 최적화된 자극이 응답 표면의 극값이며 적대적 특징을 포함할 수 있음을 인정합니다. 그들은 이 프로브가 인코더가 해당 영역이 무엇을 찾는지 무엇을 생각하는지 드러내지만, 추가 검증 (예: 비디오 축 최적화 또는 인간 관찰자 연구) 없이는 이러한 특징이 생물학적 현실과 완벽하게 매핑되는지 완전히 해결하지는 못한다고 강조합니다.