Cross-Species RSA Reveals Conserved Early Visual Alignment but Divergent Higher-Area Rankings Across Human fMRI and Macaque Electrophysiology

기술 요약: 종 간 RSA 는 초기 시각 정렬의 보존과 고위 영역 순위의 차이를 드러냄

문제 제기
계산 신경과학은 역전파 (BP) 로 훈련된 심층 신경망 (DNN) 이 영장류 복측 시각 경로의 표현 계층을 재현한다는 점을 확립했습니다. 그러나 대부분의 모델-뇌 비교는 단일 종 (일반적으로 인간 fMRI) 에 국한되어 있어, 정렬 패턴이 종과 측정 모달리티를 넘어 일반화되는지 여부는 불분명합니다. 저자의 동반 연구 [Leutenegger, 2026] 에서는 훈련되지 않은 무작위 가중치와 국소 학습 규칙 (STDP, 예측 부호화) 이 인간 V1 과의 정렬에서 BP 보다 우수했으며, 모든 규칙이 IT 에서 수렴한다는 사실을 발견했습니다. 본 연구는 이 패턴이 fMRI 보다 단일 뉴런 분해능과 더 높은 신호 대 잡음비 (SNR) 를 제공하는 마카크 전기생리학적 데이터에 대해 평가할 때 유효한지 여부를 다루는 종 간 질문에 답합니다.

방법론
본 연구는 인간과 마카크의 신경 데이터에 대해 다섯 가지 학습 규칙 조건을 비교하기 위해 표현 유사성 분석 (RSA) 을 사용합니다.

• 모델: 저자들은 동반 연구 [Leutenegger, 2026] 에서 동일한 모델 가중치를 사용합니다: CIFAR-10 에서 40 에포크 동안 훈련된 맞춤형 3 층 CNN 입니다. 다섯 가지 조건은 다음과 같습니다: 역전파 (BP), 피드백 정렬 (FA), 예측 부호화 (PC), 스파이크 타이밍 의존적 가소성 (STDP), 그리고 훈련되지 않은 무작위 가중치 기준선입니다.
• 마카크 데이터셋:
  • V4/IT: MajajHong2015 (다전극 어레이, 88 개의 V4 및 168 개의 IT 뉴런, 3,200 개의 HVM 객체 제시).
  • V1/V2: FreemanZiemba2013 (단일 유닛 기록, 102 개의 V1 및 103 개의 V2 뉴런, 135 개의 질감 자극).
• 인간 데이터셋: THINGS-fMRI (720 개의 자극, 3 명의 피험자), V1, V2, LOC, IT 에 대한 RSA 값은 동반 연구에서 직접 가져왔습니다.
• 용량 통제: 모델 용량과 훈련 데이터의 풍부함의 영향을 평가하기 위해 사전 훈련된 ResNet-50(ImageNet) 을 평가했습니다.
• 분석 파이프라인:
  • RSA: 특징 추출, 상관 거리 를 사용한 표현 비유사성 행렬 (RDM) 구성, 그리고 모델과 신경 RDM 간의 스피어만 $\rho$ 점수 산출.
  • 종 간 비교: 각 학습 규칙에 대해 인간과 마카크의 $\rho$-벡터 간에 켄달의 $\tau$ 를 계산했습니다. $n=5$ 개의 규칙이므로 통계적 검정력은 완벽한 상관관계 ($\tau = \pm 1.0$) 만 감지할 수 있는 수준으로 제한됩니다.
  • 자극 통제: 순위 차이가 종에서 기인하는지 아니면 자극 도메인에서 기인하는지 확인하기 위해 THINGS 와 마카크 자극 모두에서 모델 RSA 를 계산했습니다.

주요 결과

1. 마카크에서의 더 높은 절대적 정렬: 마카크 정렬 값 ($\rho = 0.15–0.30$, V1/V2) 은 인간 fMRI 값 ($\rho = 0.01–0.08$) 을 크게 상회하며, 이는 전기생리학의 더 높은 SNR 과 일치합니다. 그러나 모든 값은 여전히 노이즈 천장 (0.52–0.79) 보다 훨씬 낮아 개선의 여지가 큽니다.
2. 보존된 초기 시각 정렬: 마카크 V1/V2 에서 STDP ($\rho \approx 0.30$) 와 PC ($\rho \approx 0.28$) 가 가장 높은 정렬을 달성하여 BP, FA, 무작위 가중치를 능가했습니다. 이는 국소 학습 규칙이 BP 보다 우수한 인간 V1 에서 발견된 질적 패턴과 일치하며, 초기 시각 정렬이 종과 모달리티를 넘어 견고함을 확인시켜 줍니다.
3. 차이 보이는 고위 영역 순위: 마카크 IT 에서 학습 규칙 순위는 인간 순위와 감지 가능한 상관관계를 보이지 않았습니다 ($\tau = 0.00, p = 1.00$). 그러나 저자들은 $n=5$ 의 낮은 통계적 검정력 (오직 $\tau = \pm 1.0$ 만 유의함) 을 고려할 때 이 결과 (null result) 는 예상된 것이라고 지적합니다.
4. 용량 및 데이터 한계: ResNet-50 통제군은 마카크 IT 에서 $\rho = 0.25$ 를 달성하여 모든 맞춤형 CNN 조건 ($\rho = 0.07–0.14$) 을 크게 능가했습니다. 이는 동반 연구에서 관찰된 IT 에서의 학습 규칙 "수렴"이 학습 규칙의 근본적 속성이라기보다는 아키텍처 및 데이터 한계 (작은 CNN, CIFAR-10) 를 반영할 수 있음을 시사합니다.
5. 자극 도메인 교란 요인: V2 에서 V4 로의 정렬 급감은 데이터셋 전환 (질감 자극 vs 객체 이미지) 에 의해 교란됩니다. 자극 통제 분석은 IT 순위가 자극 세트 간에 약한 역전 ($\tau = -0.40$) 을 보였음을 밝혀냈으며, 이는 IT 에서의 종 간 순위 차이가 종 차이보다는 자극 도메인 (THINGS 대 HVM 객체) 에 의해 부분적으로 주도될 수 있음을 시사합니다.

의의 및 주장
본 논문은 초기 시각 정렬이 인간 fMRI 와 마카크 전기생리학을 넘어 질적으로 보존된다고 주장합니다. 구체적으로, 국소 학습 규칙 (STDP, PC) 은 두 종 모두에서 초기 시각 영역 (V1/V2) 에서 역전파보다 일관되게 우수하며, 이러한 규칙을 선호하는 아키텍처적 유추 편향이 fMRI 방법론의 인공물이 아님을 시사합니다.

반면, 본 연구는 특정 실험 설정 내에서 고위 영역 (IT) 순위에서 감지 가능한 종 간 대응이 없다는 사실을 발견합니다. 저자들은 이를 다음과 같은 요인들의 조합으로 겸손하게 귀인합니다:

• 통계적 검정력: 학습 규칙의 수가 적음 ($n=5$) 이 상관관계 감지 능력을 제한합니다.
• 모델 용량: 맞춤형 CNN 은 마카크 IT 에 인코딩된 객체 수준 표현을 포착할 용량이 부족할 가능성이 높으며, 이는 ResNet-50 의 우수한 성능으로 강조됩니다.
• 자극 불일치: 데이터셋 간 자극 도메인의 차이가 IT 순위 해석을 교란시킵니다.

저자들은 초기 시각 정렬이 견고하지만, 고위 영역 정렬은 모델 용량, 훈련 데이터의 풍부함, 그리고 자극 도메인에 의해 조절된다고 결론지었습니다. 이러한 결과는 적절히 검정력을 갖춘 순위 비교를 가능하게 하기 위해 공유 자극 세트, 더 큰 아키텍처, 그리고 더 많은 학습 규칙 조건을 활용하는 향후 종 간 연구를 고무합니다.