기술 요약: 예측 정확도 너머: 모델 - 뇌 정렬 평가를 위한 타겟 공간 회복 프로파일

문제 제기

인공 시각 모델과 인간 시각 피질에 대한 현재 평가는 예측 정확도(예: 모델 표현과 fMRI 반응 간의 상관관계) 에 크게 의존합니다. 모델 순위를 매기는 데 유용하지만, 단일 스칼라 정확도 점수는 예측이 실제로 타겟 뇌의 반응 공간 중 어떤 차원을 회복하는지 드러내지 못합니다. 모델은 반응 방향의 일부만 포착하거나, 유사한 정확도를 가진 다른 모델이 회복한 방향과 다른 방향을 일치시킴으로써 높은 정확도를 달성할 수 있습니다. 또한, 측정된 뇌 반응에는 재현 가능한 신호와 노이즈가 모두 포함되어 있습니다. 이 둘을 구분하지 않으면 모델이 뇌의 진정한 안정적 구조와 정렬되는지, 아니면 단순히 노이즈에 적합되는지 판단하기 어렵습니다.

방법론

저자들은 스칼라 점수에서 예측 반응과 재현 가능한 타겟 참조 간의 구조적 중첩으로 평가 초점을 이동시키는 타겟 공간 프레임워크를 도입합니다.

1. 재현 가능한 타겟 참조

반복된 fMRI 측정(동일한 이미지에 대한 여러 시행) 을 사용하여 저자들은 독립적인 시행 분할 간에 일관되게 회복 가능한 타겟 뇌 반응 공간의 차원을 포착하는 참조를 정의합니다.

• 구성: 보유된 (held-out) 이미지에 대한 반복 시행을 두 개의 평균화된 뷰로 분할합니다. 양방향으로 타겟 대 타겟 예측을 적합시켜 타겟 측 기저를 유도합니다. 재현 가능한 타겟 참조는 이러한 분할에서 유도된 투영자 (projectors) 의 평균입니다.
• 특성: PCA 가 분산으로 차원을 순위 매기는 것과 달리, 이 참조는 예측 재현 가능성으로 차원을 순위 매깁니다. 고유값 분해는 타겟 참조 방향 ($u_j$) 과 가중치 ($\omega_j$) 를 산출하며, 더 큰 가중치는 시행 분할 간에 더 일관되게 회복된 방향을 나타냅니다.

2. 예측 부분공간 및 회복 프로파일

어떤 소스 (다른 피험자의 뇌 또는 시각 모델) 에 대해, 이 프레임워크는 타겟 반응 공간 내 소스 유도 예측 부분공간을 평가합니다.

• 소스 유도: 리지 정규화된 저랭크 선형 적합이 소스를 타겟에 매핑하여 직교 정규 타겟 기저 ($Q_s$) 와 투영자 ($P_s$) 를 유도합니다.
• 회복 프로파일: 정렬 정도는 예측 부분공간이 재현 가능한 타겟 참조와 얼마나 중첩되는지로 정량화됩니다.
  • 방향적 커버리지: 특정 타겟 참조 방향 $u_j$ 가 예측 부분공간 내에 있는지 여부를 측정합니다.
  • 상위-k 참조 커버리지: 상위 $k$ 개 타겟 참조 방향의 커버리지를 가중 평균한 것입니다. 이 곡선은 어떤 재현 가능한 차원이 회복되었는지 요약합니다.
  • 프로파일 평균: 회복 곡선의 높이를 요약한 스칼라 값입니다.

3. 뇌 - 뇌 예측을 통한 인간 참조

"뇌와 유사한" 회복을 위한 기준선을 확립하기 위해 저자들은 뇌 - 뇌 예측을 사용합니다. 비타겟 피험자의 반응을 사용하여 타겟 피험자의 반응을 예측합니다. 결과적으로 생성된 회복 프로파일은 다른 인간 뇌에서 일반적으로 회복 가능한 타겟 참조 차원을 나타내는 인간 참조로 작용합니다. 모델은 이 인간 참조에 상대적으로 평가됩니다.

4. 실험 설정

• 데이터셋: 8 명의 피험자가 515 개의 자연 이미지를 반복적으로 시청하는 **Natural Scenes Dataset (NSD)**의 하위 집합.
• 타겟: 두 반구에 있는 시각 피질 영역 (V1v, V1d, V2v, V2d, V3v, V3d, hV4).
• 소스:
  • 뇌: 다른 피험자의 반응.
  • 모델: 사전 학습(ImageNet) 및 무작위 초기화 상태의 ResNet-18/50, VGG-16, ViT-B/16.
• 프로토콜: 훈련과 평가의 엄격한 분리. 외부 테스트 이미지는 참조를 정의하고 정확도를 평가하는 데 사용되며, 모델 선택이나 하이퍼파라미터 튜닝에는 절대 사용되지 않습니다.

주요 결과

1. 저차원 재현 가능한 구조

반복된 타겟 뇌 반응은 저차원 재현 가능한 타겟 참조를 정의합니다. 참조 가중치는 소수의 차원에 집중되어 있으며 (첫 번째 세 개가 정규화된 가중치의 약 88.6% 를 차지함), 유효 랭크의 중앙값은 5.12 입니다. 이 구조는 단순한 반응 분산이 아닌 예측 재현 가능성을 반영합니다.

2. 예측 정확도가 구조적 차이를 가림

이 연구는 예측 정확도만으로는 모델 - 뇌 불일치를 가릴 수 있음을 보여줍니다.

• 사례 연구: 거의 동일한 예측 정확도 ($|\Delta \text{accuracy}| \le 0.01$) 를 가진 사전 학습 및 무작위 초기화 모델이 뚜렷한 회복 프로파일을 보였습니다.
• 정량적 격차: 29 개의 동일한 아키텍처 사전 학습 - 무작위 쌍에서 79% 가 프로파일 평균 차이에 대한 인간 변이 임계값을 초과하여 사전 학습 모델을 우세하게 만들었습니다. 이는 유사한 정확도 점수가 근본적으로 다른 반응 차원의 회복에 해당할 수 있음을 나타냅니다.

3. 사전 학습이 회복을 확장함

ImageNet 사전 학습은 회복 프로파일을 크게 변경합니다. 사전 학습 모델은 무작위 초기화 대응 모델에 비해 더 넓은 범위의 타겟 참조 차원을 회복합니다.

• 프로파일 평균 차이: 사전 학습 모델은 프로파일 평균에서 무작위 대조군보다 평균 0.177 더 높았으며 (95% CI: 0.162–0.192), 이 격차는 무작위 초기화 시드에 의해 도입된 변동성보다 훨씬 큽니다.
• 차원 특이성: 이 이득은 선도 차원으로 제한되지 않으며, 사전 학습 모델은 상위 10 개 차원 전반에 걸쳐 더 높은 커버리를 보입니다.

4. 진단 참조로서의 뇌 - 뇌 비교

뇌 - 뇌 비교는 스칼라 "노이즈 천장"보다 더 정보적인 구조화된 인간 참조를 제공합니다. 뇌 - 뇌 예측 정확도는 회복 곡선의 전체 높이와 상관관계가 있지만, 곡선의 형태(어떤 차원이 회복되는지) 는 변하며 모델이 인간 신경 구조와 얼마나 잘 정렬되는지에 대한 구체적인 진단을 제공합니다.

중요성 및 주장

이 논문은 예측 정확도만으로는 모델 - 뇌 정렬을 진단하기에 부족하다고 주장합니다. 이는 어떤 재현 가능한 뇌 반응 차원이 회복되었는지 명시하지 않기 때문입니다.

• 진단 능력: 제안된 프레임워크는 어떤 재현 가능한 차원이 회복되는지를 명시하여 스칼라 점수가 숨기는 불일치 (예: 동일한 정확도를 가진 사전 학습 및 무작위 모델 간) 를 드러냅니다.
• 인간 중심 평가: 뇌 - 뇌 예측을 사용하여 인간 참조를 정의함으로써, 이 프레임워크는 추상적인 벤치마크를 넘어 타겟 뇌에서 무엇이 회복되는지에 대한 진단적 비교로 나아갑니다.
• 조건부 해석: 저자들은 재현 가능한 타겟 참조의 높은 회복이 정렬에 대한 조건부 증거임을 강조합니다. 이는 특정 ROI, 데이터셋 및 판독 클래스에 대해 소스 - 타겟 적합이 재현 가능한 차원을 회복함을 나타내지만, 전체 모델 표현이 "뇌와 유사하다"고 주장하는 것은 아닙니다.

이 연구는 모델 - 뇌 및 뇌 - 뇌 정렬을 모두 평가하기 위한 통합 프레임워크를 기여하며, NeuroAI 에서 예측 정확도의 크기만큼 회복의 구조를 이해하는 것이 중요하다고 주장합니다.