Shared representations in brains and models reveal a two-route cortical organization during scene perception

문제
인간 뇌는 다양한 인지 목표를 지원하기 위해 시각 입력을 고차원적인 대뇌 피질 표현으로 변환합니다. 감각 신호가 여러 단계(초기 시각 피질에서 하위 영역까지) 를 거쳐 구조화된 대뇌 피질 활동 패턴으로 변환된다는 점은 확립되어 있지만, 이러한 정보가 인간 뇌 전체에서 어떻게 조직화되고 라우팅되는지를 규명하는 것은 여전히 핵심적인 과제로 남아 있습니다. 구체적으로, 어떤 영역이 감각 입력의 특정 측면을 인코딩하는지 식별하고, 이 정보를 라우팅하는 네트워크를 매핑하며, 시각적으로 기반을 둔 특징과 더 추상적인 의미 표현을 구별할 필요가 있습니다. 전통적인 모델들은 종종 '복측 (ventral) 의 무엇/배측 (dorsal) 의 어디'라는 이분법에 의존하지만, 최근 제안들은 자연스러운 자극을 사용한 경험적 검증을 필요로 하는 장면 맥락과 사회적 지각을 위한 더 복잡하고 분할된 경로들을 제시합니다.

방법론
저자들은 자연 장면 데이터셋 (NSD) 에 통합된 프레임워크를 적용했습니다. NSD 는 8 명의 참가자가 기억 인식 과제를 수행하면서 수천 개의 자연 장면을 시청한 고해상도 7T fMRI 데이터셋입니다. 분석 파이프라인은 네 가지 상호 보완적인 접근 방식을 통합했습니다:

1. 특징 추출: 대뇌 피질 표면은 반구당 180 개의 영역으로 분할되었습니다 (HCP-MMP 어트ラス). 단일 시행 fMRI 반응은 영역 내에서 집계되어 벡터 표현을 생성했습니다. 동시에, 이미지와 해당 텍스트 캡션을 모두 처리하는 17 개의 비전 트랜스포머 (ViT) 모델과 14 개의 트랜스포머 기반 언어 모델 (LLM) 을 포함한 37 개의 사전 훈련된 심층 신경망 (DNN) 에서 계층별 활성화가 추출되었습니다.
2. 표현 정렬 (RSA): 저자들은 두 가지 방식으로 대응 관계를 정량화하기 위해 표현 유사성 분석 (Representational Similarity Analysis) 을 사용했습니다:
   • 참가자 간 RSA (IS-RSA): 공유된 표현 기하학을 추정하기 위해 참가자 간 영역별 표현 비유사성 행렬 (RDMs) 을 상관관계 분석했습니다.
   • 뇌 - 모델 RSA: 비전 및 언어 특징 공간과의 정렬을 정량화하기 위해 영역 RDM 과 모델 계층 RDM 을 상관관계 분석했습니다.
3. 표현 연결성: IS-RSA 는 영역들이 자극 집합을 조직화하는 방식의 유사성에 기반한 대뇌 피질 네트워크를 구축하기 위해 영역 쌍 간의 연결성 측정치로 재사용되었습니다. 이는 해부학적 근접성이 아닌 유사성에 기반한 것입니다.
4. 차원 분해: 커널 다중 뷰 정준 상관 분석 (KMCCA) 을 적용하여 식별된 허브 내의 공유 기하학을 잠재 차원으로 분해하고, 이러한 차원을 거친 자극 속성 (예: 장면 배치, 생물학적 존재) 과 연관시켰습니다.

견고성을 보장하기 위해 파이프라인은 서로 다른 자극 세트와 과제 요구 사항을 가진 두 개의 독립적인 데이터셋 (BOLD5000 및 THINGS-fMRI) 에서 재현되었습니다.

주요 기여

• 통합 프레임워크: 본 연구는 공유 정보를 동시에 국소화하고, 이를 분산된 네트워크로서 라우팅되는 방식을 특징짓으며, 조직화를 주도하는 특정 자극 특징을 식별하고 이를 DNN 의 계층적 특징과 연결하는 방법론을 제시합니다.
• 이중 경로 조직: 분석은 장면 지각 동안 분리 가능한 이중 경로 대뇌 피질 조직을 드러내어 고전적인 시각 스트림 모델을 정제합니다.
• 모달리티별 정렬: 이 연구는 뇌 영역과 AI 모델 간의 뚜렷한 정렬 패턴을 보여줍니다. 비전 모델은 두 처리 경로 모두와 정렬되는 반면, 언어 모델은 주로 측면 경로와 정렬됩니다.
• 자극 주도 기하학: 본 연구는 특정 자극 속성 (장면 배치 대 생물학적 행위자) 이 서로 다른 네트워크 허브에서 공유 기하학을 어떻게 주도하는지 정량화했습니다.

결과

1. 공유 기하학 및 허브: IS-RSA 는 후두 피질에서 고차 연합 영역으로 확장되는 유의미한 정렬을 확인했습니다. 세 개의 해부학적으로 군집된 허브가 가장 강력한 공유 기하학을 보여주었습니다:
   • 초기 시각 피질 (V1-V4): 저수준 시각 특징을 인코딩합니다.
   • 복측 허브: 복측 내측 측두 피질 (VMV1-3, PHA1-3) 에 위치하며, 측두엽 해마 회 영역 (PPA) 과 같은 장면 선택적 영역과 중첩됩니다.
   • 측두 후두 피질 (LOTC) 허브: 운동 선택적 MT+ 복합체와 후두 측두정 접합부 (TPOJ) 를 포함하며, 생물학적 운동과 사회적 지각과 관련된 영역들입니다.
2. 두 개의 명확한 처리 경로: 표현 연결성 분석은 초기 시각 허브가 두 개의 지배적인 경로로 분기됨을 밝혔습니다:
   • 내측 - 복측 경로: 복측 후두 측두 피질을 거쳐 복측 허브로 진행됩니다. 이 경로는 장면 배치와 환경적 맥락에 특화되어 있습니다. 이는 여러 깊이의 비전 모델과 정렬되지만 언어 모델과는 거의 또는 전혀 정렬되지 않습니다.
   • 측면 경로: 측면 후두 피질을 거쳐 LOTC 허브로 진행됩니다. 이 경로는 생동감 있고 사회적 콘텐츠에 선택적으로 조정됩니다. 이는 비전 모델의 후기 단계와 정렬되며, 결정적으로 언어 모델과 강력한 정렬을 보입니다.
3. 자극 주도 요인: KMCCA 분해는 복측 허브의 공유 기하학이 장면에서 사물로 이어지는 연속체 Along 변함을 드러냈습니다. 반면, LOTC 허브의 기하학은 생물학적 행위자 (사람/동물) 가 있는 이미지와 없는 이미지를 분리하는 차원에 의해 지배되었습니다. 생물학적 콘텐츠를 제거하면 LOTC 허브에서 참가자 간 정렬이 현저히 감소하고 측면 경로의 연결성이 약화되었습니다.
4. 모델 대응 관계: 비전 모델은 두 경로의 공유 기하학을 포착했으며, 정렬 깊이에 있어 후방에서 전방으로의 기울기 (초기 시각은 얕은 계층, LOTC 는 깊은 계층) 를 보였습니다. 그러나 언어 모델은 거의 예외 없이 LOTC 허브에 집중된 정렬을 보였으며, 이는 계층적 깊이 기울기보다는 토큰 수준의 의미 콘텐츠 ("bag-of-words" 조직) 에 의해 주도되었습니다.
5. 일반화 가능성: 풍부한 장면이 포함된 BOLD5000 에 대한 재현은 신호 신뢰도가 낮아 크기는 감소했지만 이중 경로 위상을 확인했습니다. 반면, 객체 중심적이고 최소한의 장면 배치를 가진 THINGS-fMRI 에서는 측면 경로와 LOTC 허브가 두드러지지 않았으며, 이는 이중 경로 조직이 자극 세트에 풍부한 장면과 사회적 콘텐츠가 존재하는지에 의존함을 확인시켜 주었습니다.

의의
본 논문은 장면 지각을 맥락과 생동감 있는 콘텐츠를 위한 분리 가능한 표현 경로를 가진 분산된 대뇌 피질 네트워크로 특징짓음으로써 고전적인 시각 스트림 모델을 정제한다고 주장합니다. 이는 장면 맥락을 위한 복측 내측 경로와 사회적 지각을 위한 측면 "제 3 의 시각 경로"에 대한 제안들을 지지하는 증거를 제공합니다. 정렬, 연결성, 차원 분해를 통합함으로써 본 연구는 시스템이 정보를 유사하게 인코딩하는지 여부를 묻는 것을 넘어, 무엇이 공유되는 정보인지와 그것이 어떻게 분포되는지 이해하기 위해 대규모 데이터를 활용하는 실용적인 경로를 제시합니다. 저자들은 이러한 발견이 자극 샘플링과 과제 요구 사항에 따라 변하는 맥락 의존적이며, 프레임워크가 정확한 기계적 구현이 아닌 표현적 조직을 식별한다고 지적합니다. 이 연구는 역동적인 환경에서 지각을 지원하는 분산된 대뇌 피질 시스템에 대한 향후 연구를 위한 기준을 확립합니다.