A transformer-based model reveals sparse, stimulus-dependent orientation readout from macaque V1 population activity

기술 요약: 트랜스포머 기반 모델을 통해 밝혀진 마카크 V1 인구 활동의 희소하고 자극 의존적인 방향성 판독(Readout)

문제 제ing
일차 시각 피질(V1)은 중첩된 튜닝 선호도를 가진 대규모 뉴런 집단을 통해 방향 정보를 인코딩한다. 고전적인 단일 단위 연구는 방향 선택성을 확립했지만, 하위 회로가 어떻게 이 중복된 인구 집단으로부터 특정 방향 정보를 선택적으로 "판독(read out)"하는지에 대한 메커니즘은 여전히 불분명하다. 핵심적인 과제는 인구 집단 전체에 걸친 정보의 중복된 표현과, 특정 자극을 위해 효과적으로 디코딩을 구동하는 잠재적인 특정 뉴런 부분 집합을 구분하는 것이다. 전통적인 선형 디코더와 표준 비선형 피드포워드 모델(예: 다층 퍼셉트론, MLP)은 가중치가 훈련 후 고정되어 있기 때문에, 뉴서의 기여도가 서로 다른 자극 조건에 따라 어떻게 동적으로 변하는지를 명시적으로 드러내는 데 실패하는 경우가 많다.

방법론
저자들은 7마리의 깨어 있는, 고정 시선을 유지하는 마카크(macaque)로부터 얻은 2차원 칼슘 이미징 데이터(표면층 약 150 µm 깊이)를 사용하여 방향성이 있는 가보(Gabor) 자극을 재구성하는 트랜스포머 기반 딥러닝 모델을 개발했다.

• 데이터: 데이터셋은 7마리의 원숭이로부터 기록된 1,039개에서 1,903개의 동시 기록 뉴런(시야 범위 ~850 x 850 µm²)과 216개의 고유한 자극 조건(12개 방향, 6개 공간 주파수, 3개 크기)으로 구성되었다. 신호 대 잡음비를 높이기 위해 12회의 시행(trial)에 걸쳐 반응을 평균하였다.
• 모델 아키텍처: 모델은 다섯 가지 구성 요소로 이루어져 있다:
  1. 임베딩(Embedding): 뉴런 특유의 학습 가능한 가중치를 사용하여 뉴런의 반응을 잠재 공간(latent space)으로 매핑한다.
  2. 위치 인코딩(Positional Encoding): V1의 위상적 클러스터링 특성을 반영하여, 뉴런을 그들의 선호 방향(0°–180° 주기)에 따라 배열한다.
  3. 셀프 어텐션(Self-Attention): 핵심 모듈로서, 쿼리(Query), 키(Key), 값(Value) 연산을 통해 뉴런 간의 동적이고 자극 의존적인 관계를 계산한다. 이는 재구성을 위해 각 뉴런의 표현이 다른 뉴런들에 의해 얼마나 강하게 가중치가 부여되는지를 정량화하는 어텐션 맵을 생성한다.
  4. 언임베딩(Unembedding): 고차원 표현을 1차원 벡터로 압축한다.
  5. 출력층(Output Layer): 가보 이미지를 재구성하는 완전 연결 계층이다.
• 비교 대조군: 트랜스포머의 성능은 방향을 직접 예측하도록 훈련된 직접 선형 디코더 및 비선형 다층 퍼셉트론(MLP)과 비교 검증되었다. 또한, 임베딩과 셀프 어텐션을 제거한 선형 이미지 재구성 대조군을 사용하여 트랜스포머의 특정 아키텍처의 기여도를 분리하였다.
• 분석: 연구는 셀프 어텐션 맵을 활용하여 "고가중치 판독 뉴런(Highly Weighted Readout Neurons, HWRs)"을 식별하였다. 이들은 재구성 정확도를 5° 오차 범위 내로 유지하는 임계값 이상의 어텐션 점수를 받는 작은 뉴런 부분 집합으로 정의되었다. 절제 연구(Ablation studies)에서는 식별된 HWR을 제거하고 모델을 재훈련하여 "대체" 뉴런의 모집을 관찰하였다.

주요 결과

1. 고정밀 재구성: 트랜스포머는 평균 구조적 유사도(SSIM) 98.3%와 중앙값 절대 방향 오차 0.12°를 달성했다. 반면, 선형 디코더, MLP, 그리고 선형 이미지 재구성 대조군은 약 2.8°–2.9°의 중앙값 방향 오차를 보였다. 이는 트랜스포머의 우수한 디코딩 능력을 입증한다.
2. 희소하고 자극 의존적인 판독: 어텐션 맵 분석 결과, 특정 방향에 대한 정확한 재구성은 매우 적은 수의 뉴런(방향당 평균 2~3개의 HWR)에 의해 지배됨이 밝혀졌다. 이 HWR들은 전체 어텐션 행렬의 약 0량 0.02%만을 차지하는 극도로 편향된 어텐션 점수를 받았다.
3. HWR의 생물학적 관련성: 식별된 HWR은 다음과 같은 특정 생물학적 특성을 보였다:
   • 그들의 선호 방향은 제시된 자극의 방향과 밀접하게 일치했다(중앙값 차이 ~5–10°).
   • 이들은 인구 집단 내의 다른 뉴런들에 비해 평균 노이즈 상관관계(noise correlations)가 낮았다.
   • 이들은 극단적인 기울기나 평탄한 영역이 아닌, 중간 정도의 방향 기울기(0.6–0.8)를 가진 영역에 공간적으로 위치했다.
4. 신호 증폭 및 날카로움(Sharpening): 셀프 어텐션 변조는 HWR의 유효 튜닝을 유의미하게 변화시켰다. 변조 후, HWR은 반응 진폭이 증가하고 대역폭이 현저히 좁아졌으며(약 20°에서 ~12°로), 결과적으로 자극 방향 근처에서 피셔 정보량(Fisher information)의 상당한 증가를 가져왔다. 반대로, 반응이 일치하는 비-HWR 뉴런들은 피셔 정보량이 감소하거나 변화가 없었다.
5. 중복성과 유연성: HWR을 절제하고 모델을 재훈련했을 때, 재구성 정확도는 완전히 회복되었다(SSIM 98.9%). 모델은 유사한 기능적 특성(자극에 튜닝되어 있고 낮은 노이즈 상관관계를 가짐)을 가진 "대체" 뉴런들을 모집하고 이들의 유효 어텐션 가중치를 강화했다. 이는 판독 과정이 희소하지만, 기저의 인구 코드는 중복되어 있어 유연한 교체가 가능함을 나타낸다.

의의 및 주장
본 논문은 마카크 V1의 방향 정보가 대규모 인구 집단 전체에 중복되어 인코딩되지만, 희소하고, 자극 의존적이며, 유연한 메커니즘을 통해 판독된다고 주장한다. 이 연구는 트랜스포머의 셀프 어텐션 메커니즘이 이러한 원리를 밝혀내는 계산 도구 역할을 한다고 상정한다. 즉, 뇌는 모든 활성화된 뉴런이 디코딩에 동일하게 기여할 필요가 없을 가능성이 높다. 대신, 최적의 튜닝, 낮은 공유 가변성, 그리고 유리한 인구 맥락을 가진 작고 동적으로 선택된 뉴런 부분 집합이 판독을 지배한다.

저자들은 "고가중치" 상태가 특정 뉴런 클래스의 고유하고 고정된 속성이 아니라, 현재의 자극과 인구 상태에 따라 할당되는 유연한 역할임을 강조한다. 이러한 발견은 중복된 인구 코딩이 견고함(robustness)을 지원하는 한편, 어텐션과 유사한 희소 가중치가 효율적이고 정밀한 정보 추출을 지원한다는 것을 시사한다. 트랜스포머 모델은 직접적인 생물학적 메커니즘이라기보다, 인구 활동이 어떻게 미세한 감각 변별을 지원하기 위해 선택적으로 가중치를 부여할 수 있는지를 보여주는 해석 가능한 프레임워크로 제시된다.