Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks

기술 요약: 신경세포 제약 조건이 RNN의 우수한 학습을 유도한다

문제 정의
신경과학과 기계 학습의 접점에서 핵심적인 과제는 대뇌 피질의 구체적인 기하학적 구조, 배선(wiring), 그리고 기능적 조직이 어떻게 순환 계산(recurrent computation)을 형성하는지 이해하는 것이다. 순환 신경망(RNN)은 시간적 역동성을 모델링하는 강력한 도구이지만, 일반적으로 무작위 가중치와 제약 없는 연결성을 가진 상태로 초기화된다. 이는 뉴런이 물리적 공간을 점유하고, 배선 경제성 원칙을 준수하며, 구조적인 해부학적 및 기능적 관계에 참여하는 생물학적 회로와 대조된다. 이전 연구들은 생물학적 제약(예: 공간적 임베딩)을 부과하는 것이 학습을 개선할 수 있다고 제안해 왔으나, 대부분의 연구는 측정된 피질 조직보다는 정형화되거나 무작위화된 임베딩에 의존했다. 해결되지 않은 질문은 실제 피질 회로의 측정된 기하학, 배선, 그리고 기능적 구조가 일반적인 생물학적 영감을 넘어 우수한 학습을 이끄는 강력한 귀납적 편향(inductive bias)으로 작amm할 수 있는지 여부이다.

방법론
저자들은 마우스 시각 피질의 다중 모달 기능 커넥토믹스 자원인 MICrONS(Machine Intelligence from Cortical Networks) 데이터셋을 활용한다. 이 데이터셋은 동일한 뉴런 집단(~12,000개의 흥분성 뉴런)에 대해 밀집된 2광자 칼슘 이미징(기능적 활동)과 고해해상도 전자 현미경(해부학적 연결성 및 공간 좌표)을 고유하게 공동 등록(co-registers)하고 있다.

본 연구는 세 가지 특정 피질 사전 확률(priors)의 기여도를 체계적으로 분리하기 위해 11가지 생물학적 근거 기반 RNN 변형 모델 군을 구축하였다:

1. 기능적 가중치 초기화 ($W^*$ 또는 $W!$): 순환 가중치를 뉴런 활동에서 유도된 기능적 관계(Pearson 상관계수 및 Spike Time Tiling Coefficient, STTC)를 사용하여 초기화한다. 대조군 변형($W!$)은 통계적 분포는 유지하면서 특정 뉴런-대-가중치 매핑을 교란하도록 가중치를 치환한다.
2. 실제 공간 임베딩 ($D^*$): 순환 단위들을 인공 그리드($D$)가 아닌, MICrONS에서 측정된 뉴런의 세포체(soma) 좌표에 따라 배치한다.
3. 통신성 기반 정규화 ($C$ 또는 $C^*$): 학습 과정 중, 장거리 통신을 억제하거나 모델의 통신성 분포를 해부학적 연결성에서 유도된 경험적 분포와 유사하게 만드는 정규화 항을 부과한다.

이 모델들은 세 가지 인지 의사결정 과업인 One-Choice Inference, Perceptual Decision-Making, Go/NoGo에 대해 훈련된다. 성능은 과업 정확도뿐만 아니라, 학습된 가중치 행렬의 창발적 그래프 이론적 특성(엔트로피, 모듈성, 동질성, small-worldness 등)을 통해서도 평가된다. 견고성은 순환 가중치를 엄격히 양수(흥분성 전용 영역)로 제한하여 추가 테스트된다.

주요 기여

• 피질 사전 확률의 경험적 검증: 본 연구는 RNN을 측정된 피질 기하학, 배선, 기능에 근거하게 만드는 것이 일반적이거나 부분적으로 제약된 베이스라인보다 훨씬 더 나은 학습 결과를 낳는다는 것을 입증한다.
• 사전 확률의 계층적 기여: 저자들은 절제 연구(ablation studies)를 통해 다음과 같은 귀납적 편향의 계층 구조를 확립한다:
  • 기능적 초기화는 가장 크고 일반적인 성능 향상을 제공한다.
  • 실제 공간 임베딩은 견고한 이차적 개선을 제공한다.
  • 통신성 정규화는 선택적이고 맥락 의존적인 정교화를 제공한다.
• 구조-기능적 시너지: 기능적 초기화와 실제 공간 좌표 및 통신성 제약을 결-합하면, 모델이 단순히 더 정확해질 뿐만 아니라 생물학적 네트워크의 특징인 낮은 엔트로피, 모듈성, small-world 토폴로지로 수렴함을 보여준다.
• 부호 제약 하의 견고성: 저자들은 순환 구조가 양수 전용 가중치(흥분성 전용 영역 모방)로 제한된 조건에서도 기능적 초기화가 학습을 안정화하며, 무작위 초기화 모델이 실패하는 지점에서도 높은 정확도를 유지함을 보여준다.

결과

• 과업 성능: 완전히 제약된 모델(예: $W^*D^*C$ 및 $W^*D^*C^*$)은 모든 과업에서 베이스라인 및 부분 제약 변형 모델보다 일관되게 우수한 성능을 보였다. 예를 들어, 과업 1에서 완전 제약 모델은 베이스라인의 ~0.625에 비해 ~0.985의 정확도를 달연했다.
• 절제 연구 통찰:
  • 기능적 초기화를 제거하면 특히 과업 2와 3에서 성능이 급격히 하락했다.
  • 실제 좌표를 그리드($D$)로 대체하면 성능이 크게 감소하여, 실제 피질 기하학이 의미 있는 계산적 사전 확률로 작용함을 확인했다.
  • 치환된 가중치 변형($W!$)은 구조화된 변형($W^*$)과 유사한 성능을 보였는데, 이는 정밀한 뉴런-대-가중치 매핑보다는 통계적 구조가 주요 동력임을 시사한다.
• 창발적 토폴로지:
  • 엔트로피: 생물학적 제약 모델은 낮은 엔트로피(고도로 구조화된) 가중치 분포로 수렴한 반면, 베이스라인은 높은 엔트로피(무작위에 가까운) 상태를 유지했다.
  • 모듈성 및 Small-worldness: 직접적인 통신성 정규화와 실제 좌표를 적용한 모델은 강한 모듈성과 small-world 구조($\sigma \approx 1.5–2.5$)를 발달시켰다. 주목할 점은 일부 변형이 강한 모듈성 없이도 낮은 엔트로피와 높은 성능을 달성했다는 것이며, 이는 두 특성이 별개이면서도 연관된 결과임을 시사한다.
  • 동질성(Assortativity): 기능적 초기화는 네트워크를 비동질적(disassortative, 허브-주변부) 구조로 유도하는 경향이 있는 반면, 공간 제약만 있는 경우 동질적(assortative, 허브-풍부) 구조로 유도하는 경향이 있었다.
• 양수 전용 영역: 양수 전용 가중치 제약 하에서 무작위 초기화 모델은 우연 수준의 성능으로 붕괴했으나, 기능적 초기화 모델은 높은 정확도를 유지함으로써 생물학적 사전 확률이 어려운 파라미터 공간에서 최적화를 안정화할 수 있음을 입 dimostrated 했다.

의의 및 주장
본 논문은 피질의 "메커니즘"—구체적으로 기하학, 배선, 그리고 기능적 구조—이 순환 네트워크를 구축하기 위한 강력한 귀납적 기초로서 활용될 수 있다고 주장한다. 저자들은 이러한 사전 확률이 단순히 모델을 더 "생물학적으로 현실적"으로 만드는 것을 넘어, 학습 효율성과 견고성을 근본적으로 개선한다고 주장한다.

저자들이 강조하는 핵심 요점은 다음과 같다:

1. 복잡성보다 귀납적 편향: 더 나은 순환 계산은 모델의 크기나 구조적 복잡성을 늘림으로써가 아니라, 생물학적 근거를 둔 사전 확률을 통해 최적화 지형을 재구성함으로써 달성될 수 있다.
2. 구조-기능 상호 의존성: 해부학적 구조는 스캐폴드(scaffold)를 제공하지만, 기능적 정보(활동 유래 관계)가 순환 역동성을 규정하는 결정적인 제약이다. 구조 그 자체는 역동성을 유일하게 결정하지 않으며, 효과적인 영역으로 솔루션 공간을 좁히기 위해서는 기능적 사전 확률이 필요하다.
3. AI를 위한 설계 원칙: 이러한 발견은 피질 조직 원리(공간적 임베딩, 기능적 초기화, 배선 경제성)가 계산적으로 유의미하며, 특히 데이터 효율성과 견고한 내부 조직이 요구되는 영역에서 인공 시스템을 위한 재사용 가능한 설계 원칙으로 기능할 수 있음을 시사한다.

저자들은 MICrONS 데이터의 흥분성 뉴론 집중, 특정 실험 환경, 통계적이지 않은 인과적 기능 측정의 사용 등 한계를 인정하며 신중한 범위를 유지한다. 그러나 이들은 결과가 피질 미세 회로가 효율성 원칙을 중심으로 조직되어 있으며, 이것이 인공 순환 네트워크로 효과적으로 전이될 수 있다는 가설을 직접적으로 뒷받침한다고 주장한다.