Learning in Deep Networks under Dale's Constraint

기술 요약: 데일의 제약 조건(Dale's Constraint) 하에서의 딥 네트워크 학습

문제 정의
딥러닝은 시스템 신경과학의 주요 프레임워크가 되었으나, 표준 역전파(backpropagation) 알고리즘은 생물학적 타당성 측면에서 상당한 난관에 봉착해 있다. 핵심적인 장애물은 **데일의 제약(Dale's constraint)**이다. 생물학적 뉴런은 순수하게 흥분성(excitatory)이거나 순수하게 억제성(inhibitory)이며, 시냅스는 부호를 바꿀 수 없다. 또한, 뉴런의 활동(발화율)은 본질적으로 비음수(non-negative)이다. 표준 역전파는 부호가 있는 활성화, 부호가 있는 오차 신호, 그리고 부호 제약이 없는 시냅스 가중치에 의존하여 기울기(gradient)를 전파한다. 기존의 생물학적으로 타당한 학습 모델들(예: 예측 부호화, 피드백 정렬)은 데일의 법칙을 준수하면서 동시에 활동의 비음수성을 만족시키고 정확한 기울기 업데이트를 복구하는 데 종종 실패한다. 구체적으로, 많은 모델이 혼합된 부호의 값을 나타내는 뉴런을 허용하거나 국소적 시냅스 제약을 위반하는 전역적 오차 신호에 의존한다.

방법론
저자들은 데일의 제약을 엄격히 준수하고 비음수 활동을 지원하면서도 역전파와 유사한 학습을 지원하는 새로운 신경 구조와 학습 규칙을 제안한다.

1. On-Off 신경 회로 모티프(On-Off Neural Circuit Motif):

   • 핵심 구성 요소는 흥분성 및 억제성 뉴런으로 구성된 작은 회로 모티프이다.
   • 이 모티프는 두 개의 비음수 입력($x_1, x_2 \ge 0$)을 두 개의 비음수 출력 채널인 $y^+$ (On)와 $y^-$ (Off)로 매핑한다.
   • 이 회로는 "소프트(soft)" 차이 연산을 구현한다. 만약 $x_1 > x_2$이면 On 채널이 활성화되고, $x_2 > x_1$이면 Off 채널이 활성화된다.
   • 부호가 있는 양($d = x_1 - x_2$)은 혼합된 부호를 가진 단일 뉴런이 아니라, 두 개의 비음수 채널 쌍에 의해 표현된다. 즉, 양의 차이는 $y^+$에 인코딩되고, 음의 차이는 동일한 크기로 $y^-$에 인코딩된다. 차이가 임계값 미만인 경우 두 채널 모두 0이 될 수 있다.

2. 네트워크 구조:

   • 표준 딥 네트워크는 각 혼합 부호 뉴런을 On-Off 모티프로 교체함으로써 구축된다.
   • 네트워크는 두 개의 스트림으로 작동한다:
     • 순방향(Bottom-Up, BU): On-Off 모티프를 사용하여 순방향 활성화를 계산한다.
     • 역방향(Top-Down, TD): 학습을 위해 피드백 신호를 전파한다. 모든 BU 모티프에 대해, 두 개의 대응하는 TD 모티프(하나의 BU On 채널과 하나의 BU Off 채널에 대응)가 존재한다.
   • TD 스트림 또한 양수와 음수 시냅스 업데이트를 표현하기 위해 쌍을 이룬 비음수 채널을 사용한다.

3. 국소 헤브 학습 규칙(Local Hebbian Learning Rule):

   • 학습은 시냅스 전 BU 활동과 쌍을 이룬 TD 피드백 신호를 결합한 국소 헤브 업데이트에 의해 주도된다.
   • 시냅스 전 활동 $x_j$를 가진 시냅스의 경우, 업데이트는 두 개의 TD 채널에 의해 결정된다:
     • 양의 TD 채널($\bar{\partial}_i$) 내의 활동은 시냅스 가중치의 헤브적 증가를 유도한다.
     • 음의 TD 채널($\partial_i$) 내의 활동은 헤브적 감소를 유도한다.
   • 유효 업데이트는 $\Delta W_{ij} = \eta x_j (\bar{\partial}_i - \partial_i)$이다.
   • 결정적으로, 시냅스 가중치 $W_{ij}$ 자체는 고정된 부호(흥분성 또는 억제성)를 가지지만, 그 크기는 두 비음수 TD 신호의 차이에 따라 업데이트된다.

이론적 분석
저자들은 특정 조건 하에서 이 국소 학습 체계가 역전파 업데이트를 정확하게 복구한다는 이론적 증명을 제공한다:

• 가정: BU 네트워크는 선형 연산과 ReLU 비선형 함수로 구성되며, BU와 TD 가중치는 정렬(대칭)되어 있다.
• 메커니즘: TD 전파는 역전파 오차 신호($\delta_l$)와 동일한 재귀를 만족한다. 즉, 두 비음수 TD 채널 사이의 차이($\bar{\partial}_l - \partial_l$)는 ReLU 미분(활성 상태인 BU 채널에 의해 게이팅됨)에 의해 제어되면서, 표준 역전파에서의 부호 있는 오차 신호 $\delta_l$과 정확히 동일하게 역방향으로 전파된다.
• 결과: 결과적으로, 국소 헤브 업데이트 $\eta (\bar{\partial}_l - \partial_l) h_{l-1}^T$는 수학적으로 경사 하강법 업데이트 $-\eta \frac{\partial L}{\partial W_l}$와 동일하다.

실험 결과
모델은 이미지 분류 벤치마크를 통해 평가되었다:

• 통제된 실험 (MNIST, Fashion-MNIST, CIF CIFAR-10):
  • 대칭 헤브 모델(BU와 TD 가중치가 정렬된 경우)은 동일한 유효 너비를 가진 표준 역전파 학습 네트워크와 대등한 테스트 정확도를 달了.
  • "약한 대칭(weak symmetry, 노이즈가 있는 정렬)" 및 "학습된 모티프(learned motif)" 가중치를 적용한 변형 모델들도 우수한 성능을 보였으며, 이는 해당 아키텍처가 불완전한 정렬에 견고하며 내부 가중치가 반드시 단위 크기(unit-magnitude)일 필요가 없음을 시사한다.
  • On-Off 모델은 유사한 크기의 표준 ReLU MLP보다 뛰어난 성능을 보였는데, 이는 쌍을 이룬 채널 표현이 단순히 뉴런 수를 두 배로 늘리는 것 이상의 계산적 이점을 제공함을 시사한다.
• 확장성 (Tiny ImageNet):
  • 더 어려운 벤치마크인 Tiny ImageNet (200 클래스)에서, 국소 헤브 학습을 적용한 On-Off 모델은 42.31%의 top-1 정확도를 달성했다.
  • 이는 최근의 생물학적 영감을 받은 베이스라인인 Self-Contrastive Forward-Forward (SCFF, 35.7%) 및 동일한 너비를 가진 표준 컨볼루션 베이스라인(35.58%)을 크게 상회하는 수치이다.
  • 이 결과는 해당 아키텍처가 더 깊은 컨볼루션 네트워크로 효과적으로 확장될 수 있음을 보여준다.

의의 및 주장
본 논문은 데일의 법칙과 비음수 활동의 제약을 받는 네트워크에서 어떻게 효과적인 신용 할당(credit assignment)을 구현할 것인가라는, 생물학적 타당한 학습의 오랜 불일치 문제를 해결한다고 주장한다.

• 생물학적 타당성: 이 모델은 혼합 부호 뉴런이 음수 값을 나타내거나 시냅스가 부호를 바꿀 필요 없이, 구조화된 비음수 신경 집단 간의 상호작용을 통해 부호 있는 학습 신호가 어떻게 나타날 수 있는지를 보여준다. 이는 망막과 시각 피질의 On-Off 경로, 그리고 최근의 벡터화된 수상돌기 피드백에 대한 생물학적 증거와 일치한다.
• 계산적 효용성: 생물학적 제약이 반드시 성능 저하를 초래한다는 가정과 달리, On-Off 아키텍처는 동일한 크기의 표준 "바닐라" 네트워크와 대등하거나 종종 이를 능가한다. 저자들은 쌍을 이룬 채널 표현이 시각적 특징(예: 상보적인 에지 극성 또는 배경-객체 대비)을 인코딩하는 효율적인 방법이며, 생물학적 실재성과 함께 계산적 이점을 제공한다고 제안한다.
• 한계점: 저자들은 이 모델이 피질 학습의 완전한 생물학적 모델은 아님을 인정한다. 이 모델은 표준 네트워크에 비해 뉴런(또는 채널)을 두 배로 필요로 하며, BU 및 TD 경로의 정렬에 의존하지만, 이러한 정렬이 반드시 완벽할 필요는 없다는 점을 보여주었다.

요약하자면, 이 연구는 데일 제약이 있는 네트워크에서 역전파와 유사한 학습을 위한 구체적인 메커니즘을 제공하며, 경사 기반 학습의 계산적 능력과 생물학적 신경 회로의 물리적 제약 사이의 간극을 메우고 있다.