Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

1. 문제 제기 (Problem)

• 역전파 (Backpropagation) 의 생물학적 비현실성: 대규모 인공 신경망 훈련에 혁신적인 성과를 거둔 역전파 알고리즘은 뇌의 학습 메커니즘을 설명하는 데 있어 심각한 생물학적 타당성 (Biological Plausibility) 문제를 안고 있습니다.
• 가중치 수송 (Weight Transport) 문제: 역전파는 오차를 출력층에서 입력층으로 역전파할 때, 순방향 (Forward) 경로와 동일한 시냅스 가중치 (또는 그 전치 행렬) 를 사용해야 합니다. 생물학적 신경망에서는 물리적으로 분리된 순방향 및 역방향 경로가 동일한 가중치를 공유한다는 것은 실험적 증거에 비추어 매우 불가능한 시나리오입니다.
• 단순화된 뉴런 모델: 기존 생물학적 타당성 모델들은 종종 다중 구획 (Multi-compartment) 뉴런의 복잡한 구조 (예: 수상돌기 처리) 를 충분히 반영하지 못하거나, 여전히 가중치 대칭성 문제를 해결하지 못했습니다.

2. 방법론 (Methodology)

저자들은 **상관 정보 최대화 (Correlative Information Maximization, CorInfoMax)**를 새로운 규범적 (Normative) 목적 함수로 제안하여 위 문제들을 해결합니다.

• 상관 상호 정보 (Correlative Mutual Information, CMI) 최대화:

  • 인접한 두 층 (Layer) 의 활성화 신호 간의 선형 의존성을 최대화하는 것을 목표로 합니다.
  • CMI 는 두 가지 동등하지만 다른 표현 형태를 가집니다. 하나는 앞선 층으로부터의 예측 (Forward Prediction), 다른 하나는 뒤따르는 층으로부터의 예측 (Backward Prediction) 에 기반합니다.
  • 핵심 아이디어: 이 두 가지 표현을 동시에 최적화함으로써, 순방향 예측 네트워크와 역방향 예측 네트워크가 자연스럽게 비대칭적인 가중치를 갖도록 유도합니다. 이는 가중치 수송 문제를 근본적으로 해결합니다.

• 생물학적 신경망 구조의 도출:

  • CMI 목적 함수의 경사 상승 (Gradient Ascent) 최적화 과정을 통해, 3 구획 피라미드 뉴런 (Three-compartment Pyramidal Neuron) 모델이 자연스럽게 도출됩니다.
  • 구조적 특징:
    • 체 (Soma): 막 전위 $u^{(k)}$를 담당.
    • 기저 수상돌기 (Basal Dendrites): 순방향 입력 ($W_{ff}$) 을 받음.
    • 원위 정단 수상돌기 (Distal Apical Dendrites): 역방향 (Top-down) 입력 ($W_{fb}$) 과 측방향 (Lateral) 입력을 받음.
    • 측방향 억제 (Lateral Inhibition) 및 자가 시냅스 (Autapses): 층 내 엔트로피를 최대화하고 표현의 차원 축소를 방지하기 위해 도입되며, 이는 억제성 인터뉴런 (SST interneurons) 의 활동으로 해석됩니다.

• 학습 동역학 (Learning Dynamics):

  • 평형 전파 (Equilibrium Propagation, EP) 기반: 학습은 '자유 단계 (Free phase, $\beta=0$)'와 '밀어내기 단계 (Nudged phase, $\beta>0$)'로 나뉘어 수행됩니다.
  • 두 단계 간의 신경 활동 차이를 이용하여 시냅스 가중치 (순방향, 역방향, 측방향) 를 업데이트합니다.
  • 가중치 업데이트 규칙은 뉴런의 막 전위 차이 (Soma 와 수상돌기 간의 전위차) 에 기반하여 국소적 (Local) 으로 계산됩니다.

3. 주요 기여 (Key Contributions)

1. 가중치 대칭성 문제의 자연스러운 해결: CMI 의 두 가지 대안적 표현을 사용하여 순방향과 역방향 예측 경로를 생성함으로써, 가중치 전치 (Transpose) 없이도 효과적인 오차 전파를 가능하게 합니다. 이는 기존 예측 코딩 (Predictive Coding) 기반 방법들이 필요로 하던 '화이트닝 (Whitening)' 제약이나 추가적인 가중치 정렬 메커니즘 없이 비대칭 가중치를 달성합니다.
2. 다중 구획 뉴런 모델의 규범적 유도: 정보 이론적 원리 (정보 최대화) 에서 출발하여, 실험적으로 관찰된 3 구획 피라미드 뉴런과 억제성 인터뉴런을 포함한 복잡한 신경망 구조가 자연스럽게 도출됨을 증명했습니다.
3. 생물학적 타당성과 성능의 균형: 가중치 수송 문제와 단순화된 뉴런 모델이라는 두 가지 주요 생물학적 비판을 동시에 해결하면서도, 실제 이미지 분류 작업에서 기존 생물학적 타당성 모델들 (EP, PC 등) 과 비교해 경쟁력 있거나 더 나은 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 이미지 분류 작업 수행.
• 성능 비교:
  • 제안된 CorInfoMax 네트워크는 Feedback Alignment (FA), Equilibrium Propagation (EP), Predictive Coding (PC) 등 다른 생물학적 타당성 알고리즘들과 비교하여 동등하거나 더 높은 테스트 정확도를 기록했습니다.
  • 특히 CIFAR-10 에서 CorInfoMax-B1,+ 모델은 약 51.19% 의 정확도를 보였으며, 이는 EP(49.28%) 보다 우수했습니다.
  • 전통적인 역전파 (Backpropagation) 와 비교해도 경쟁력 있는 성능을 보였습니다.
• 가중치 비대칭성 검증: 순방향 가중치와 역방향 가중치 전치 간의 코사인 각도 (Cosine Angle) 를 측정한 결과, 학습이 진행됨에 따라 두 가중치가 수렴하지 않고 약 60~90 도 사이의 각도를 유지하여 명확한 비대칭성이 유지됨을 확인했습니다. 이는 가중치 수송 문제가 해결되었음을 의미합니다.

5. 의의 및 결론 (Significance)

• 뇌 학습 메커니즘에 대한 새로운 통찰: 이 연구는 뇌가 역전파와 유사한 지도 학습을 수행할 때, 가중치 대칭성이라는 물리적 제약을 우회하여 어떻게 효율적인 오차 할당 (Credit Assignment) 을 수행할 수 있는지에 대한 강력한 이론적 틀을 제공합니다.
• 뉴로모픽 하드웨어 적용 가능성: 제안된 알고리즘은 국소적 학습 규칙 (Local Learning Rules) 에 기반하고 있으며, 뉴런의 동역학이 지역적인 신호 (막 전위, 시냅스 입력) 만을 사용하여 학습하므로, 향후 저전력 뉴로모픽 칩 (Neuromorphic Chips) 에 효율적으로 구현될 수 있는 잠재력을 가집니다.
• 확장성: 현재는 지도 학습에 초점을 맞추었으나, 이 프레임워크는 비지도 및 자기지도 학습 (Self-supervised Learning) 으로도 확장 가능할 것으로 기대됩니다.

요약하자면, 이 논문은 **정보 이론 (상관 정보 최대화)**을 기반으로 하여, 가중치 대칭성 문제 없이 생물학적으로 타당한 다중 구획 뉴런 구조를 가진 심층 신경망을 설계하고, 이를 통해 실제 이미지 분류 작업에서 높은 성능을 입증한 획기적인 연구입니다.