기술 요약: 생물학적 타당성을 갖춘 이중 스트림 네트워크에서의 책임 분산 (Diffusing Blame)

문제 정의

생물학적 신경 회로는 각 뉴런이 순수하게 흥분성(excitatory)이거나 순수하게 억제성(inhibitory)이며, 모든 시냅스에서 동일한 신경전달물질을 방출한다는 **데일의 원리(Dale's principle)**를 준수한다. 이와 대조적으로, 표준 인공 신경망(ANN)은 임의의 부호를 가진 가중치를 사용하여 효율적인 역전파(backpropagation)를 용이하게 하지만, 이는 생물학적 충실도가 결여된 단순화이다. 또한, 역전파는 "가중치 전송 문제(weight transport problem)"를 수반한다. 즉, 역방향 패스(backward pass)는 순방향 가중치 행렬의 정확한 전치 행렬(transpose)을 사용해야 하는데, 이는 알려진 생물학적 근거가 없는 메커니즘이다.

피드백 정렬(Feedback Alignment), 직접 피드백 정렬(Direct Feedback Alignment), 예측 부호화(Predictive Coding)와 같은 여러 생물학적 타당성을 갖춘 대안들이 존재하지만, 대부분은 데일의 원리를 강제하지 못하고 임의의 가중치 부호를 허용한다. **오차 확산(Error Diffusion, ED)**은 사전 시냅스 활동, 사후 시냅스 미분값, 그리고 전역 오차 부호에 의존하는 국소 학습 규칙으로서, 데일의 원리와 자연스럽게 호환된다. 그러나 이전의 ED 구현은 이진 분류나 MNIST와 같은 간단한 작업에 국한되어 있었다. 본 연구가 다루는 핵심 과제는 데일 준수 아키텍처가 복잡한 작업(CIFAR-10 포함)을 포함한 지도 학습 분류와 강화 학습(RL) 모두에서 경쟁력 있는 성능을 달성할 수 있는지, 그리고 이러한 제약 조건 하에서 작업 의존적 요인들이 신용 할당(credit assignment)에 어떻게 영향을 미치는지 여부이다.

방법론

이중 스트림 아키텍처 (Dual-Stream Architecture)

저자들은 데일의 원리를 구조적으로 강제하기 위해 이중 스트로 아키텍처를 채택한다. 각 레이어는 흥분성($p$) 스트림과 억제성($n$) 스트림으로 나뉜다.

• 순방향 패스 (Forward Pass): 각 스트림의 사전 활성화(pre-activation)는 네 개의 비음수 가중치 행렬($W_{pp}, W_{np}, W_{nn}, W_{pn}$)을 사용하여 계산된다. 교차 스트림 연결($W_{np}, W_{pn}$)은 구조적으로 억제적(감산)이며, 모든 학습 가능한 파라미터는 비음수를 유지한다.
• 파라미터 오버헤드: 이 설계는 동일한 너비의 단일 스트림 네트워크보다 약 $4\times$ 더 많은 파라미터를 요구한다.

오차 확산 (ED) 업데이트 규칙

ED는 오차를 역전파하는 대신, 전역 출력 오차 신호를 은닉 유닛으로 직접 라우팅한다.

• 모듈로 오차 라우팅 (Modulo Error Routing): ED를 이진 분류 너머로 확장하기 위해, 저자들은 모듈로 오차 라우팅을 도입한다. 각 은닉 유닛 $i$에는 고정된 출력 채널 $r(i) = i \mod C$ (여기서 $C$는 출력 차원)가 할당된다. 유닛 $i$에 대한 학습 신호는 해당 유닛에 할당된 채널에 대응하는 오차 성분이다.
• 업데이트 메커니즘: 가중치 업데이트는 사전 시냅스 활동과 라우팅된 사후 시냅스 구동력(오차 신호가 활성화 미분에 의해 변조됨)의 곱에 비례한다. 이는 가중치 전송이나 무작위 피드백 행렬에 의존하지 않고, 은닉 유닛과 출력 차원 사이의 구조적 대응 관계에 의존함으로써 이를 회피한다.

도메인 특화 혁신

본 논문은 데일 제약 하의 다중 클래스 학습에서 나타나는 실패 모드를 해결하기 위해 분류 설정(MNIST, CIFAR-10)을 위한 세 가지 특정 혁신을 도입한다.

1. 레이어별 시그모이드 폭 (Layer-Specific Sigmoid Widths): 시그모이드 게이트형 오차 확산에서 발생하는 기울기 소실 문제(출력에서 첫 번째 은별 레이어까지 $25\times$ 감소 관찰)를 해결하기 위해, 저자들은 더 깊은 레이어에서 더 넓은 시그모이드 활성화($\alpha_i$)를 사용한다.
2. 배치 중심 클래스 오차 신호 (Batch-Centered Class Error Signals): 10-way 분류의 경우, raw one-vs-all 오차는 강한 클래스별 오프셋을 가질 수 있다. 저자들은 클래스별로 미니 배치 평균을 차감하여 제로 평균 오차 신호를 보장함으로써, 클래스 채널의 균일한 억제 또는 흥분을 방지한다.
3. 비대칭 초기화 (Asymmetric Initialization): 흥분성 은닉 가중치는 $1.5\times$ 스케일로, 억제성 가중치는 $0.5\times$ 스케일로(예상되는 3:1 비율) 초기화하며, 출력 레이어는 포화를 피하기 위해 대칭적 초기화를 사용한다.

강화 학습 확장 (ED-PPO)

RL 작업의 경우, 이중 스트림 아키텍처가 **근사 정책 최적화(PPO)**와 통합된다.

• 정책(policy) 및 가치(value) 네트워크는 이중 스트림 MLP 구조를 활용한다.
• 분류 설정과 달리, RL 확장은 ReLU 활성화와 RMS 정규화를 사용하며, 분류 특화 혁신(시그모이드 폭, 배치 중심화)은 생략한다.
• 오차 신호는 출력 채널(정책용) 또는 브로드캐스트(스칼라 가치 네트워크용)를 기반으로 은닉 유닛으로 라우팅된다.

주요 기여

1. 확장 가능한 데일 준수 아키텍처: 비음수 가중치를 유지하면서 지도 학습 분류(MNIST, CIFAR-10) 및 연속 제어 RL(Brax, Craftax) 모두에서 경쟁력 있는 성능을 달성하는 이중 스트림 ED 아키텍처를 제시한다.
2. 작업 의dependent 신용 할당: 아키텍처 구성 요소의 상대적 중요성이 작업 간에 역전됨을 보여주는 절제 연구(ablation study)를 수행했다. MNIST에서는 레이어별 시그모이드 폭이 결정적이지만, CIFAR-10에서는 배치 중심 오차가 지배적인 요인이다. 이는 신용 할당의 병목 현상이 작업 난이도에 따라 질적으로 변화함을 드러낸다.
3. 교차 도메인 평가: ED-PPO가 로코모션(locomotion) 작업에서 역전파 기반 PPO 및 직접 피드백 정렬(DFA)과 대등한 성과를 내며, 특히 복잡한 개방형 탐색 작업인 Craftax에서는 DFA를 능가함을 입증한다.

결과

분류 성능

• MNIST: 제안된 ED는 DFA 베이스라인(97.6%)에 필적하는 **96.7%**의 정확도를 달성한다.
• CIFAR-10: 제안된 ED는 **61.7%**의 정확도를 달성한다. 이는 DFA(69.1%)보다는 낮지만, "시드(seed)" ED(11.6%) 및 이전의 순수 피드포워드 ED 시도들에 비해 상당한 개선이다.
• 절제 연구의 역전: MNIST에서 레이어별 폭을 제거하면 25.3%로 급격히 떨어지는 반면, 배치 중심 오차를 제거했을 때의 영향은 미미하다(-0.3%). 반대로, CIFAR-10에서는 배치 중심 오차를 제거하면 13.8%로 대폭 하락하지만, 폭을 제거했을 때의 하락(-15.1%)은 그보다 작지만 여전히 유의미하다.

강화 학습 성능

• 로코모션 (Brax): ED-PPO는 경쟁력 있는 성능을 보인다. HalfCheetah에서 표준 BP-PPO(5494 vs 3520)를 크게 앞지르며 DFA-PPO와 대등한 수준을 보인다. Ant에서는 두 PPO 변형과 일치하는 성능을 보인다. Humanoid에서는 BP-PPO에 뒤처지지만 경쟁력을 유지한다.
• 개방형 탐색 (Craftax): ED-PPO는 20.9의 점수를 기록하여, DFA-PPO(19.8)를 유의미하게 능가하고 BP-PPO(27.0)에 근접한다. 이는 ED의 구조화된 라우팅이 복잡한 환경에서 무작위 피드백(DFA)보다 더 견고할 수 있음을 시사한다.
• 분산: ED-PPO는 일부 환경에서 BP-PPO보다 높은 분산을 보이는데, 이는 거친(coarse) 오차 라우팅이 확률성을 도입함을 시사한다.

사후 분석 (Post-Hoc Analysis)

• 기울기 감쇄: 대리 기울기(surrogate gradients)가 출력에서 첫 번째 은닉 레이어까지 $25\times$ 감쇄되는 것이 관찰되었으며, 이것이 더 넓은 시그모이드 폭을 사용하는 동기가 되었다.
• 창발적 E/I 균형: 비대칭적인 3:1 초기화에도 불구하고, 훈련 과정에서 은닉 레이어가 거의 균형 잡힌 E/I 비율($\sim1:1$)로 유도되며, 더 깊은 레이어는 약간 억제 우세(inhibitory-dominant) 경향을 보인다. 이는 생물학적 항상성 메커니즘을 반영한다.
• 암시적 희소성: 비음수 가중치 하한선은 상당한 희소성을 유도하며, 억제 연결의 최대 68.8%가 바닥(floor)으로 프루닝(pruned)된다. 이는 구조적 용량 병목 현상을 시사한다.

의의 및 주장

본 논문은 생물학적 타당성을 갖춘 학습 규칙이 단일한 형태일 필요는 없으며, 적절한 도메인 특화 구성 요소를 추가함으로써 공유된 아키텍처 코어가 다양한 작업 요구를 지원할 수 있다고 주장한다.

• 생물학적 타당성 vs 성능: 본 연구는 데일의 원리를 강제하는 것이 복잡한 작업에서의 학습을 불가능하게 하지 않음을 보여준다. 다만, 성능 비용(예: CIFAR-10의 정확도 격차 및 RL의 분산)이 발생한다.
• 작업 의존적 병목 현상: MNIST와 CIFAR-10 사이의 절제 연구 역전은 단일 벤치마크 평가가 중요한 설계 트레이드오프를 가릴 수 있음을 강조한다. 단순 작업에서 학습을 안정화하는 요소가 복잡한 작업에는 불충분할 수 있다.
• 창발적 자기 조직화: 명시적인 항상성 메커니즘 없이도 네트워크가 균형 잡힌 E/I 비율로 자기 조직화된다는 관찰은, 데일 제약 하의 기울기 기반 학습이 생물학적 자기 조직화를 재현할 수 있음을 시사한다.
• 하드웨어적 함의: 비음수 가중치 제약은 물리적 요소가 자연스럽게 비음수 값을 인코딩하고 집단 정체성에 의해 부호가 결정되는 신흥 뉴로모픽 기판(예: 광학 또는 아날로그 하드웨어)과 잘 부합한다.

저자들은 현재의 비제약 역전파와의 정확도 격차에도 불구하고, 이중 스트림 ED 프레임워크가 단순 벤치마크를 넘어 확장 가능한, 생물학적으로 충실한 학습을 향한 실행 가능한 경로를 제공하며, 데일 제약 하에서 신용 할당이 어떻게 기능하는지에 대한 새로운 통찰을 제공한다고 결론짓는다.