기술 요약: 로컬 페로몬 네트워크 (Local Pheromone Network)

문제 정의

현대의 신경망은 전역적 역전파(global backpropagation)를 통해 훈련되는 조밀하고 미분 가능한 모듈에 의존한다. 이 방식은 강력하지만, 학습을 방대한 파라미터 세트에 결합시켜 새로운 태스크가 이전 태스크에 필수적인 파라미터를 덮어쓸 때 발생하는 **파괴적 망각(catastrophic forgetting)**을 초래한다. 생물학적 시스템은 시냅스가 국소적이고, 가소성이 신경조절 신호에 의해 조절되며, 기억이 시간이 지남에 따라 공고화되는 대안적 패러다임을 제시한다. 그러나 기존의 계산 모델들은 엄격하게 국소적이고, 희소하며, 역전파를 기반으로 하지 않는 학습 규칙을 준수하는 통합된 엔지니어링 프로토타입이 부족한 경우가 많다.

방법론: 로컬 페로몬 네트워크 (LPN)

본 논문은 희소하고 국소적이며 수동으로 업데이트되는 신경망을 위한 연구 프로토타입인 **로컬 페로몬 네트워크(Local Pheromone Network, LPN)**를 소개한다. 이 아키텍처는 자동 미분(automatic differentiation)을 완전히 배제하고, 대신 커스텀 로컬 학습 규칙에 의존한다.

핵심 아키텍처

• 희소 국소 연결성 (Sparse Local Connectivity): 각 출력 유닛은 고정된 예산 내의 이웃 입력 유닛($K$개의 이웃)에만 연결된다. 연결은 다음 조건에 의해 제한된다:
  • 기하학적 거리: 유닛들은 1D 또는 2D 그리드 상에 배치된다.
  • 분자 태그 (Molecular Tags): 연결은 호환 가능한 정수 태그를 가진 유닛 사이($\Delta t$ 거리 이내)에서만 허용된다.
• 상태 표현: 각 시냅스는 다음을 저장한다:
  • 훈련 가능한 가중치 ($W$).
  • 단기 페로몬 흔적 ($s$) 및 장기 페로몬 흔적 ($p$).
  • 선택적 공고화 상태 ($c$).
• 순전파 (Forward Pass): 유효 가중치는 페로몬 게이트($g$)에 의해 조절되며, 이 게이트는 단기와 장기 페로몬 질량의 합을 정규화한다. 이를 통해 네트워크는 추론 과정에서 기본 가중치를 변경하지 않고도 국소 경로에 동적으로 가중치를 부여할 수 있다.

학습 규칙

학습은 경사 하강법 대신 국소적이고 예산이 정해진 헤브식(Hebbian-style) 업데이트를 통해 진행된다:

1. 오차 신호: 국소 오차 텐서가 계산된다. 은닉층의 경우, 근사된 피드백 신호가 유효한 국소 가중치와 활성화 도함수를 통해 전파된다 (이는 생물학적 정확성이 아닌 엔지니어링적 근사치이다).
2. 예산 적응 (Budget Adaptation): 출력 유닛당 업데이트되는 시냅스 수($B$)는 손실 트렌드에 따라 온라인으로 적응한다:
   • 착취 모드 (Exploit Mode): 손실이 개선되면 예산이 축소된다.
   • 이웃 추적 모드 (Neighbor-Follow Mode): 손실이 악화되면 국소 탐색을 장려하기 위해 최근 활성화된 이웃 방향으로 예산이 확장된다.
3. 시냅스 선택: 업데이트할 시냅스 부분 집합은 국소 신호 크기($|q|$)와 장기 페로몬($p$)을 결합한 점수에 따라 선택된다.
4. 업데이트 메커니즘: 선택된 가중치는 국소 신호와 공고화 상태에서 유도된 가소성 승수($\rho$)를 사용하여 업데이트된다.
5. 페로몬 역학:
   • 강화: 활발한 공동 활동과 오차 신호는 단기 및 장기 페로몬을 모두 강화한다.
   • 증발: 흔적은 서로 다른 비율($\lambda_s, \lambda_p$)로 감소하며, 다중 스케일 메모리를 생성한다.
6. 공고화 (Consolidation): 특정 기준(낮은 손실, 양의 강화, 높은 장기 페로몬)이 충족되면 시냅스는 공고화 상태에 진입한다. 이는 가소성($\rho$)을 감소시켜 상충하는 태스크로부터 해당 연결을 보호한다.
7. 구조적 가소성 및 재생 (Structural Plasticity & Replay):
   • 구조적 가소성: 페로몬이 낮고 선택되지 않은 시냅스는 제거(pruning)될 수 있으며, 활성화된 이웃 내의 태그 호환 후보로 교체될 수 있다.
   • 국소 재생 (Local Replay): 새로운 업데이트가 손실 급증(충돌 징후)을 일으키면, 이전의 "착취" 또는 "안정" 모드에서 저장된 저손실 예시들을 동일한 국소 업데이트 규칙을 사용하여 재생함으로써 망각을 완화한다.

주요 기여

본 논문의 기여는 주로 기술적 및 아키텍처적이며, 특정 클래스의 국소 학습 시스템을 공식화하는 데 있다:

1. 희소 국소 레이어의 공식화: 공간적 국소성과 태그 호환성에 의해 연결이 엄격히 정의되는 레이어로, 밀집 텐서가 아닌 희소 행렬로 저장된다.
2. 페로몬 게이트 학습: 학습이 다중 스케일 페로몬 흔적에 의해 게이팅되는 메커니즘으로, 일시적인 활동과 안정적인 기억을 구분한다.
3. 예산 적응형 시냅스 선택: 성능에 따라 학습 예산을 축소하거나 확장하여, 에러가 증가할 때 국소 탐색을 우선시하는 동적 메커즘을 제공한다.
4. 공고화 기반 안정성: 성숙한 연결에 대해 가소성을 줄임으로써 안정성과 가소성 사이의 균형을 명시적으로 조절하는 개별 시냅스 공고화 메커니즘을 제안한다.
5. 국소 재생의 통합: 역전파를 호출하지 않고도 저장된 예시들에 국소 업데이트 규칙을 재적용하여 충돌을 해결하는 방법을 통합한다.

실험 결과

저자들은 경쟁적인 벤치마크 대신 합성 태스크에 대한 예비 행동 프로브를 제시한다:

• 국소 회귀 (Local Regression): 네트워크는 단순한 국소 선형 매핑(12 입력 $\to$ 3 출력)을 성공적으로 학습하여 MSE를 약 1.17에서 0.008로 낮추었으며, 이는 기하학적 구조가 태스크 구조와 일치할 때 국소 업데이트 규칙의 효용성을 확인시켜 준다.
• 분할된 메모리 (Partitioned Memory): 서로 다른 출력 영역과 태그에 할당된 태스크들이 독립적으로 보존되었다.
• 충돌하는 메모리: 두 태스크가 동일한 국소 시냅스를 두고 경쟁할 때, 공고화가 없다면 예상대로 파괴적 망각(손실 비율 약 92배)이 발생했다.
• 공고화된 충돌 (Consolidated Conflict): 공고화를 활성화하면 망각이 현저히 감소했으나(베이스라인의 손실 비율 ~1481배 대비 ~49배), 새로운 충돌 태스크를 학습하는 속도는 느려졌다. 이는 의도된 안정성-가소성 트레이드오프를 보여준다.
• 구조적 가소성 및 재생: 시스템은 국소 이웃을 성공적으로 조정하고, 충돌이 감지되었을 때 재생 단계를 트리거했다.
• 하이브리드 메모리: 합성된 롱 컨텍스트 태스크에서, 표준 컨볼루션 예측기와 LPN 메모리 브랜치를 결합한 하이브리드 모델은 100% 정확도를 달랐으나, 컨볼루션 베이스 단독으로는 실패했다(정확도 8%).

의의 및 주장

본 논문은 LPN을 트랜스포머나 표준 딥러닝을 대체하기 위한 것이 아니라, 겸손한 엔지니어링 프로토타입으로 포지셔닝한다.

• 입증된 내용:
  1. 희소하고 태그로 제한된 국소 레이어가 autograd 없이도 단순한 국소 함수를 적합할 수 있음.
  2. 출력 마스크와 태그가 영역 간의 기억을 효과적으로 분리할 수 있음.
  3. 공유 시냅스에서의 직접적인 충돌은 망각을 유발하지만, 공고화가 가소성을 줄임으로써 이를 완화할 수 있음.
  4. 국소 재생과 구조적 가소성이 단일 국소 업데이트 루프 내에 통합될 수 있음.
• 입증하지 못한 내용:
  • 시퀀스 모델링 아키텍처(Transformer, RNN 등)를 대체할 경쟁적인 모델이 아님.
  • 대규모 시퀀스 모델링 문제를 해결하지 못함.
  • 은닉층 피드백 신호는 생물학적으로 정확한 규칙이 아닌 엔지니어링적 근사치임.

저자들은 이 아키텍처가 국소 메모리, 뇌 영역 분할, 그리고 안정성-가소성 역학을 조사하기 위한 구체적인 테스트베드 역할을 한다고 결론지으며, 향후 컨벤셔널 러너가 밀집 특징을 제공하고 LPN 브랜치가 분할된 장기 연관을 저장하는 하이브리드 모델에서의 잠재력을 시사한다.