A flexible framework for structural plasticity in GPU-accelerated sparse spiking neural networks

1. 문제 정의 (Problem)

• 기존 연구의 한계: 인공지능 (ANN) 및 생물학적 뇌 모델링 연구의 대부분은 시냅스 가소성 (기존 연결의 강도 변화) 에 집중하고 있습니다. 반면, 생물학적 뇌에서는 새로운 연결 생성과 제거를 포함하는 **구조적 가소성 (Structural Plasticity)**이 학습, 적응, 손상 회복 및 자원 최적화에 필수적입니다.
• 기계학습 (ML) 의 비효율성: 기존 ML 프레임워크는 주로 밀집된 (dense) 연결을 기반으로 최적화되어 있어, 학습 후 약한 연결을 제거하는 가지치기 (pruning) 가 훈련 비용 (training cost) 을 줄이는 데 도움이 되지 않습니다.
• 시뮬레이션의 병목 현상: 구조적 가소성을 구현하는 기존 시뮬레이션은 주로 CPU 기반 (SpiNNaker 등) 이거나, 연결 구조가 메모리에 고정되어 있어 동적 변경 시 데이터 구조의 재할당 (re-allocation) 이나 복잡한 메모리 이동이 필요하여 GPU 가속 환경에서 계산 비용이 매우 높았습니다.
• 핵심 과제: GPU 환경에서 연결 구조를 동적으로 변경하면서도 데이터 구조의 재할당을 피하고, 데이터 이동량을 최소화하며, **효율적인 메모리 접근 (coalesced memory read)**을 유지하는 프레임워크가 필요했습니다.

2. 방법론 (Methodology)

저자들은 **GeNN (GPU-accelerated Spiking Neural Network simulator)**을 기반으로 한 새로운 유연한 구조적 가소성 프레임워크를 개발했습니다.

• 핵심 데이터 구조 (Ragged Matrix):
  • GeNN 의 기존 희소 연결 표현 방식인 'Ragged Matrix'를 활용합니다. 각 행 (presynaptic neuron) 은 타겟 뉴런 인덱스를 포함하며, 최대 연결 수 (out-degree) 로 패딩됩니다.
  • 동적 변경 전략: 연결을 추가할 때는 행의 끝을 활용하고, 제거할 때는 행의 마지막 요소를 제거된 위치로 이동시켜 (swap) 데이터 구조의 재할당 없이 연결을 변경합니다. 이는 GPU 병렬 처리에 적합합니다.
• 커스텀 연결 업데이트 (Custom Connectivity Updates):
  • GeNN 의 코드 생성 기반 접근법을 확장하여, 사용자가 Python 과 GeNNCode(C99 하위 집합) 를 사용하여 CPU/GPU 하이브리드 구조적 가소성 규칙을 정의할 수 있게 했습니다.
  • row_update_code(GPU 병렬 실행) 와 host_update_code(CPU 직렬 실행) 를 분리하여 복잡한 논리를 처리합니다.
  • 임의의 시냅스 변수, 뉴런 변수, 난수 생성기 (RNG) 에 접근할 수 있도록 지원합니다.
• 구현된 두 가지 주요 애플리케이션:
  1. DEEP R (Supervised Learning):
     • e-prop 학습 규칙과 결합하여 희소 네트워크를 훈련합니다.
     • 가중치 부호가 바뀔 것으로 예상되는 시냅스를 '휴면 (dormant)' 상태로 표시하고 제거한 뒤, 무작위로 새로운 시냅스를 생성하여 연결 밀도를 일정하게 유지합니다.
     • GeNN 의 희소 행렬 구조에 맞춰 2 개의 비트필드 (sign, presence) 만 추가로 사용하여 효율성을 극대화했습니다.
  2. Topographic Map Formation (Unsupervised Learning):
     • Bamford, Murray, Willshaw 모델의 변형을 구현했습니다.
     • 형성 (Formation): 뉴런 간 거리 (가우시안 분포) 에 의존하는 활동 무관 규칙.
     • 제거 (Elimination): 시냅스 강도 (STDP 기반) 에 의존하는 활동 의존 규칙 (약한 시냅스 제거).
     • 병렬 처리를 위해 여러 재연결 (rewiring) 시도를 동시에 수행하도록 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. GPU 기반 구조적 가소성 프레임워크의 최초 구현: 범용 병렬 하드웨어 (GPU) 에서 구조적 가소성 규칙을 유연하게 정의하고 효율적으로 실행할 수 있는 최초의 프레임워크를 제시했습니다.
2. GeNN 및 mlGeNN 확장: 기존 GeNN 라이브러리에 '커스텀 연결 업데이트' 기능을 추가하고, 머신러닝 워크플로우를 위한 mlGeNN 에 DEEP R 알고리즘을 통합했습니다.
3. 효율적인 알고리즘 설계: 연결 구조의 재할당 없이 연결을 추가/제거하는 'Ragged Matrix' 기반의 최적화 기법을 제안하여 GPU 메모리 접근 효율성을 높였습니다.
4. 다양한 학습 패러다임 검증: 지도 학습 (분류) 과 비지도 학습 (지도도 맵 형성) 두 가지 서로 다른 맥락에서 프레임워크의 유효성을 입증했습니다.

4. 결과 (Results)

• 분류 성능 (DEEP R 적용):
  • N-MNIST 및 DVS 제스처 데이터셋에서 희소 연결 (연결 확률 1%~5%) 을 가진 순환형 SNN 분류기를 훈련했습니다.
  • 성능: DEEP R 을 적용한 희소 모델은 밀집 (dense) 모델과 동등한 정확도 (예: DVS 제스처 88.86% vs 밀집 88.94%) 를 달성했습니다.
  • 파라미터 효율성: 밀집 모델 대비 약 90 배 적은 파라미터로 동일한 성능을 달성했습니다.
  • 훈련 속도: 희소 모델의 훈련 시간은 밀집 모델 대비 최대 10 배 (1% 연결 시 15 배) 빨라졌습니다. 구조적 가소성 업데이트 자체의 오버헤드는 전체 훈련 시간의 1% 미만에 불과했습니다.
• 지도도 맵 형성 (Topographic Map):
  • 실시간 (real-time) 보다 빠른 속도로 시뮬레이션이 수행되었습니다.
  • 네트워크 크기 (s=1 에서 s=7 까지, 256 개에서 12,544 개 뉴런) 를 확장했을 때, 네트워크 크기는 49 배 증가했으나 시뮬레이션 시간은 약 10 배만 증가하여 **뛰어난 확장성 (Scalability)**을 보였습니다.
  • 시냅스 형성 및 제거의 역동적인 과정을 분석하여 수용野 (receptive field) 의 정교화가 발생하는 것을 확인했습니다.
• 성능 병목:
  • DEEP R 기반 분류 모델에서는 가소성 업데이트 오버헤드가 미미했으나, 빈번한 연결 업데이트가 필요한 지도도 맵 모델에서는 전체 실행 시간의 약 90% 를 연결 업데이트 (특히 역행렬 리맵핑) 가 차지했습니다. 이는 향후 최적화 과제로 남았습니다.

5. 의의 및 결론 (Significance)

• 생물학적 현실성과 계산 효율성의 조화: 생물학적 뇌의 구조적 가소성 메커니즘을 GPU 가속 환경에서 효율적으로 모사할 수 있는 길을 열었습니다.
• 스파이크 기반 머신러닝 (Spike-based ML) 의 진전: 희소 네트워크가 밀집 네트워크와 동등한 성능을 내면서도 계산 비용과 메모리 사용량을 획기적으로 줄일 수 있음을 입증하여, 에지 디바이스 및 저전력 AI 응용에 기여할 수 있습니다.
• 미래 연구의 토대: 이 프레임워크는 뉴런 생성 (neurogenesis) 시뮬레이션, 다양한 구조적 가소성 규칙 탐구, 그리고 Loihi 나 BrainScaleS-2 와 같은 뉴로모픽 하드웨어로의 확장 가능성을 제공합니다.
• 오픈 소스 기여: 모든 소스 코드가 GitHub 에 공개되어 있어, 연구 커뮤니티가 구조적 가소성과 희소 네트워크 연구에 쉽게 접근하고 재현할 수 있게 했습니다.

요약하자면, 이 논문은 GPU 환경에서 구조적 가소성을 효율적으로 구현할 수 있는 혁신적인 프레임워크를 제시함으로써, 생물학적 뇌의 학습 메커니즘을 모방하면서도 대규모 신경망의 훈련 비용을 획기적으로 절감하는 새로운 가능성을 제시했습니다.