Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

기술 요약: 엔드 투 엔드 모델 기반 학습을 통한 연속 제어용 스파이킹 신경망

문제 정의
스파이킹 신경망(SNN)의 분류 성능은 최근 비약적으로 발전했으나, 연속적인 운동 제어에 대한 적용은 여전히 제한적이다. 생물학적 뇌는 견고하고 적응 가능하며 저지연인 운동 행동을 위해 스파이크 기반 통신을 활용하지만, 이를 로보틱스를 위한 실용적인 머신러닝 시스템으로 변환하는 것은 도전적인 과제이다. 주요 병목 현상은 연속적인 작업을 위해 SNN을 엔드 투 엔드(end-to-end)로 학습시키는 어려움이다. 매끄러운 그래디언트(gradient)의 이점을 누리는 표준 인공 신경망(ANN) 및 게이트형 순환 신경망(RNN)과 달리, SNN은 스파이킹 비선형성으로 인해 불연속성을 나타낸다. 이는 전통적으로 연구의 방향을 원칙적인 엔드 투 엔드 최적화보다는 국소 가소성 규칙(local plasticity rules), 온라인 적응 또는 간접적인 학습 패러다임으로 유도한다. 또한, 기존의 SNN 제어 방식은 종종 분석적 모델, 국소 학습 규칙 또는 ANN-to-SNN 변환에 의존하며, 이는 고차 자유도(DoF) 연속 제어로의 확장성이나 모델링되지 않은 역학에 대한 강건성이 부족한 경우가 많다.

방법론
저자들은 서로게이트 그래디언트(surrogate gradients)를 사용하여 엔드 투 엔드로 학습되는 완전한 스파이킹, 모델 기반 제어 프레임워크인 예측 제어(Predictive-Control, Pred-Control) SNN 아키텍처를 제안한다. 이 시스템은 두 개의 학습 가능한 스파이킹 네트워크로 구성된다:

1. 예측 네트워크 (순방향 모델): 현재 상태($s_t$)와 제어 입력($u_t$)이 주어졌을 때 미래의 상태 변화($\Delta \hat{s}_t$)를 예측하는 순환 스파이킹 네트워크이다. 이는 학습 가능한 시상수(time constant)와 선택적인 적응형 임계값을 갖는 누설 통합-발화(Leaky Integrate-and-Fire, LIF) 뉴런을 사용한다.
2. 정책 네트워크 (역방향 모델): 현재 상태($s_t$)와 목표 상태($s^*_t$)를 기반으로 최적의 제어 동작($u_t$)을 추론하는 피드포워드 스파이킹 네트워크이다.

주요 학습 전략 및 구성 요소:

• 서로게이트 그래디언트 (Surrogate Gradients): 미분 불가능한 스파이크 함수는 역전파 과정에서 매끄러운 서로게이트 함수(특히 Gaussian Spike)를 사용하여 근사함으로써 그래디언트 기반 최적화를 가능하게 한다.
• 아키텍처: 두 네트워크 모두 LIF 뉴런을 채택한다. 예측 네트워크는 부분적인 관측으로부터 숨겨진 상태 변수(예: 속도)를 추론하기 위해 순환 연결을 포함하며, 정책 네트워크는 피드포워드 구조를 가진다.
• 학습 가능한 시상수: 막(membrane) 시상수($\tau_{mem}$)와 시냅스(synaptic) 시상수($\tau_{syn}$)는 학습 가능한 파라미터로 취급되어(변동 구동 초기화(fluctuation-driven initialization)를 통해 초기화됨), 네트워크가 작업 요구에 따라 고유한 시간적 역학을 적응시킬 수 있도록 한다.
• 적응형 임계값 (ALIF): 이 모델은 감쇠하는 기저 임계값과 스파이크 트리거 적응을 갖는 적응형 LIF 뉴로를 포함한다. 이 메커니즘은 침묵하는 뉴런을 재참여시키고 지속적인 과활성화를 방지하여, 긴 호라이즌(long horizon)에 대한 크레딧 할당(credit assignment)을 개선한다.
• 잠재 공간 압축 (Latent-Space Compression): 파라미터 효율성을 높이기 위해, 아키텍처는 스파이킹 레이어 사이에 잠재 공간 압축을 적용하여 고정된 파라미터 예산 내에서 더 넓은 레이어를 사용할 수 있게 한다.
• 학습 파이프라인: 네트워크는 리플레이 버퍼를 사용하여 반복적으로 학습된다. 예측 모델은 교사 강제(teacher forcing)를 통해 업데이트되며, 정책은 고정된 예측 모델을 롤아웃(rollout)하여 정책 손실을 위한 미분 가능한 상태 추정치를 생성함으로써 최적화된다.

실험 설정
프레임워크는 두 가지 시뮬레이션된 연속 제어 환경에서 평가되었다:

1. 2D 평면 암 (2D Planar Arm): 속도 데이터가 없는 부분 관측성을 가진 2관절 암으로, 하이퍼파라미터 스크리닝에 사용되었다.
2. 3D 로봇 팔 (3D Robotic Arm, 6-DoF): 토크 제어를 사용하는 시뮬레이션된 Franka Emika Panda 로봇으로, 고차원 연속 제어 작업을 나타낸다.

주요 결과

• 성능 대비 파라미터: 6-DoF 도달 작업에서, 전체 Pred-Control SNN은 약 12.7M 개의 파라미터를 가진 대규모 비스파이킹 순환 베이스라인과 대등한 작업 성능(누적 거리, 성공률, 목표 시간 체류)을 달enc성했다. 이는 약 0.9M 개의 파라미터만을 사용했음에도 불구하고 달성된 결과이다.
• 절제 연구 (Ablation Studies):
  • 학습 가능한 시상수: 특히 부적절한 초기화를 보상할 때 수렴 및 최종 성능을 유의미하게 향상시켰다.
  • 적응형 임계값 (ALIF): 발화율을 안정화하고 침묵하는 뉴런이 재참여할 수 있도록 함으로써 성능을 강화하고, 더 나은 장기 크레딧 할당을 용이하게 했다.
  • 잠재 압축: 고정된 파라미터 예산 내에서 더 넓은 스파이킹 레이어를 허용하여 유리한 성능-효율성 트레이드오프를 제공했다.
• 예측 vs 제어: 비스파이킹 베이스라인은 더 낮은 장기 예측 평균 제곱 오차(MSE)를 달성했으나, 이것이 더 우수한 제어 성능으로 이어지지는 않았다. SNN은 덜 정확한 자기회귀적 예측에도 불구하고 대등한 제어 효과를 보였는데, 이는 효과적인 제어가 완벽한 예측 충실도보다는 작업 관련 역학을 포착할 수 있을 만큼 충분히 표현력 있는 모델을 필요로 함을 시사한다.
• 안정성: 제안된 SNN은 기본 스파이킹 컨트롤러에 비해 더 매끄럽고 안정적인 최적화 역학을 보였으나, 비스파이킹 베이스라인보다는 더 느리게 학습되었다.

의의 및 주장
본 논문은 완전한 스파이킹 아키텍처가 연속 환경에서 다자유도를 가진 로봇 팔을 제어하기 위해 엔드 투 엔드로 학습될 수 있음을 입증한다고 주장하며, 딥러닝 학습 도구와 생물학적 계산 사이의 간극을 메운다.

주요 기여는 다음과 같다:

1. 확장성: SNN을 ANN 사전 학습, 변환 또는 하드웨어 특정 제약 없이 고차원 연속 제어를 위한 실행 가능하고 확장 가능한 기질로 확립하였다.
2. 원칙적 설계: 학습 가능한 시상수, 적응형 임계값, 잠재 공간 압축과 같은 특정 아키텍처 및 학습 설계 선택이 스파이킹 영역에서 안정적인 학습과 효과적인 제어에 결정적임을 강조하였다.
3. 모델 기반 제어: 제어 루프에 학습된 예측 모델을 통합하는 것이 SNN이 고차원, 장기 작업으로 확장하는 데 도움이 됨을 입증하였다.
4. 효율성: 동등한 비스파이킹 순환 네트워크보다 훨씬 적은 파라미터를 사용하여 고성능 제어를 달성할 수 있음을 보여주었다.

저자들은 이 연구를 딥러닝 학습과 예측 계산을 통합하여 SNN을 분류 벤치마크를 넘어 적응형, 체화된 계산(embodied computation)으로 이동시키는 단계로 규정한다. 저자들은 BPTT(Backpropagation-through-time)의 계산 오버헤드와 현재 레이트 코딩(rate coding)에 대한 의존이라는 한계를 인정하며, 향-온라인 학습 방법(예: e-prop) 및 대안적인 스파이크 코딩 체계에 대한 향후 연구를 제안한다.