Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving

1. 연구 배경 및 문제 정의 (Problem)

자율 주행과 같은 실시간 의사결정 시스템에서 딥 강화학습 (DRL), 특히 딥 Q-네트워크 (DQN) 은 복잡한 환경에서 효과적인 제어 정책을 학습하는 데 널리 사용됩니다. 그러나 기존 DQN 은 높은 계산 비용과 에너지 소모로 인해 리소스가 제한된 엣지 (Edge) 플랫폼에 배포하기 어렵습니다.

이를 해결하기 위해 스파이크 신경망 (SNN, Spiking Neural Networks) 이 에너지 효율적이고 이벤트 기반 (event-driven) 인 대안으로 주목받고 있습니다. 하지만 비스파킹 (non-spiking) DQN 과 비교하여 시각 기반 멀티모달 SNN을 자율 주행에 적용할 때 두 가지 주요 성능 저하 요인이 존재합니다.

1. 스파이크 인코딩 과정의 정보 손실: 연속적인 시각 입력 (이미지) 을 이산적인 바이너리 스파이크 열로 변환할 때 미세한 지각 정보가 손실됩니다. 기존의 단순한 속도 인코딩 (rate coding) 은 고해상도 입력에서 정보 손실을 유발하여 상태 표현의 질을 떨어뜨립니다.
2. 희소하고 양자화된 Q-값 (Sparse Q-values): SNN 의 이벤트 기반 특성상 출력 Q-값이 좁은 범위로 수렴하거나 구별력이 약해집니다. 이로 인해 에이전트가 다양한 행동 (Action) 간에 명확한 차별화를 하지 못해 최적의 정책을 학습하는 데 실패합니다.

2. 제안된 방법론 (Methodology)

저자들은 시각 기반 멀티모달 딥 스파이크 Q-네트워크 (MM-DSQN) 의 성능을 향상시키기 위해 엔드 - 투 - 엔드 (End-to-End) 퍼지 인코더 - 디코더 아키텍처를 제안합니다. 이 구조는 기존 MM-DSQN 에 통합되어 정보 손실을 최소화하고 Q-값의 표현력을 복원합니다.

A. 퍼지 인코더 (Fuzzy Encoder)

• 개념: 입력 이미지의 각 픽셀 값을 $N$ 개의 학습 가능한 삼각형 퍼지 소속 함수 (Triangular Fuzzy Membership Functions) 를 통해 처리합니다.
• 작동 원리:
  • 각 픽셀은 $N$ 개의 소속 함수를 통과하여 $[0, 1]$ 범위의 소속도 (activation) 값을 생성합니다.
  • 이 값들은 $N$ 개의 적분 - 방출 (Integrate-and-Fire, IF) 뉴런으로 입력되어 해당 소속도에 비례하는 스파이크 열을 생성합니다.
  • 결과적으로 하나의 원본 채널이 $N$ 개의 스파이크 채널로 확장되어, SNN 에 더 풍부한 분산 표현 (distributed representation) 을 제공합니다.
• 장점: 삼각형 함수를 사용하여 곱셈 연산 없이 선형 연산만으로 구현되므로 계산 효율성이 높으며, 학습 가능한 매개변수 ($a_i, b_i, c_i$) 를 통해 입력 데이터에 최적화된 인코딩을 자동으로 학습합니다.

B. 퍼지 디코더 (Lightweight Neural Decoder)

• 문제: SNN 출력층의 스파이크는 희소하며, 단순 가중치 합만으로는 연속적인 Q-값을 정확하게 복원하기 어렵습니다.
• 해결책: 각 행동 (Action) 마다 $M$ 개의 뉴런 군집 (Population) 을 할당하고, 이 군집의 활동을 가벼운 신경 디코더 (Lightweight Neural Decoder) 를 통해 연속적인 Q-값으로 변환합니다.
• 구현: 디코더는 ReLU 비선형성을 가진 소형 완전 연결 (Fully Connected) 네트워크로 구현됩니다. 이는 전통적인 퍼지 시스템의 복잡한 역퍼지화 (defuzzification, 예: 중심점 계산) 연산을 대체하여, 학습 가능한 매핑을 통해 효율적으로 Q-값을 복원합니다.

C. 전체 파이프라인

1. 입력: 카메라 (BEV) 및 LiDAR 데이터를 퍼지 인코더를 통해 스파이크 열로 변환.
2. 처리: 변환된 스파이크를 MM-DSQN (스파이크 크로스 어텐션 모듈 포함) 을 통해 처리.
3. 출력: SNN 의 스파이크 출력을 퍼지 디코더를 통해 연속적인 Q-값으로 복원하여 행동 선택.
4. 학습: 인코더, SNN, 디코더의 모든 매개변수가 역전파를 통해 엔드 - 투 - 엔드로 함께 최적화됨.

3. 주요 기여 (Key Contributions)

1. 새로운 퍼지 인코더: 시각 - 스파이크 변환 시 발생하는 정보 손실을 줄이기 위해 학습 가능한 퍼지 소속 함수를 기반으로 한 군집 기반 (Population-based) 인코더를 개발했습니다.
2. 군집 기반 퍼지 디코더: 이벤트 기반 신경 활동으로부터 연속적인 Q-값을 재구성하여 SNN 의 희소 Q-값 문제를 해결하는 경량 디코더를 제안했습니다.
3. 성능 격차 해소: 기존 연구에서 약 12.5% 의 성능 저하를 보였던 스파킹 모델이 제안된 아키텍처를 통해 비스파킹 모델과 동등한 성능을 달성함을 입증했습니다. 이는 자율 주행 분야에서 SNN 의 실용성을 크게 높이는 결과입니다.

4. 실험 결과 (Results)

HighwayEnv 벤치마크 (자율 주행 시나리오) 에서 실험을 수행했습니다.

• 성능 비교:
  • 기존 속도 인코딩 (Rate-based) MM-DSQN: 보수적인 주행 (과도한 감속) 을 보이며, 비스파킹 기준 대비 평균 보상 (Reward) 이 약 12.5% 감소했습니다.
  • 제안된 방법 (Fuzzy Encoder-Decoder): 비스파킹 DQN 과 거의 동일한 평균 보상과 주행 속도를 달성했습니다. 특히 고위험/고보상 행동 (예: 가속) 에 대한 Q-값 추정이 정확하게 이루어졌습니다.
• 안전성: 제안된 방법은 비스파킹 모델과 유사한 안전 수준 (충돌 빈도 약 0.0025) 을 유지하면서, 기존 스파킹 모델보다 훨씬 효율적인 주행이 가능했습니다.
• 학습된 소속 함수: 학습 결과, 저강도 픽셀은 첫 번째 채널, 고강도 픽셀은 세 번째 채널이 주로 활성화되도록 퍼지 함수가 자동 조정되어 입력 정보를 SNN 에 더 효과적으로 전달함을 확인했습니다.
• Ablation Study: 디코더를 제거하거나 가우시안 함수를 사용하는 경우보다 삼각형 퍼지 함수 + 디코더 조합이 가장 높은 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 자율 주행과 같은 안전이 중요한 분야에서 스파이크 신경망 (SNN) 의 실용적 장벽을 허무는 중요한 진전을 보여줍니다.

• 에너지 효율성과 성능의 균형: SNN 의 에너지 효율성 장점을 유지하면서도, 기존 DQN 과 비교해 성능이 떨어지던 문제를 해결했습니다.
• 실시간 적용 가능성: 계산 오버헤드가 낮고 (삼각형 함수 사용, 경량 디코더), HighwayEnv 와 같은 환경에서 실시간 의사결정 (약 10Hz) 에 적합한 성능을 입증했습니다.
• 미래 전망: 이 프레임워크는 복잡한 교차로나 라운드about 시나리오, 그리고 다중 에이전트 환경으로 확장될 수 있으며, 엣지 디바이스 기반의 지능형 자율 주행 시스템 개발에 핵심적인 역할을 할 것으로 기대됩니다.

요약하자면, 이 연구는 퍼지 논리 (Fuzzy Logic) 와 스파이크 신경망 (SNN) 을 결합하여 시각 정보의 손실을 줄이고 Q-값의 표현력을 높이는 혁신적인 아키텍처를 제시함으로써, 에너지 효율적인 자율 주행 AI 의 상용화를 앞당겼습니다.