Sharpness-Aware Surrogate Training for On-Sensor Spiking Neural Networks

이 논문은 온-센서 스파이킹 신경망 (SNN) 에서 서로게이트 학습과 하드 임계값 배포 간의 성능 격차를 줄이기 위해 Sharpness-Aware Surrogate Training (SAST) 을 제안하고, N-MNIST 및 DVS Gesture 벤치마크에서 하드웨어 인식 양자화 환경 하에서도 정확도와 에너지 효율성을 크게 향상시킨다는 것을 보여줍니다.

핵심

1. 문제 상황: "부드러운 연습"과 "딱딱한 실전"의 괴리

상상해 보세요. 어떤 학생이 부드러운 진동이 느껴지는 연습용 스키 (Surrogate) 를 타고 연습을 하고 있습니다. 이 스키는 눈이 살짝만 쌓여도 미끄러지듯 부드럽게 반응하니까, 학생은 매우 잘滑아집니다.

하지만 실제 대회 (실제 칩에 탑재) 에 나가면, 완전히 딱딱하고 미끄러운 얼음 (Hard Spike) 위를 타야 합니다. 연습할 때는 "아, 살짝 미끄러졌네"라고 생각하며 넘어갈 수 있었지만, 실전에서는 "아니, 넘어졌어!"라고 딱 떨어지는 결과만 남습니다.

• 현실: 기존 AI 는 부드러운 연습 (Surrogate) 으로 점수를 잘 받았지만, 딱딱한 실전 (Hard Spike) 으로 바꾸면 점수가 뚝 떨어집니다. 이를 **'전환 격차 (Transfer Gap)'**라고 합니다.
• 원인: 학생이 연습할 때 '아슬아슬한 경계선' 근처에서 너무 많은 시간을 보냈기 때문입니다. 경계선 근처에서는 연습용 스키는 부드럽게 넘어가지만, 실제 얼음에서는 바로 넘어집니다.

2. 해결책: SAST (날카로운 인식 훈련)

저자는 이 문제를 해결하기 위해 SAST라는 새로운 훈련법을 제안합니다.

비유: "아슬아슬한 경계선에서 멀리 떨어지는 훈련"

기존 훈련은 "어떻게 하면 점수를 가장 잘 받을까?"만 생각했습니다. 하지만 SAST 는 **"만약 내가 조금만 흔들려도 (노이즈가 생겨도) 점수가 뚝 떨어지지 않도록, 경계선에서 최대한 멀리 떨어진 안전한 곳으로 점수를 찍게 해라"**라고 가르칩니다.

• 핵심 아이디어: 점수판 (손실 함수) 이 평평하고 넓은 곳에 점수가 찍히도록 훈련시킵니다.
  • 기존: 경계선 바로 옆에 점수를 찍음. (조금만 흔들리면 추락)
  • SAST: 경계선에서 멀리 떨어진, 평평하고 넓은 평지에 점수를 찍음. (흔들려도 그대로)

이렇게 훈련된 학생은 실제 딱딱한 얼음 위 (실제 하드웨어) 에서도 흔들리지 않고 잘 미끄러질 수 있게 됩니다.

3. 왜 중요한가요? (실제 적용)

이 기술은 **센서 위 (On-sensor)**에서 작동하는 초저전력 AI 에 필수적입니다.

• 상황: 스마트폰 카메라나 자율주행차의 눈 (이벤트 카메라) 은 전기를 아껴야 하므로, 복잡한 계산 대신 '0'과 '1' 같은 딱딱한 신호 (스파이크) 만 사용합니다.
• 효과: SAST 를 쓰면, 부드러운 연습용 모델에서 90% 점수를 받던 것이, 딱딱한 실전 모델에서도 90% 점수를 유지하게 됩니다.
  • 기존: 연습 96% → 실전 65% (점수 폭포)
  • SAST: 연습 97% → 실전 94% (점수 유지)

4. 추가적인 이점: "에너지 절약"과 "오류에 강함"

이 훈련법을 쓰면 두 가지 더 큰 이점이 생깁니다.

1. 에너지 절약 (SynOps 감소):

   • 학생이 경계선 근처에서 덜 흔들리고 명확하게 결정하기 때문에, 불필요한 움직임 (스파이크) 이 줄어듭니다.
   • 비유: 길을 가다가 "아, 여기가 맞나?" 하고 서성거리지 않고, "저기다!" 하고 바로 직진합니다. 그래서 배터리가 훨씬 오래 갑니다. (논문에 따르면 에너지 소모가 50% 이상 줄기도 했습니다.)

2. 오류에 강함 (Robustness):

   • 센서 데이터가 일부 손상되거나 (눈이 심하게 오거나), 계산이 정밀하지 않아도 (숫자를 반올림해도) 결과가 잘 나옵니다.
   • 비유: 비가 오거나 길이 험해도, SAST 훈련을 받은 학생은 길을 잃지 않고 목적지에 도착합니다.

5. 결론

이 논문은 **"AI 를 훈련할 때, 실제 하드웨어가 겪을 거친 환경을 미리 고려해서, 경계선에서 멀리 떨어진 안전한 곳에 답을 찾게 하는 훈련법 (SAST)"**을 소개합니다.

이 방법을 쓰면, 전기를 거의 쓰지 않는 초소형 칩에서도 AI 가 아주 정확하게 작동할 수 있게 되어, 사물인터넷 (IoT), 자율주행, 웨어러블 기기 등의 성능을 획기적으로 높일 수 있습니다.

한 줄 요약:

"부드러운 연습장에서만 잘하는 AI 를, 딱딱하고 험한 실전 현장에서도 끄떡없이 잘 작동하도록, '안전한 곳'에 답을 찾게 훈련시키는 새로운 방법입니다."

기술 요약

논문 개요

이 논문은 온-센서 (on-sensor) 비전 시스템에 적합한 스파이크 신경망 (SNN) 의 훈련 문제를 다룹니다. 특히, 부드러운 대리 함수 (surrogate function) 를 사용하여 훈련된 모델이 배포 시 하드 임계값 (hard threshold) 으로 전환될 때 발생하는 정확도 급감 (transfer gap) 을 해결하기 위해 Sharpness-Aware Surrogate Training (SAST) 을 제안합니다.

1. 문제 정의 (Problem)

• 배경: 이벤트 기반 센서 (DVS 등) 는 전력 소모가 적고 실시간 처리가 필요한 온-센서 비전 시스템에 이상적입니다. SNN 은 이러한 이벤트 기반 데이터와 하드웨어 아키텍처에 자연스럽게 부합합니다.
• 핵심 난제: SNN 의 스파이크 함수는 불연속적이므로 역전파 (backpropagation) 가 불가능합니다. 이를 해결하기 위해 훈련 중에는 미분 가능한 부드러운 대리 함수 (surrogate nonlinearity) 를 사용하지만, 실제 하드웨어 배포 시에는 0 또는 1 의 하드 임계값 (hard threshold) 으로 교체해야 합니다.
• 전송 격차 (Transfer Gap): 훈련 중의 부드러운 모델과 배포 시의 하드 모델 간의 불일치로 인해, 막전위 (membrane potential) 가 임계값 근처에 분포할 경우 하드웨어에서 0 또는 1 로 결정되는 과정에서 정확도가 급격히 떨어집니다. 기존 방법들은 이 격차를 충분히 줄이지 못했습니다.

2. 방법론 (Methodology: SAST)

저자는 Sharpness-Aware Surrogate Training (SAST) 을 제안합니다. 이는 기존 Sharpness-Aware Minimization (SAM) 을 SNN 훈련에 적용한 변형입니다.

• 핵심 아이디어: SAM 은 손실 함수의 '평탄한 최소점 (flat minima)'을 찾아 일반화 성능을 향상시킵니다. SAST 는 대리 함수를 사용하는 순방향 (surrogate-forward) SNN에 SAM 을 적용합니다.
  • 훈련 목적 함수가 매끄럽기 때문에 시간 역전파 (BPTT) 를 통해 정확한 기울기 (exact gradient) 를 계산할 수 있습니다.
  • SAM 은 기울기 벡터 방향으로 perturbations(교란) 을 가한 이웃 영역에서의 최악의 경우 손실 (worst-case loss) 을 최소화하도록 훈련합니다.
• 알고리즘 흐름:
  1. 미니배치에서 대리 손실과 기울기 ($g$) 를 계산.
  2. 기울기 방향으로 교란 ($\epsilon = \rho g / (\|g\|^2 + \delta)$) 을 생성.
  3. SNN 의 내부 상태 (state) 를 초기화하고, 교란된 가중치 ($w + \epsilon$) 에서 새로운 미니배치를 통해 기울기를 재계산.
  4. 최적화기를 사용하여 가중치 업데이트.
• 배포: 훈련이 완료된 후, 대리 함수를 하드 스텝 함수 (Heaviside step) 로만 교체하고 가중치, 임계값, 누수 (leak) 파라미터는 변경 없이 그대로 사용합니다 (사후 보정 없음).

3. 주요 기여 (Key Contributions)

1. 이론적 보장: LIF (Leaky Integrate-and-Fire) SNN 에 대해 상태 안정성 (state-stability), 입력 Lipschitz 연속성, 매끄러움 (smoothness) 에 대한 경계를 증명하고, 비볼록 (nonconvex) 환경에서의 수렴 결과를 제시했습니다.
2. 성능 개선: N-MNIST 와 DVS Gesture 벤치마크에서 SAST 를 적용했을 때, 대리 모델에서 하드 스파이크 모델로의 전송 격차 (transfer gap) 를 최대 92% (N-MNIST) 와 69% (DVS Gesture) 까지 감소시켰습니다.
3. 하드웨어 인식 평가: 가중치 양자화 (INT8/INT4), 고정 소수점 막전위, 이산적 누수 (discrete leak) 등을 포함한 하드웨어 인식 추론 시뮬레이션을 수행하여 SAST 의 실용성을 입증했습니다.
4. 종합적 분석: 데이터 손상 (corruption) 테스트, 훈련 오버헤드, 계산량 일치 (compute-matched) 비교 등을 통해 방법론의 견고성과 효율성을 검증했습니다.

4. 실험 결과 (Results)

A. 전송 격차 감소 (Swap-only Hard-Spike Accuracy)

훈련된 모델의 가중치를 그대로 유지하고 대리 함수만 하드 스파이크로 교체했을 때의 정확도입니다.

• N-MNIST:
  • Baseline: 65.7% $\rightarrow$ SAST: 94.7% (격차 30.3% $\rightarrow$ 2.5% 로 감소, 92% 개선)
• DVS Gesture:
  • Baseline: 31.8% $\rightarrow$ SAST: 63.3% (격차 43.2% $\rightarrow$ 13.6% 로 감소, 69% 개선)

B. 하드웨어 인식 추론 시뮬레이션 (Hardware-Aware Inference)

INT8 및 INT4 양자화와 고정 소수점 연산을 시뮬레이션한 결과입니다.

• N-MNIST (INT8): Baseline 47.6% $\rightarrow$ SAST 96.9%
• N-MNIST (INT4): Baseline 43.2% $\rightarrow$ SAST 81.0%
• DVS Gesture (INT8): Baseline 25.3% $\rightarrow$ SAST 47.6%
• DVS Gesture (INT4): Baseline 26.0% $\rightarrow$ SAST 43.8%

C. 에너지 효율성 (SynOps 감소)

스파이크 활동에 기반한 에너지 지표인 SynOps (시냅스 누적 연산) 가 SAST 를 통해 감소했습니다.

• N-MNIST (INT8): 1,734k $\rightarrow$ 1,315k
• DVS Gesture (INT8): 86,221k $\rightarrow$ 4,323k (약 50% 감소)

D. 메커니즘 분석

SAST 는 막전위 (membrane potential) 가 임계값 근처의 모호한 영역 (ambiguous zone) 에 머무는 비율을 절반으로 줄였습니다. 이는 모델이 결정 경계에서 더 멀리 떨어진 '평탄한' 영역에서 학습하도록 유도하여, 하드 스파이크 전환 및 저정밀도 연산에 더 강건한 패턴을 생성함을 의미합니다.

5. 의의 및 결론 (Significance)

• 온-센서 배포의 장벽 해소: 사후 보정 (post-hoc calibration) 이나 양자화 인식 재훈련 없이도, 훈련된 SNN 을 하드웨어에 바로 배포할 수 있는 높은 정확도를 달성했습니다.
• 효율성: SAM 을 적용함으로써 훈련 비용이 약 2 배 증가하지만, 동일한 계산 시간 (wall-clock time) 내에서 Baseline 보다 훨씬 높은 성능을 달성하여 효율적입니다.
• 포괄적 도구: SAST 는 온-센서 스파이크 추론을 위한 더 넓은 도구 상자 (toolbox) 의 유망한 구성 요소로, 특히 전력 및 계산 자원이 제한된 엣지 디바이스에서의 SNN 적용 가능성을 크게 확장했습니다.

요약하자면, 이 논문은 SAST를 통해 SNN 의 훈련 - 배포 간격 (transfer gap) 을 획기적으로 줄이고, 저전력 하드웨어 환경에서도 높은 정확도와 에너지 효율성을 동시에 달성할 수 있음을 이론과 실험을 통해 입증했습니다.