General aspects of internal noise in spiking neural networks

이 논문은 시냅스 신경망 (SNN) 에서 막전위에 적용된 곱셈적 잡음이 성능을 가장 크게 저하시킨다는 점을 규명하고, 이를 완화하기 위해 입력을 양수 범위로 변환하는 시그모이드 기반 필터링 전략이 효과적이며, SNN 이 공통 잡음에 대해 더 강한 견고성을 보인다는 사실을 제시합니다.

핵심

🏭 비유: 지혜로운 일꾼들의 작업장 (스파이크 신경망)

이 연구의 주인공은 **스파이크 신경망 (SNN)**입니다. 기존 인공지능이 "숫자"로 계산을 한다면, 이 SNN 은 뇌의 뉴런처럼 **"전구 깜빡임 (스파이크)"**으로 정보를 전달합니다.

• 뉴런 (일꾼): 정보를 받아들이고, 일정 수준이 되면 "깜빡임" 신호를 보냅니다.
• 막 전위 (작업 의지): 일꾼이 일을 하려면 에너지가 필요합니다. 이 에너지가 일정 수준 (문턱) 을 넘으면 신호를 보냅니다.
• 내부 소음 (잡음): 실제 하드웨어를 만들면 전기가 불안정하거나, 기계가 떨리는 등 예상치 못한 잡음이 생깁니다. 이 논문은 이 잡음이 일꾼들의 작업에 어떤 영향을 미치는지 분석했습니다.

---

🔍 연구의 핵심 발견 3 가지

1. 가장 위험한 잡음: "의지를 꺾는 악마" (막 전위에 걸리는 곱셈 잡음)

연구진은 잡음을 두 가지 방식으로 넣어봤습니다.

• 덧셈 잡음: 일꾼의 귀에 작은 소음을 섞어주는 것 (약간 귀찮음).
• 곱셈 잡음: 일꾼의 에너지 자체를 갑자기 증폭하거나 줄여버리는 것 (치명적).

결과: 가장 끔찍한 것은 **'막 전위 (에너지) 에 걸리는 곱셈 잡음'**이었습니다.

비유: 일꾼이 열심히 일하고 있는데, 갑자기 "너의 에너지가 0.1 배로 줄어들어!"라고 외치는 악마가 나타나는 것과 같습니다. 일꾼은 에너지를 잃어 아예 일할 수 없게 되거나 (신호 소실), 반대로 너무 과열되어 엉뚱한 신호를 보냅니다. 특히 에너지가 음수 (마이너스) 로 떨어지면 일꾼은 완전히 죽어버려 (Neuron Death) 다시는 일하지 않게 됩니다.

2. 해결책: "양수 필터"라는 안전장치

이 치명적인 잡음을 막기 위해 연구진은 입력 신호를 다듬는 필터를 사용했습니다.

• 시그모이드 (Sigmoid) 필터: 입력되는 신호를 무조건 0 보다 큰 양수로만 바꿔줍니다.
• 효과: 일꾼에게 "너는 절대 마이너스 에너지를 갖지 않아. 항상 양의 에너지만 받아!"라고 알려주는 것입니다.

결과: 이 필터를 쓰자, 가장 위험했던 '곱셈 잡음'의 영향이 사라졌습니다. 이제 가장 문제가 되는 잡음은 단순한 '덧셈 잡음' (작은 소음) 으로 바뀌었고, 이 정도는 일꾼들이 충분히 견딜 수 있었습니다. 정확도도 거의 떨어지지 않았습니다.

3. 공통 잡음 vs 개별 잡음: "함께 울면 덜 아프다"

연구진은 잡음이 모든 일꾼에게 똑같이 들리는지 (공통 잡음), 아니면 각자 다르게 들리는지 (개별 잡음) 비교했습니다.

• 개별 잡음: 일꾼 A 는 "시끄러워!", 일꾼 B 는 "따뜻해!", 일꾼 C 는 "춥다!" 등 각자 다른 소음에 시달림. → 혼란이 커서 정확도 급락.
• 공통 잡음: 모든 일꾼에게 똑같은 "시끄러운 공사 소리"가 들림. → 모두가 같은 조건이므로, 서로 비교해서 정답을 찾아냄.

결론: SNN 은 모두가 같은 소음 (공통 잡음) 에 노출될 때 훨씬 더 강인합니다. 마치 모든 사람이 같은 소음 속에서 노래를 부르면, 소음 자체는 시끄럽지만 서로의 리듬을 맞춰 노래를 잘 부를 수 있는 것과 같습니다.

---

💡 요약: 이 연구가 우리에게 주는 메시지

1. 하드웨어 AI 는 소음에 약할 수 있다: 특히 에너지 (막 전위) 를 무작위로 증감시키는 잡음이 가장 치명적입니다.
2. 해결책은 간단하다: 입력 신호를 **항상 양수 (Positive)**로 유지하게 만드는 간단한 필터 (시그모이드) 를 쓰면, 치명적인 잡음 문제를 대폭 줄일 수 있습니다.
3. 동기화가 중요하다: 모든 뉴런이 같은 환경 (공통 잡음) 에 놓여 있다면, 시스템은 오히려 더 튼튼해집니다.

한 줄 평:

"AI 하드웨어를 만들 때, 일꾼들의 '에너지'가 마이너스로 떨어지지 않게 **안전장치 (필터)**를 달아주고, 모두에게 같은 소음을 들려주면, AI 는 아주 튼튼하게 일할 수 있다!"

이 연구는 앞으로 실제 칩이나 광학 장치를 이용해 AI 를 만들 때, 어떤 잡음을 가장 조심해야 하고 어떻게 설계해야 하는지에 대한 실용적인 지도를 제시합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 하드웨어 신경망의 한계: 기존 소프트웨어 기반의 인공 신경망 (ANN) 은 복잡한 계산 요구사항으로 인해 확장성에 한계를 겪고 있습니다. 이를 해결하기 위해 뉴로모픽 하드웨어 (광학 시스템, 멤리스터, 스핀 트랜스퍼 오실레이터 등) 를 이용한 물리적 구현이 주목받고 있습니다.
• 내부 잡음의 중요성: 디지털 시스템과 달리, 물리적 하드웨어 기반 신경망은 입력뿐만 아니라 구성 요소 자체에서 발생하는 다양한 내부 잡음 (Internal Noise) 에 노출됩니다.
• 연구 필요성: 기존 연구들은 내부 잡음이 성능을 저하시킨다고 보고했으나, 일부 연구에서는 훈련 과정에서 내부 잡음을 활용하면 오히려 강건성이 향상될 수 있음을 보였습니다. 그러나 충돌 신경망 (Spiking Neural Networks, SNN) 에서 어떤 유형의 잡음 (가산성 vs 승산성) 이 어떤 단계 (입력 전류, 막 전위, 출력 스파이크) 에서 가장 치명적인지, 그리고 이를 어떻게 완화할 수 있는지에 대한 체계적인 분석이 부족했습니다.

2. 연구 방법론 (Methodology)

이 연구는 단일 뉴런 모델과 훈련된 SNN 을 대상으로 내부 잡음의 영향을 분석했습니다.

• 모델 설정:
  • 뉴런 모델: 계산 효율성과 생물학적 타당성을 고려한 누적 - 방전 (Leaky Integrate-and-Fire, LIF) 모델을 사용했습니다.
  • 네트워크 구조: MNIST 손글씨 숫자 인식 과제를 수행하는 SNN 을 구성했습니다. (입력층 784 개 뉴런, 은닉층 20 개 스파킹 뉴런, 출력층 10 개 뉴런).
  • 훈련: snnTorch 라이브러리를 사용하여 Adam 최적화 알고리즘으로 훈련시켰으며, 최종 테스트 정확도는 약 92.72% 였습니다.
• 잡음 도입 방식:
  • 잡음 유형: 가산성 잡음 (Additive Noise) 과 승산성 잡음 (Multiplicative Noise) 을 고려했습니다.
  • 도입 위치: 뉴런의 세 가지 주요 단계에 잡음을 주입했습니다.
    1. 입력 전류 ($I_{in}$)
    2. 막 전위 ($U_{mem}$)
    3. 출력 스파이크 신호 ($S$)
  • 잡음 분포: 은닉층의 모든 뉴런에 동일한 잡음을 주는 공통 잡음 (Common Noise) 과 각 뉴런마다 독립적인 잡음을 주는 비공통 잡음 (Uncommon Noise) 을 비교 분석했습니다.
• 신호 전처리 전략:
  • 입력 신호의 부호 (양수/음수) 가 잡음 영향에 미치는 효과를 분석하기 위해, 은닉층 입력에 시그모이드 (Sigmoid) 및 쌍곡탄젠트 (Tanh) 필터를 적용하여 입력 범위를 조정하는 전처리 전략을 평가했습니다.

3. 주요 결과 (Key Results)

A. 단일 뉴런 분석

• 양수 입력 신호: 입력 전류에 대한 가산성 잡음은 신호 전체에 일정한 편차를 주지만, 승산성 잡음은 신호 크기가 클 때 더 두드러집니다.
• 음수 입력 신호 (양수/음수 혼합):
  • 가장 치명적인 요인: 막 전위 ($U_{mem}$) 에 적용된 승산성 잡음이 가장 심각한 성능 저하를 유발했습니다.
  • 원인: 음수 입력 신호가 존재할 때, 승산성 잡음은 막 전위를 과도하게 음수 방향으로 끌어내려 뉴런을 "사망 (Death)" 상태로 만듭니다. 이는 뉴런의 활동성을 억제하여 스파이크 생성을 방해합니다.
  • 가산성 잡음: 입력 전류에 대한 가산성 잡음은 저강도에서는 영향이 적으나, 고강도에서는 오작동 (False Positive) 을 유발합니다.

B. 훈련된 SNN 네트워크 분석

• 전처리 없이 (Without Pre-filter):
  • 은닉층 입력에 음수 값이 포함될 경우, 막 전위의 승산성 잡음이 네트워크 정확도를 가장 크게 떨어뜨렸습니다. 이는 단일 뉴런 분석 결과와 일치합니다.
  • 전체 잡음 강도 ($D=1$) 에서도 정확도 저하는 약 1% 내외로 제한적이었으나, 특정 조건에서는 더 큰 저하가 관찰되었습니다.
• 시그모이드 전처리 적용 (Sigmoid Pre-filter):
  • 입력을 엄격히 양수 (0~1) 범위로 변환하는 시그모이드 필터를 적용한 결과, 네트워크의 잡음 내성이 극적으로 향상되었습니다.
  • 이 경우, 가장 치명적인 잡음은 입력 전류 ($I_{in}$) 에 대한 가산성 잡음으로 바뀌었습니다.
  • 다른 모든 잡음 구성 (막 전위의 승산성 잡음 포함) 은 고강도 ($D=1$) 에서도 정확도를 1% 이내로만 저하시켰습니다.
  • 이유: 시그모이드 필터는 음수 전위 영역을 제거하여 뉴런 "사망"을 방지하고, 레이트 코딩 (Rate-coding) 방식의 네트워크 특성상 개별 뉴런의 오작동이 전체 분류 결과 (최대 스파이크 수를 가진 뉴런) 에 미치는 영향을 상쇄시켰기 때문입니다.
• 공통 잡음 vs 비공통 잡음:
  • 공통 잡음 (모든 뉴런에 동일한 잡음) 은 비공통 잡음 (각 뉴런마다 다른 잡음) 에 비해 정확도 저하가 훨씬 적었습니다. 이는 SNN 이 공통 잡음에 대해 본질적으로 더 강건 (Robust) 함을 시사합니다.

4. 주요 기여 및 결론 (Contributions & Conclusion)

1. 치명적 잡음 메커니즘 규명: SNN 에서 성능을 가장 크게 저하시키는 요인은 막 전위에 적용된 승산성 잡음임을 규명했습니다. 이는 음수 전위 영역에서의 뉴런 활동 억제가 주된 원인입니다.
2. 실용적 완화 전략 제시: 입력 전류에 시그모이드 기반의 전처리 필터를 적용하여 입력을 양수 영역으로 제한하는 것이 가장 효과적인 해결책임을 증명했습니다. 이 방법을 사용하면 고강도의 내부 잡음 환경에서도 네트워크 정확도를 거의 유지할 수 있습니다.
3. 잡음 유형별 강건성 비교: SNN 은 개별 뉴런마다 다른 잡음 (비공통) 보다 모든 뉴런에 동일한 잡음 (공통) 에 대해 더 높은 내성을 보임을 발견했습니다.
4. 하드웨어 구현에 대한 시사점: 실제 뉴로모픽 하드웨어 (광학, 멤리스터 등) 를 설계할 때, 내부 잡음의 특성을 고려하여 입력 신호를 양수 영역으로 제한하거나 공통 잡음의 영향을 최소화하는 아키텍처 설계가 필요함을 강조했습니다.

5. 의의 (Significance)

이 연구는 물리적 하드웨어 기반의 SNN 구현 시 발생할 수 있는 내부 잡음의 위험 요인을 정량적으로 분석하고, 간단한 전처리 전략을 통해 이를 효과적으로 제어할 수 있음을 보였습니다. 이는 향후 에너지 효율이 높은 뉴로모픽 하드웨어의 신뢰성 있는 상용화를 위한 중요한 이론적, 실용적 기반을 제공합니다.