⚡ electrical engineering

Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

본 논문은 기존의 삼진 모델이 가진 성능 저하를 극복하고 7개의 아타리(Atari) 게임에 걸친 심층 Q-러닝 작업에서 이진 베이스라인을 능가하는 새로운 삼진 스파이킹 뉴런 모델을 활용하여 그래디언트 추정 편향을 완화하는 심층 비대칭 삼진 스파이킹 Q-네트워크(Deep Asymmetric Ternary Spiking Q-Network, DATSQN)를 제안한다.

원저자: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비디오 게임을 하는 법을 가르치려 한다고 상상해 보세요. 결정을 내리기 위해 로봇에게는 뇌가 필요하며, 인공지능의 세계에서는 흔히 '신경망'을 사용하여 이러한 뇌를 구축합니다. 이 네트워크는 인간의 뇌에서 뉴런이라고 불리는 아주 작은 단위들이 서로 신호를 주고받는 방식에서 영감을 받았습니다. 전통적인 컴퓨터 뇌에서 이러한 신호는 부드럽고 연속적인 전기 파동과 같습니다. 하지만 '스파이킹 신경망(Spiking Neural Network, SNN)'이라는 특별한 종류의 뇌에서는, 실제 생물학적 뉴런이 발화하는 것과 매우 유사하게 '스파이크'라고 불리는 작고 날카로운 전기적 분출을 통해 통신합니다. 이 방식은 에너지 효율이 매우 뛰어나서, 무거운 배터리를 휴대할 수 없는 이동형 로봇이나 기기에 완벽하게 적합합니다.

하지만 문제가 하나 있습니다. 대부분의 효율적인 스파이킹 뇌는 두 가지 상태만을 가집니다. 즉, 스파이크를 발생시키거나(1), 침묵하거나(0) 둘 중 하나입니다. 이는 마치 켜거나 끌 수 있는 전등 스위치와 같습니다. 이 방식은 로봇이 한 번에 머릿속에 담을 수 있는 정보량을 제한합니다. 최근 과학자들은 이 스위치를 세 가지 상태를 가진 '테너리(ternary)' 뉴런으로 업그레이드하려고 시도했습니다. 즉, 양(+)의 신호를 보내거나(+1), 침묵하거나(0), 음(-)의 신호를 보내는(-1) 세 가지 상태입니다. 당신은 음의 스위치를 추가하면 로봇이 더 똑똑해질 것이라고 생각할 수도 있지만, 놀랍게도 이들을 비디오 게임 환경에 적용했을 때 로봇은 오히려 더 못하게 되었습니다. 이 논문은 왜 더 많은 옵션이 로봇을 더 멍청하게 만들었는지에 대한 미스터리를 파헤치며, 어떻게 그 문제를 해결하여 로봇을 다시 게임의 챔피언으로 만들었는지에 대해 다룹니다.

더 멍청해진 로봇의 미스터리

연구진인 드렉셀 대학교(Drexel University) 팀은 클래식 아케이드 게임인 브레이크아웃(Breakout)이나 스페이스 인베이더(Space Invaders) 같은 아타리(Atari) 비디오 게임을 플레이하도록 설계된 딥러닝 시스템에 이 새로운 '테너리' 뉴런을 테스트하기로 했습니다. 그들은 문제가 새로운 상태 자체에 있는 것이 아니라, 뉴런이 '학습하는 방식'에 있다고 추측했습니다.

로봇을 훈련시키는 것을 강아지에게 재주를 가르치는 것에 비유해 봅시다. 당신이 명령을 내리면 강아지는 시도를 하고, 당신은 보상(간식)을 주거나 벌(안 돼!)을 줍니다. AI의 세계에서 이 '간식'은 로봇이 예상했던 것과 실제로 일어난 일 사이의 차이를 계산함으로써 결정됩니다. 이 차이를 '그래디언트(gradient)'라고 하며, 이는 로봇에게 다음번에 더 잘하기 위해 자신의 뇌를 어떻게 조정해야 하는지 알려줍니다.

연구팀은 표준 테너리 뉴런이 실수의 '크기'가 아니라 오직 '방향'에만 관심을 갖는 선생님과 같다는 것을 발견했습니다. 만약 로봇이 실수를 하면, 테너리 뉴런은 단지 "방향이 틀렸어!"(+1 또는 -1)라고 말할 수 있을 뿐, "얼마나 크게 틀렸는가?"(활동량)라는 질문은 완전히 무시했습니다. 비디오 게임의 초기 학습 단계에서 로봇은 종종 무작ful하게 추측하곤 하는데, 이때 오류의 '방향'은 혼란스럽고 무작위적입니다. 표준 테너리 뉴런은 방향에 너무 집중한 나머지, 노이즈 속에서 길을 잃고 학습을 완전히 멈춰버렸습니다. 그것은 마치 로봇이 무작위로 회전하는 나침반에만 의존하여 안개 낀 미로를 항해하려는 것과 같았으며, 결국 제자리에 멈춰 서 버린 것과 같았습니다.

비대칭적 해결책

이 문제를 해결하기 위해 저자들은 **심층 비대칭 테너리 스파이킹 Q-네트워크(Deep Asymmetric Ternary Spiking Q-Network, DATSQN)**라고 불리는 새로운 설계를 제안했습니다. 그들은 자연이 이미 답을 가지고 있다는 것을 깨달았습니다. 인간의 뇌에서 모든 뉴런이 동일하게 만들어진 것은 아닙니다. 우리 뉴런의 약 80%는 '흥분성(excitatory)'(뇌가 행동하도록 밀어붙임)이고, 약 20%는 '억제성(inhibitory)'(뇌에게 멈추라고 지시함)입니다. 기존의 테너리 모델은 이 두 유형을 완벽한 거울 쌍처럼 대칭적으로 취급했는데, 이는 생물학적으로 비현실적이었습니다.

연구팀의 새로운 모델은 이 대칭성을 깨뜨렸습니다. 그들은 '양(+)'의 임계값(흥분성)과 '음(-)'의 임계값(억제성)이 서로 다른 뉴런을 만들었습니다. 이를 시각화하자면, 두 개의 서로 다른 잠금장치가 있는 문을 상상해 보세요. 기존 모델은 두 개의 동일한 잠금장치를 가지고 있어서, 어느 쪽에서든 세게 밀면 문이 똑같은 방식으로 열렸습니다. 하지만 새 모델은 '정지' 쪽에는 무겁고 열기 힘든 잠금장치를, '진행' 쪽에는 열기 쉬운 잠로를 배치했습니다. 이러한 비대칭성 덕분에 로봇이 실수 방향에 대해 혼란을 느낄 때조차도, 뉴런은 자신이 얼마나 활성화되어야 하는지에 대한 명확한 신호를 보낼 수 있었습니다. 즉, '방향 화살표'가 회전하고 있을 때도 '볼륨 조절 노브'가 제대로 작동하도록 유지한 것입니다.

결과: 정체에서 슈퍼스타로

연구팀은 이 새로운 뇌를 일곱 가지의 서로 다른 아타리 게임에서 테스트하며, 기존의 이진(on/off) 로봇 및 표준 테너리 로봇들과 대결시켰습니다. 그들은 시뮬레이션 시간 창을 40단계에서 20단계로 줄여 로봇이 더 빠르게 결정을 내리도록 강제함으로써 과제를 더 어렵게 만들었습니다. 이는 보통 학습을 훨씬 더 어렵게 만드는 조건입니다.

결과는 놀라웠습니다. 표준 테너리 로봇(DTSQN)은 형편없는 성적을 냈으며, 기본적인 이진 로봇보다 훨씬 낮은 점수를 기록했습니다. 그들은 정말로 학습의 안개 속에 갇혀 있었습니다. 그러나 새로운 비대칭 로봇(DATSQN)은 단순히 따라잡는 것에 그치지 않고, 압도적인 성과를 냈습니다. 일곱 가지 게임 중 여섯 가지 게임에서 새 모델은 이진 베이스라인을 능가하며 평균 게임 점수에서 30%의 향상을 달 achievement 했습니다. 예를 들어, Beam Rider에서 새 로봇은 이진 로봇의 2,069점과 비교해 4,000점을 기록했습니다. Breakout에서는 252점을 기록하여 이진 로봇의 207점을 앞섰습니다.

연구진은 또한 훈련 과정의 '심박수'를 점검했습니다. 그들은 새 모델의 학습 신호가 강력하고 안정적으로 유지되어, 로봇이 학습 방법을 잊어버리는 '그래디언트 소실(vanishing gradient)' 문제를 피한다는 것을 발견했습니다. 또한 그들은 새 모델의 뉴런이 실제 인간의 뇌처럼 자연스럽게 대부분 흥분성 뉴런으로 진화하며, 양의 스파이크가 음의 스파이크보다 최소 60% 이상의 비율로 더 많다는 것을 관찰했습니다.

이것이 의미하는 바

이 논문은 뉴런에 더 많은 상태를 단순히 추가하는 것만으로는 부족하며, 그 상태들이 어떻게 학습하는지를 설계해야 한다는 점을 시사합니다. 인간의 뇌에 존재하는 흥분성 뉴로와 억제성 뉴런의 불균형을 모방함으로써, 연구팀은 더 에너지 효율적이면서도 복잡한 과제를 더 똑똑하게 학습할 수 있는 스파이킹 네트워크를 만들어냈습니다. 비록 이 연구는 비디오 게임 시뮬레이션에서 수행되었지만, 이 '비대칭적' 접근 방식이 미래의 로봇과 기타 기기들을 위한 더 나은, 더 효율적인 AI 뇌를 구축하는 핵심이 될 수 있음을 보여줍니다. 저자들은 자신들의 모델이 이 게임들에서는 훌륭하게 작동하지만, 이는 더 나은 시스템을 구축하기 위한 하나의 제안이며, 이 접근 방식이 시각이나 언어 처리와 같은 다른 분야에서도 도움이 될지는 지켜볼 데가 있을 것이라고 언급했습니다.

기술 요약: 삼진 뉴런을 이용한 스파이크 기반 심층 Q-학습의 성능 향상

문제 정의
심층 강화 학습(DRL), 특히 심층 Q-네트워크(DQN)는 에너지 효율성과 모바일 플랫폼 배포와 관련하여 상당한 과제에 직면해 있습니다. 스파이크 신경망(SNN)은 이산적인 스파이크를 통해 통신하는 생물학적 뉴런을 모방함으로써 에너지 효율적인 대안을 제공합니다. 그러나 SNN은 현재 두 가지 주요 이유로 인해 고전적인 심층 신경망(DNN)에 비해 복잡하고 차원이 높은 작업에서 성능이 뒤처집니다. 첫째는 스파이크 생성의 비미분적 특성이 학습을 어렵게 만든다는 점이며, 둘째는 이진 스파이킹 뉴런(출력값 {0, 1})이 제한된 표현 용량을 가진다는 점입니다.

최근 연구들은 컴퓨터 비전 및 자연어 처리 분야에서 표현 용량을 높이고 성능을 개선하기 위해 삼진 스파이킹 뉴런(출력값 {-1, 0, 1})을 도입했지만, 본 논문은 심층 Q-러닝 작업에서 기존의 대칭형 삼진 모델이 이진 모델보다 실질적으로 성능이 떨어진다는 결정적인 모순을 식별했습니다. 저자들은 이러한 성능 저하가 학습 중 발생하는 그래디언트 추정 편향(gradient estimation bias), 구체적으로 스파이크의 부호가 결정되지 않을 때 정보가 담긴 학습 신호가 손실되는 현상 때문이라고 가설을 세웠습니다.

방법론
저자들은 스파이크를 확률 변수로 모델링하여 기대 그래디언트를 도출하는 수학적 프레임워크를 개발하여 삼진 SNN의 학습 역학을 분석합니다.

대칭형 삼진 뉴런 분석:
본 논문은 양의 임계값과 음의 임계값이 동일한 대칭형 삼진 Leaky Integrate-and-Fire(LIF) 뉴런에 대해, 역전파 중 기대 그래디언트가 "부호 채널(sign channel)"과 "활동 채널(activity channel)"로 분리됨을 입증합니다. 타겟 값이 극성에 대해 무정보적인 초기 Q-러닝의 맥락에서 부호 채널은 소멸됩니다. 대칭형 설계는 뉴런이 발화할지 아니면 침묵할지를 결정하는 "활동 채널"을 0으로 강제하기 때문에, 뉴런은 0에 가까운 고분산 그래디언트를 받게 됩니다. 이는 학습 정체를 유발하며, 왜 성능 저하가 관찰되는지를 설명합니다.
제안된 해결책: 비대칭 삼진 스파이킹 뉴런:
이를 해결하기 위해 저자들은 비대칭 임계값( $v_{thp} \neq v_{thn}$ )을 가진 새로운 뉴런 모델을 제안합니다. 이 모델에서는:

양의 임계값( $v_{thp}$ )은 고정됩니다.
음의 임계값( $v_{thn}$ )은 학습 가능한 파라미터입니다.
이러한 비대칭성은 양의 막전위와 음의 막전위에 대한 민감도( $c_p$ 와 $c_n$ )를 불균등하게 보장합니다.
결과적으로, 그래디언트 방정식의 "활동 채널"은 부호 채널이 소멸하더라도 0이 아닌 값을 유지하여 지속적인 학습 신호를 제공합니다.

안정성 분석:
블록 동적 등거리성(block dynamic isometry) 개념을 사용하여, 저자들은 비대칭 삼진 뉴런으로 구축된 네트워크가 그래디언트 소실 및 폭발 문제를 피한다는 것을 수학적으로 증명합니다. 그들은 제안된 모델의 동적 등거리성이 ReLU 활성화 함수를 사용하는 네트워크만큼 견고함을 보여줍니다.
네트워크 아키텍처 (DATSQN):
제안된 뉴런은 Deep Asymmetric Ternary Spiking Q-Network (DATSQN)에 통합됩니다. 뉴로모픽 하드웨어와의 호환성을 보장하기 위해, 입력 인코딩은 원시 픽셀을 스파이크 열로 변환하는 레이트 기반 베르누이 샘플링(rate-based Bernoulli sampling)을 사용하여 일부 선행 연구에서 발견되는 비스파이킹 부동 소수점 첫 번째 레이어를 제거합니다. 시뮬레이션 시간 창은 작업 난이도를 높이고 지연 시간을 줄이기 위해 베이스라인(40단계)보다 짧은 20단계로 축소되었습니다.

주요 기여

그래디언트 편향 식별: 본 논문은 심층 Q-러닝에서 삼진 뉴런을 평가한 첫 사례로, 대칭형 모델에서의 그래디언트 추정 편향 때문에 표현 용량의 증가가 반드시 더 나은 RL 성능으로 이어지지는 않는다는 점을 밝혀냈습니다.
새로운 뉴런 모델: 학습 가능한 비대칭 임계값을 통해 높은 표현 용량을 유지하면서도 0이 아닌 기대 그래디언트를 보장하는 비대칭 삼진 스파이킹 뉴런을 도입했습니다.
이론적 보장: 제안된 모델이 그래디언트 소실/폭발을 방지하고 ReLU 네트워크와 대등한 동적 등거리성을 달s는다는 수학적 증명을 제공합니다.
생물학적 타당성: 이 설계는 뇌가 억제성 뉴런보다 흥분성 뉴런(약 70-80%)이 우세하다는 생물학적 증거를 보여주며, 이는 비대칭 임계값을 통해 자연스럽게 포착됩니다.

실험 결과
저자들은 Gym 환경의 7가지 Atari 게임에 대해 바이너리(DSQN) 및 대칭형 삼진(DTSQN) 베이스라인과 DATSQN을 비교 평가했습니다.

성능: DATSQN은 7개 게임 전체에서 바이너리 DSQN 베이스라인 대비 평균 게임 점수에서 30%의 향상을 달성했습니다.
비교: 대칭형 삼진 모델(DTSQN)은 모든 게임에서 바이너리 베이스라인보다 명확한 성능 저하를 보인 반 반면, 비대칭 모델(DATSQN)은 7개 게임 중 6개 게임에서 바이너리 베이스라인을 능가했습니다.
학습 역학: 실험을 통해 DTSQN은 낮은 평균 그래디언트 노름(이론이 예측한 '정체'를 나타냄)을 겪은 반면, DATSQN은 안정적인 그래디언트 노름을 유지하고 학습 후기 단계에서 더 높은 누적 보상을 달성함을 확인했습니다.
절제 연구(Ablation Studies): 실험 결과, 대칭형 모델에서 단순히 임계값을 학습 가능하게 만드는 것만으로는 불충분하며, 특정 비대칭성(하나의 임계값은 고정하고 다른 하나를 학습시키는 것)이 성능에 결정적이라는 것을 보여주었습니다. 또한, 두 임계값을 모두 학습 가능하게 만드는 것은 단일 학습 가능 임계값 설계보다 큰 이득을 주지 못해, 더 단순한 캐노니컬 설계를 정당화했습니다.

의의
본 논문은 삼진 인코딩의 성능 저하가 삼진 인코딩 자체의 내재적 결함이 아니라, 초기 RL 단계에서 활동 기반 학습 신호에 대한 네트워크를 눈멀게 만드는 대칭적 임계값 설정의 결과라고 주장합니다. 비대칭성을 도입함으로써 저자들은 높은 표현 용량의 이점을 회복하는 동시에 학습 안정성을 확보하는 데 성공했습니다. 이 결과는 비대칭 삼진 뉴런이 심층 스파이킹 강화 학습을 위한 바이너리 뉴런의 유망하고 우수한 대안이 될 수 있음을 시사하며, 더 효율적이고 유능한 뉴로모픽 에이전트로 가는 길을 제시합니다. 저자들은 이 접근 방식이 시각 기반 작업이나 언어 모델링과 같은 다른 SNN 환경에서도 추가적인 평가가 필요하다고 언급했습니다.

유사한 논문