Scalable Training of Continuous-Time Spiking Neural Networks with Differentiable Spike-Time Discretization

당신이 초고속, 초효율적인 로봇 두뇌에게 사진을 인식하는 법을 가르치려 한다고 상상해 보세요. 이 두뇌는 비디오처럼 일정한 흐름으로 정보를 처리하는 일반적인 뇌가 아닙니다. 이것은 "스파이킹(spiking)" 두뇌입니다. 테이블을 두드리는 코드로 비밀 메시지를 전달하려는 방 안의 사람들처럼 생각해보세요. 이 로봇 두뇌에서 정보는 얼마나 크게 두드리는지가 아니라, 두드리는 '정확한 순간'에 의해 전달됩니다. 이를 "시간적 코딩(temporal coding)"이라고 부릅나다. 이는 로봇이 두드림이 발생할 때만 "생각"하기 때문에 매우 에너지 효율적이며, 배터리로 작동하는 장치에 완벽합니다. 하지만 문제가 있습니다. 이 로봇을 가르치는 것은 악몽과 같습니다. 로봇은 모든 개별적인 두드림의 정밀한 타이밍에 반응하기 때문에, 성능을 개선하기 위해 필요한 수학적 계산이 너무 무거워 컴퓨터를 다운시켜 버립니다. 이는 마치 폭풍우 속에서 떨어지는 모든 빗방울이 특정 목표물에 맞도록 하는 완벽한 경로를 계산하려는 것과 같습니다. 컴퓨터는 첫 번째 빗방울을 계산하기도 전에 메모리가 바닥납니다.

이것이 바로 연구팀이 그래픽 카드를 녹여버리지 않고도 이 "연속 시간(continuous-time)" 스파이킹 신경망(SNN)을 훈련시키고자 했던 문제에 맞선 과제입니다. 그들은 "미분 가능한 스파이크 시간 이산화(Differentiable Spike-Time Discretization, DSTD)"라는 영리한 기술을 도입했습니다. 이전 층의 뉴런들로부터 오는 모든 복잡하고 불규칙한 두드림을 일일이 추적하는 대신, DSTD는 이 두드림들을 깔끔하고 고정된 시간 격자(grid) 위에 딱 맞춰 배치하는 번역기 역할을 합니다. 모든 빗방정의 수를 세는 대신, 1초, 2초, 혹은 3초 시점에 비가 왔는지 확인하는 것과 같습니다. 이 방식은 수학적 계산을 엄청나게 단순화합니다. 연구진은 또한 자연의 신호 사슬(synfire chains)에서 영감을 얻은 "교통 경찰" 시스템을 추가하여, 뉴런들이 무작위로 발화하거나 멈추지 않고 조직적인 파동을 그리며 발화하도록 만들었습니다. 이 두 가지 아이디어를 결합함으로써, 그들은 이전에는 불가능했던 20개 층의 깊은 네트워크를 단 하나의 컴퓨터 칩으로 훈련하는 데 성공했습니다. 그들은 이 방법이 기존의 정확한 계산 방식보다 메모리를 최대 100배 적게 사용하면서도, 로봇의 지능은 그대로 유지한다는 것을 발견했습니다.

로봇 두뇌의 메모리 위기

이 새로운 방법이 왜 중요한지 이해하려면, 먼저 이 스파이킹 뇌가 어떻게 작동하는지 살펴봐야 합니다. 표준 인공 신경망(당신의 스마트폰 얼굴 인식 기능을 구동하는 종류)에서는 정보가 파이프를 흐르는 물처럼 끊임없이 변화하며 흐릅니다. 하지만 스파이킹 신경망(SNN)에서 정보는 불연속적인 사건, 즉 '스파이크'입니다. 이는 번개가 치는 연속적인 모습과 더 비슷합니다. 뇌는 이러한 번개의 타이밍을 조정함으로써 학습합니다.

이 논문이 집중하는 특정 유형의 뇌는 "리키 인티그레이트 앤 파이어(Leaky Integrate-and-Fire, LIF)" 뉴런입니다. 이 뉴런을 '물이 새는 양동이'라고 생각할 수 있습니다. 물(입력 신호)이 쏟아져 들어오면 수위(막 전위)가 높아집니다. 수위가 특정 선(임계값)에 도달하면, 양동이는 "스파이크"를 일으킵니다. 즉, 물을 쏟아내고 다음 뉴런으로 신호를 보냅니다. "연속 시간" SNN에서 이 과정은 고정된 단계가 아닌 실시간으로 일어납니다. 양동이가 물을 쏟는 정확한 순간은 그전에 떨어진 모든 물방울의 정확한 타이밍에 달려 있습니다.

문제는 이러한 연속 시간 양동이를 사용하여 깊은 네트워크(여러 층이 있는 네트워크)를 훈련하려고 할 때 발생합니다. 네트워크를 가르치려면, 단 하나의 입력 물방울을 바꾸는 것이 최종 출력에 어떤 영향을 미치는지 계산해야 합니다. 기존의 "정확한" 방식에서는 컴퓨터가 스파이크가 발생할 수 있는 모든 가능한 순간을 추적해야 합니다. 만약 이전 층에 1,000개의 뉴런이 있고 그들이 모두 서로 다른 시간에 발화한다면, 컴퓨터는 다음 뉴런이 발화할 수 있는 1,000개의 서로 다른 "후보" 순간들을 계산해야 합니다. 네트워크가 깊어지고 넓어질수록 후보의 수는 폭발적으로 증가합니다. 이는 수천 개의 범퍼가 있는 핀볼 기계에서 공이 지나갈 수 있는 모든 경로를 기억하려고 노력하는 것과 같습니다. 컴퓨터의 메모리는 즉시 가득 차고, 훈련은 중단됩니다.

마법의 격자: 미분 가능한 스파이크 시간 이산화 (DSTD)

저자들의 해결책은 DSTD라고 불리는 방법입니다. 당신이 혼란스러운 재즈 솔로를 친구에게 설명하려고 한다고 상상해 보세요. 기존 방식은 모든 음이 연주된 정확한 밀리초를 기록하는 것입니다. 정확하긴 하지만, 악보의 길이가 몇 마일이나 되어 빠르게 읽는 것이 불가능합니다.

DSTD는 "음들이 매 박자의 시작점에 발생했다고 하자"라고 말하는 것과 같습니다. 이전 층의 모든 스파이크의 정확하고 불규칙한 타이밍을 추적하는 대신, DSTD는 이들을 고정된 시간 격자 지점으로 매핑합니다. 만약 스파이크가 0.12초에 한 번, 0.14초에 또 한 번 발생했는데 당신의 격자가 0.10초와 0.20초 지점을 가지고 있다면, DSTD는 수학적 계산이 성립하도록 이 격자 지점에 얼마만큼의 "가중치"를 부여할지 결정합니다.

이것은 메모리 측면에서 게임 체인저입니다. 기존 방식에서는 메모리 필요량이 입력 스파이크의 수(수천 개가 될 수 있음)에 따라 늘어났습니다. 하지만 DSTD를 사용하면 메모리는 격자 지점의 수(연구진은 이를 10~40개 정도로 작게 유지했습니다)에 따라서만 늘어납히는 데 그칩니다. 연구진은 이 격자를 사용함으로써 훈련에 필요한 메모리를 최대 100배까지 줄일 수 있음을 보여주었습니다. 이는 모든 빗방울의 영상을 저장하는 대신, "오후 1시에서 2시 사이에 비가 많이 왔다"라고 적힌 일기예보를 저장하는 것으로 전환하는 것과 같습니다. 아주 미세한 디테일은 잃을 수 있지만, 폭풍 전체를 단 하나의 노트북에서 처리할 수 있는 능력을 얻게 됩니다.

결정적으로, 연구진은 이 격자가 뇌를 "멍청하게" 만들지 않는다는 것을 증명했습니다. 단순화된 격자를 사용하더라도 네트워크는 여 still 높은 정확도로 이미지를 인식하는 법을 배울 수 있었습니다. 실험에서 그들은 CIFAR-10 데이터셋(비행기, 자동차 등 10가지 유형의 물체 모음)에 대해 9개 층의 네트워크를, Fashion-MNIST(의류 이미지)에 대해 20개 층의 네트워크를 훈련시켰습니다. 두 모델 모두 거대한 컴퓨터 클러스터가 필요하거나 아예 실패했을 기존 방식과 달리, 단 하나의 GPU(표준 컴퓨터 칩)에서 실행되었습니다.

교통 경찰: 신파이어 체인 역학 (Synfire-Chain Dynamics)

연구진이 해결해야 했던 두 번째 문제는 "죽은 뉴런(dead neurons)"이었습니다. 깊은 네트워크에서는 때때로 뉴로이 전혀 발화하지 않을 때가 있습니다. 뉴런이 발화하지 않으면 신호를 보내지 못하고, 학습 과정이 그 부분에서 멈춰버립니다. 이는 도시의 도로 차단과 같습니다. 한 교차로가 폐쇄되면 아무도 다음 동네로 갈 수 없습니다.

이를 해결하기 위해 팀은 생물학적 뇌에서 관찰되는 패턴인 "신파이어 체인(synfire chains)"에서 영감을 얻은 개념을 도입했습니다. 이는 뉴런 그룹이 동기화된 파동처럼 발화하는 현상입니다. 그들은 훈련 과정에 "시간적 페널티(temporal penalty)"를 추가했습니다. 이것은 각 층의 네트워크에 "너희는 반드시 1:00에서 1:10 사이에 신호를 내보내야 해"라고 명령하는 엄격한 교통 경찰과 같습니다. 만약 뉴런이 너무 빨리 혹은 너무 늦게 발화하려고 하면, 교통 경찰은 수학적 "벌금(페널티)"을 부과하여 해당 뉴런이 올바른 시간 창(window) 안에 발화하도록 유도합니다.

이것은 두 가지 효과를 냅니다. 첫째, 뉴런이 반드시 발화하도록 강제하여 "죽은 뉴런" 문제를 방지합니다. 둘째, 파이프라인을 생성합니다. 각 층이 자신만의 특정 시간 창을 가지기 때문에, 네트워크는 현재 프로세스를 완료하기 전에 다음 이미지를 처리하기 시작할 수 있습니다. 이는 두 번째 작업자가 첫 번째 작업자가 첫 번째 자동차를 완성하기도 전에 두 번째 자동차 작업을 시작하는 조립 라인과 같습니다. 이 "파이프라인" 동작 덕분에 네트워크는 데이터를 훨씬 빠르게 처리할 수 있으며, 네트워크가 깊어져도 높은 속도를 유지할 수 있습니다.

결과: 속도, 메모리, 그리고 깊이

연구진은 새로운 "Syn-SNN(Synfire-chain Spiking Neural Network)"을 기존 방식들과 비교 테스트했습니다. 결과는 극적이었습니다.

• 메모리: 밀집형 네트워크에서 피크 메모리 사용량이 최대 100배 감소했습니다. 이는 이전에 훈련을 위해 슈퍼컴퓨터가 필요했던 네트워크를 이제 단 하나의 GPU에서 돌릴 수 있음을 의미합니다.
• 속도: 훈련 시간이 최대 20배 단축되었습니다. 며칠이 걸리던 작업이 이제 몇 시간 만에 끝날 수 있습니다.
• 깊이: 그들은 Fashion-MNIST 데이터셋에서 20개 층의 네트워크를 성공적으로 훈련하여 92.33%의 정확도를 달 дости했습니다. 이는 연속 시간 SNN을 몇 층 이상 깊게 훈련하는 것이 메모리 제약 때문에 거의 불가능하다고 여겨졌던 상황에서 매우 큰 도약입니다.

논문은 트레이드오프(trade-offs)도 탐구했습니다. 연구진은 발화 시간 창이 너무 좁으면 네트워크가 빨라지지만 정확도가 떨어진다는 것을 발견했습니다. 반대로 시간 창이 너무 넓으면 정확도는 올라가지만 속도 이점은 줄어듭니다. 그들은 "다목적 최적화(multi-objective optimization)"라는 방법을 사용하여 최적의 지점을 찾아냈으며, 이 시스템이 다양한 요구 사항에 맞춰 조정될 수 있을 만큼 유연하다는 것을 보여주었습니다.

이것이 왜 중요한가

이 연구는 연속 시간 스파이킹 네트워크의 이론적 아름다움과 이를 실제로 훈련시키는 현실 사이의 간극을 메워줍니다. 수년 동안 과학자들은 이러한 네트워크가 인간의 뇌를 모방하고 저전력 하드웨어에서 구동되는 가장 효율적인 방법임을 알고 있었지만, 유용한 규모로 훈련하는 데 어려움을 겪어왔습니다. DSTD와 신파이어 체인 정규화를 도입함으로써, 저자들은 표준 하드웨어에서 깊은 연속 시간 네트워크를 훈련하는 것이 가능하다는 것을 보여주었습니다.

이것이 문제가 완전히 해결되었음을 의미하지는 않습니다. 저자들은 이러한 네트워크가 왜 그렇게 잘 학습되는지에 대한 이론적 이해가 여전히 발전 중이며, 완벽한 설정(하이퍼파라미터)을 찾는 데는 여전히 많은 시행착착이 필요하다고 언급했습니다. 그러나 그들은 강력한 새로운 도구를 제공했습니다. 혼란스럽고 메모리를 많이 잡아먹는 문제를 관리 가능한 격자 기반 문제로 전환함으로써, 그들은 언젠가 작은 배터리 기반 장치에서 구동될 수 있는 훨씬 더 크고, 효율적이며, 뇌와 유사한 AI 시스템을 구축할 수 있는 문을 열었습니다.