Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

인공지능의 세계에는 아이가 걷는 법을 배우거나 새가 나는 법을 배우는 것처럼, 기계가 주변 환경에 학습하고 적응할 수 있도록 만들려는 끊임없는 노력이 존재합니다. 강화 학습(reinforcement learning)이라고 알려진 이 분야는 컴퓨터 프로그램이 좋은 선택에는 보상을 주고 나쁜 선택에는 벌을 줌으로써 의사결정을 내리도록 가르칩니다. 수년 동안 이러한 시스템은 비디오 게임을 플레이하는 것부터 로봇을 제어하는 것에 이르기까지 복잡한 문제를 해결하는 데 놀라운 숙련도를 보여왔습니다. 하지만 이러한 스마트 프로그램을 실행하는 하드웨어는 종종 육중하고 엄청난 양의 전력을 소비하는데, 이는 마치 고사양 비디오 게임을 실행하는 강력한 데스크톱 컴퓨터와 같습니다. 과학자들은 이제 인간의 뇌에서 영감을 얻은 뉴로모픽 하드웨어(neuromorphic hardware)라는 다른 종류의 컴퓨터 아키텍처를 주목하고 있습니다. 이 특화된 칩들은 훨씬 더 에너지 효율적이고 정보 처리가 빠르도록 설계되었지만, 우리가 매일 사용하는 컴퓨터와는 근본적으로 다른 방식으로 작동합니다. 과제는 표준 컴퓨터에서 잘 작동하는 복잡하고 성능이 뛰어난 알고리즘을, 그 학습 능력을 잃지 않으면서도 이러한 뇌와 유사한 칩에서 실행될 수 있도록 어떻게 변환하느냐는 것이었습니다.

한 연구팀은 특수 하드웨어를 시도하기 전에 표준 컴퓨터에서 새로운 접근 방식을 테스트함으로써 이 구체적인 퍼즐을 해결하고자 했습니다. 그들은 기계가 균형을 잡거나 앞으로 나아가기 위해 부드럽고 지속적인 조정을 해야 하는 '연속 제어(continuous control)'라는 어려운 유형의 과제에 집중했는데, 이는 마치 로봇이 넘어지지 않고 방을 가로질러 걸어가려고 노력하는 것과 비슷합니다. 연구진은 SANSAC(Spiking Actor Network Soft Actor Critic)이라 불리는 새로운 시스템을 만들었습니다. 무엇이 이 시스템을 특별하게 만드는지 이해하려면, 표준 인공지능 네트워크는 끊임없이 신호를 보내는 뉴런을 사용하는 반면, 이 새로운 시스템은 '스파이킹(spiking)' 뉴런을 사용한다는 점을 알아야 합니다. 이 스파이킹 뉴런은 생물학적 세포와 더 유사하여, 충분한 입력을 받아 단 하나의 날카로운 전기 펄스, 즉 '스파이크'를 보낼 때까지는 조용히 있다가 스파이크를 보낸 후 다시 조용해집니다. 이 방식은 에너지 효율적인 뉴로모픽 칩에서 실행될 수 있는 소프트웨어를 만드는 핵심입니다. 연구팀은 학습 로봇의 표준 뇌를 이 스파이킹 버전으로 교체했을 때 성능이 저하될지, 아니면 똑같이 잘 학습할 수 있을지를 확인하고 싶었습니다.

답을 찾기 위해 연구진은 Bipedal Walker라고 알려진 시뮬레이션 환경에서 기존 시스템과 새로운 스파이킹 시스템을 모두 엄격하게 테스트했습니다. 이 시뮬레이션에서 이족 보행 로봇은 넘어지지 않고 앞으로 걷는 법을 배워야 합니다. 연구팀은 두 버전의 소프트웨어가 얼마나 빠르고 효과적으로 걷기를 배울 수 있는지 확인하기 위해 최대 1,200번의 시도(에피소드) 동안 훈련시켰습니다. 또한 결과가 다양한 조건에서도 유지되는지 확인하기 위해 매우 작은 크기부터 꽤 큰 크기에 이르기까지 다양한 내부 메모리 크기로 시스템을 테스트했습니다. 결과는 놀라울 정도로 고무적이었습니다. 새로운 스파이킹 시스템은 기존 시스템만큼 잘 걷는 법을 배웠습니다. 가장 까다로운 테스트에서 두 시스템 모두 약 70~80%의 성공률을 달al성했는데, 이는 두 시스템 모두 대부분의 경우에 걷기 과제를 성공적으로 완수할 수 있음을 의미합니다. 연구진은 두 시스템의 성능 차이에 유의미한 통계적 차이가 없음을 발견했으며, 이는 스파이킹 방식이 효율성을 위해 지능을 희생하지 않는다는 것을 증명합니다.

하지만 테스트 과정에서 명확한 트레이드오프(trade-off)가 관찰되었습니다. 스파이킹 시스템은 성능 면에서는 동일하게 우수했지만, 표준 컴퓨터에서 훈련하는 데 훨씬 더 오랜 시간이 걸렸습니다. 연구진은 스파이킹 버전이 기존 버전과 동일한 횟수의 훈련 에피소드를 완료하는 데 약 두 배의 시간이 더 필요했다는 점에 주목했습니다. 이는 표준 컴퓨터가 정보를 직선형으로 처리하도록 구축된 반면, 스파이킹 시스템은 타이밍과 순서에 의존하기 때문에 시뮬레이션하기 어렵기 때문입니다. 연구진은 이러한 속도 저하가 잘못된 유형의 기계에서 시뮬레이션을 실행하면서 발생하는 인위적인 현상이라고 설명했습니다. 실제 이 목적을 위해 설계된 뉴로모픽 칩 위에서는, 해당 칩들이 실제 뇌처럼 스파이크를 병렬로 처리하기 때문에 시스템이 훨씬 더 빠르게 작동할 것이라는 설명입니다. 연구진은 데이터가 일관되지 않아 표준 컴퓨터에서의 에너지 소비량은 측정하지 않았지만, 목표는 하드웨어에서 빛을 발하기 전에 알고리즘이 제대로 작동한다는 것을 증명하는 것이었습니다.

연구는 또한 시스템이 더 작아져 내부 연결이 줄어들 때 어떤 일이 발생하는지도 살펴보았습니다. 예상대로, 네트워크가 과제의 복잡성을 감당하기에 너무 작으면 두 시스템 모두 어려움을 겪었으며 성공률은 10%까지 떨어졌습니다. 그러나 중간 범위의 크기에서는 스파이킹 시스템이 경쟁력을 유지하며 자원이 제한된 상황에서도 복잡한 학습을 처리할 수 있을 만큼 견고하다는 것을 보여주었습니다. 연구진은 자신들의 연구가 뉴로모픽 인공지능의 미래를 위한 탄탄한 토대를 제공한다고 결결론지었습니다. 그들은 성능 저하를 감수하지 않고도 이러한 새로운 에너지 효율적 칩을 사용할 준비가 된 학습 알고리즘을 설계하는 것이 가능하다는 것을 입증했습니다. 앞으로 물리적인 뉴로모픽 하드웨어에서 에너지 이점을 확인하기 위한 테스트가 여전히 필요하지만, 이 논문은 소프트웨어 로직 자체가 타당함을 확인해 줍니다. 이 연구 결과는 효율적인 뇌 모방 컴퓨팅의 미래가 단순히 이론적인 꿈이 아니라, 현재의 컴퓨터에서 훈련이 끝나기를 조금 더 기다릴 용의만 있다면 오늘날 바로 구축할 수 있는 실질적인 현실임을 시사합니다.