Hardware-Aware On-Chip Learning with a Scalable Single-Transistor-based Neuromorphic Platform

현대적인 컴퓨터는 믿을 수 없을 정도로 강력하지만, 동시에 매우 많은 에너지를 갈구합니다. 인공지능이 점점 더 복잡해짐에 따라 이를 구동하는 데 필요한 에너지는 하나의 병목 현상이 되었으며, 특히 로봇이나 야생의 센서처럼 작은 배터리로 오랜 시간 작동해야 하는 장치들에게는 더욱 그렇습니다. 이를 해결하기 위해 과학자들은 인간의 뇌를 모방하는 다른 방식의 컴퓨팅 사고에 주목했습니다. 정보를 일정하고 연속적인 흐름으로 처리하는 전통적인 계산기와 달리, 이 "뉴로모픽(neuromorphic)" 시스템은 '스파이크(spike)'라고 불리는 작고 비동기적인 정보의 폭발을 사용합니다. 이 방식은 시스템에 새로운 것을 처리할 내용이 있을 때만 작동하기 때문에 훨씬 더 효율적입니다. 그러나 이러한 뇌 닮은 기계가 작동 중에 새로운 과업을 학습하도록 가르치는 것은 큰 난제였습니다. 대부분의 설계에서 뉴런의 내부 상태, 즉 방금 받은 정보에 대한 '기억'은 하드웨어 내부에 숨겨져 있어, 외부의 비싸고 에너지를 많이 소모하는 센서 없이는 시스템이 스스로 연결을 조정하고 실수를 통해 배우는 것이 거의 불가능했습니다.

서울대학교와 한국과학기술연구원(KIST)의 연구팀은 이제 뉴런 내부를 들여다볼 필요 없이 이러한 시스템을 가르칠 수 있는 방법을 입증했습니다. 그들은 칩 내부의 구성 요소 사이에 흐르는 전류와 스파이크의 타이밍이라는, 이미 표면에 드러나 있는 신호에만 의존하여 학습 프로세스가 진행되는 새로운 유형의 칩을 구축했습니다. 하드웨어와 학습 소프트웨어가 함께 작동하도록 설계함으로써, 그들은 단 하나의 트랜지스터가 시냅스, 뉴런, 그리고 학습 신호 발생기 역할을 동시에 수행할 수 있는 시스템을 만들었습니다. 이 접근 방식은 이전에는 부피가 크고 전력을 많이 소모하는 회로가 필요했던 과정인, 뉴런의 숨겨진 내부 전압을 읽는 과정을 제거했습니다. 그 결과, 더 작고 단순할 뿐만 아니라, 이미 배운 것을 기억하면서 새로운 정보에 지속적으로 적응하며 학습할 수 있는 통합된 플랫폼을 탄생시켰습니다.

이 돌파구의 핵심은 연구진이 "상태 접근(state access)" 문제를 어떻게 해결했느냐에 있습니다. 전통적인 인공 뇌에서 뉴런이 적절한 시점에 발화하도록 가르치려면, 컴퓨터는 특정 순간에 뉴런 내부에 전기 전하가 정확히 얼마나 쌓여 있는지 알아야 합니다. 물리적 하드웨어에서 이 전하는 장치 내부에 갇혀 있으며, 이를 측정하려면 저전력 시스템의 목적을 저해하는 복잡하고 에너지를 많이 소모하는 회로가 필요합니다. 연구진은 만약 뉴런으로 흘러 들어가는 전류를 대리 지표(proxy)로 사용할 수 있다면, 이 숨겨진 전하를 측정할 필요가 없다는 점을 깨달았습니다. 그들은 '전류 기반 대리 기울기(current-based surrogate gradient)'라고 불리는 방법을 개발했습니다. 시스템에 "뉴런의 배터리가 얼마나 가득 찼는가?"라고 묻는 대신, "지금 전류가 얼마나 흐르고 있는가?"라고 묻는 방식입니다. 만약 전류가 특정 범위 내의 건강한 수준에 있다면, 시스템은 뉴런이 올바르게 학습하고 있다는 것을 알 수 있습니다. 전류가 너무 높거나 낮으면 조정이 필요하다는 것을 알게 됩니다. 이를 통해 칩은 뉴런 사이의 연결 지점에서 자연스럽게 얻을 수 있는 데이터만을 사용하여 자체적인 학습 신호를 생성할 수 있습니다.

이를 현실 세계에서 구현하기 위해, 연구팀은 표준 제조 공정을 사용하되 영리한 변주를 가미하여 특수한 칩을 제작했습니다. 그들은 설정에 따라 세 가지 서로 다른 역할을 수행할 수 있는 단일 유형의 트랜지스터를 사용했습니다. 한 그룹의 트랜지스터는 기억의 강도를 저장하는 연결부인 시냅스 역할을 했습니다. 또 다른 그룹은 전기 전하를 축적하다가 임계점에 도달하면 스파이크를 일으키는 뉴런 역할을 했습니다. 세 번째 그룹은 전류를 관찰하고 수정 신호를 보낼 시점을 결정하는 학습 메커니즘 역할을 했습니다. 이 세 가지 구성 요소가 모두 동일한 기본 블록으로부터 만들어졌기 때문에, 단일 칩 위에 밀도 있게 배치될 수 있었습니다. 연구진은 이 트랜지스터들이 서로 다른 수준의 가중치를 안정적으로 저장하고, 유입되는 신호를 시간에 따라 통합하며, 생물학적 뉴런을 모방한 패턴으로 스파이크를 발생시킬 수 있음을 보여주었습니다. 결정적으로, 학습 구성 요소는 뉴런의 숨겨진 내부 전압에 접근할 필요 없이, 오직 전류를 관찰하는 것만으로 시스템이 정상적으로 작동하고 있는지 혹은 잘못 작동하고 있는지를 감지할 수 있었습니다.

연구팀은 실제 물리적 칩의 측정된 동작을 사용한 광범위한 컴퓨터 시뮬레이션을 통해 이 시스템을 테스트했습니다. 그들은 필기체 숫자를 인식하는 것부터 복잡한 객체를 식별하고 이벤트 기반 카메라의 비디오 스트림을 해석하는 것에 이르기까지 다양한 과업에 대해 네트워크를 훈련시켰습니다. 이 테스트에서 새로운 방법은 내부 상태에 대한 완전한 접근 권한을 가진 기존의 학습 방식들과 대등한 성능을 보여주었습니다. 시스템은 이미 마스터한 것을 잊지 않으면서 새로운 클래스의 객체를 학습할 수 있었는데, 이는 '지속적 학습(continual learning)'이라 불리는 능력입니다. 이는 매우 중요한 성과인데, 왜냐하면 기존의 많은 온칩(on-chip) 학습 시도들은 새로운 것을 배우면 기존의 기억이 지워지는 '파괴적 망각(catastrophic forgetting)' 현상을 겪었기 때문입니다. 연구진은 새로운 학습 신호를 사용함으로써, 하드웨어 자체가 불완전하고 노이즈가 많은 상황에서도 시스템이 이전 지식을 유지하면서 새로운 정보에 적응할 수 있음을 입증했습니다.

에너지 효율 측면에서의 시사점은 상당합니다. 연구진은 자신들의 아날로그 스파이크 기반 접근 방식을 사용할 경우, 추론(새로운 데이터를 바탕으로 결정을 내리는 과정)을 실행하는 데 필요한 에너지가 완전 디지털 시스템에 비해 60% 이상 감소할 수 있다고 추정했습니다. 특정 구성에서는 그 절감 폭이 85% 이상에 달하기도 했습니다. 이는 시스템이 아날로그 신호를 디지털 숫자로, 다시 디지털을 아날로그로 변환하는 데 드는 막대한 에너지 비용을 피하고, 실제로 스파이크가 발생할 때만 전력을 소비하기 때문입니다. 비록 칩을 가르치는 과정 초기에는 에너지를 소모하는 고전압 펄스가 여전히 필요하지만, 연구진은 이 비용은 일회성 설정 또는 드문 사건인 반면, 일상적인 운영 중의 에너지 절감은 지속적이고 유의미하다는 점을 언급했습니다.

이 연구가 인공지능의 모든 문제를 해결했다고 주장하는 것은 아니며, 이 칩들이 당장 내일 스마트폰의 프로세서를 대체할 준비가 되었다는 뜻도 아닙니다. 연구진은 학습 신호가 잘 작동하기는 하지만, 완전하게 통합된 학습 시스템의 전체 에너지 비용은 아직 실제 장치에서 측정되지 않았다는 점을 분명히 했습니다. 칩을 관리하는 데 필요한 제어 회로를 통합하고 제조 규모를 키우는 데에는 여전히 과제가 남아 있습니다. 그러나 이 연구는 자신의 내부 생각을 들여다보지 않고도 스스로 학습할 수 있는 뇌 닮은 컴퓨터를 구축하는 것이 가능하다는 명확한 개념 증명을 제공합니다. 하드웨어가 학습 알고리즘과 같은 언어로 말하도록 설계함으로써, 연구팀은 자신들이 모방하고자 하는 생물학적 뇌처럼 현실 세계에서 학습하고 진화할 수 있는 적응형의 에너지 효율적인 기계를 향한 길을 열었습니다.