The Neural Division of Labor: Biologically-Inspired Modular Architectures for Robust Neuromorphic Computing

인간의 뇌를 궁극의 멀티태스커라고 상상해 보십시오. 뇌는 단순히 생각만 하는 것이 아니라 기억하고, 움직이고, 보고, 느끼는 일을 동시에 수행하면서도, 희미한 전구 하나 정도의 에너지로 작동합니다. 수십 년 동안 과학자들은 이 효율성을 모방한 인공 뇌를 만들기 위해 노력해 왔습니다. 현재 인공지능의 챔피언들은 모든 부분이 서로 연결된 거대하고 뒤엉킨 그물망과 같습니다. 이러한 "밀집된(dense)" 네트워크는 믿기지 않을 정도로 똑똑하지만, 에너지를 엄청나게 잡아먹는 괴물이며, 새로운 것을 배우는 순간 이전의 교훈을 잊어버리고, 누구도 결정이 어떻게 내려졌는지 정확히 알 수 없는 '블랙박스'처럼 작동합니다. 이는 문제점을 야기합니다. 우리는 똑똑할 뿐만 아니라 효율적이고, 투명하며, 기억을 깨끗이 지우지 않고도 지속적으로 학습할 수 있는 AI가 필요합니다.

이 논문은 곤충과 다른 동물들이 신경계를 조직하는 방식을 영감 삼아, 이러한 인공 뇌를 구축하는 새로운 방법을 소개합니다. 저자들은 이를 하나의 거대한 뒤엉킨 그물이 아니라, 각자의 격리된 사무실에서 일하는 전문화된 전문가 팀으로 제안하며, 이를 "분해 가능한 스파이킹 신경망(Decomposable Spiking Neural Network, D-SNN)"이라고 부릅니다. 이것을 하나의 거대한 뇌가 아니라, 각자의 독립된 사무실에서 업무를 수행하는 전문 전문가 팀이라고 생각해 보십시오. 연구진은 이 전문가들을 물리적으로 분리하고 특수한 "밀고 당기기(push-pull)" 규칙으로 훈련시킴으로써, 시스템이 놀라적으로 효율적이 되고, 이전의 것을 잊지 않고 새로운 작업을 학습하며, 의사 결정 과정을 완전히 투명하게 만든다는 것을 발견했습니다.

"뒤엉킨 그물망"의 문제점

대부분의 현대 AI는 모든 사람이 서로에게 말을 거는 거대하고 혼란스러운 파티와 같습니다. 기술적인 용어로, 이것들은 "전역적으로 얽힌(globally entangled)" 구조입니다. 만약 당신이 이 AI에게 고양이, 개, 또는 자동차를 인식하라고 요청한다면, 네트워크의 모든 뉴런이 대화에 참여하게 됩니다. 이 방식은 시스템을 강력하게 만들지만, 세 가지 큰 결함이 있습니다. 첫째, 엄청난 전력을 소비하는 데이터 센터를 필요로 하므로 매우 에너지 비효율적입니다. 둘째, "파괴적 망각(catastrophic forgetting)" 현상을 겪습니다. 즉, AI에게 새로운 것을 가르치면 이미 알고 있던 것을 덮어쓰는 경우가 많은데, 이는 마치 학생이 새 장을 쓰기 위해 공책 전체를 지워버리는 것과 같습니다. 셋째, "블랙박스"입니다. 모든 것이 서로 연결되어 있기 때문에, 뇌의 정확히 어느 부분이 결정을 내렸는지 추적하는 것이 불가능하여 신뢰하거나 감사하기 어렵습니다.

해결책: 격리된 전문가 팀

Maxim Bazhenov, Serafim Grubas, Vakhtang Putkaradze가 이끄는 저자들은 더 나은 청사진을 찾기 위해 자연을 관찰했습니다. 그들은 곤충의 후각 회로와 같은 생물학적 시스템이 종종 "구획화된(compartmentalized)" 구조를 사용한다는 점에 주목했습니다. 하나의 큰 뇌 대신, 특정 작업에 전념하는 전문화된 경로를 가지고 있다는 것입니다.

이를 모방하기 위해, 팀은 **분해 가능한 스파이킹 신경망(D-SNN)**을 구축했습니다. 넓은 평면 사무실에서 모두가 서로 소리를 지르는 대신, 10개의 별도 방이 있는 큰 사무실 건물을 상상해 보십시오. 각 방은 단 하나의 작업에 전념하는 "전문가"입니다. 만약 작업이 숫자 "3"을 인식하는 것이라면, 오직 "3-전문가" 방만 활성화됩니다. 나머지 9개의 방은 완전히 조용히 유지됩니다.

이 구조는 "스파이킹(spiking)" 방식입니다. 즉, 뉴런이 지속적인 데이터 스트림이 아니라 짧은 전기적 발사(스파이크)를 사용하여 통신한다는 의미이며, 이는 실제 생물학적 뉴런이 발화하는 방식과 매우 유사합니다. 이것이 에너지 효율의 핵심입니다. 뉴런이 발화할 필요가 없다면 에너지를 사용하지 않습니다.

"밀고 당기기(Push-Pull)" 훈련 규칙

격리된 전문가 팀이 혼란을 겪지 않고 협력하도록 어떻게 가르칠 수 있을까요? 저자들은 "밀고 당기기(Push-Pull)" 손실 함수라고 불리는 특별한 훈련 방법을 발명했습니다.

이것은 스포츠 캠프의 엄격한 코치와 같습니다. 팀이 특정 플레이(예: "3" 인식)를 연습할 때, 코치는 "3-전문가"를 더 열심히 일하도록 "당기고(pull)", 다른 모든 전문가들에게는 앉아서 조용히 있으라고 "밉니다(push)". 목표는 올바른 전문가가 작업할 때, 오직 그 전문가만이 작업하도록 만드는 것입니다. 이를 통해 각 전문가가 전문가가 되는 "분 division of labor(분업)"가 형성됩니다.

논문은 이 방법이 놀라울 정도로 잘 작동함을 보여줍니다. 필기체 숫자 인식(MNIST) 및 의류 아이템 인식(Fashion-MNIST)에 대한 표준 테스트에서, D-SNN은 각각 **98.15%**와 **91.68%**의 정확도를 달달성했습니다. 이 수치들은 현재 존재하는 가장 복잡하게 얽힌 네트워크들만큼이나 뛰어납니다. 그러나 D-SNN은 이 성과를 달성하면서도 절반의 파라미터(뇌세포 및 연결)를 사용했으며, 수십 배(orders of magnitude) 적은 스파이크를 생성했습니다.

왜 이것이 중요한가: 더 이상의 기억상실은 없다

이 논문의 가장 흥激한 발견은 이 구조가 "지속적 학습(continual learning)"—시간에 따라 새로운 것을 배우면서도 이전의 것을 잊지 않는 것—을 어떻게 처리하는가 하는 점입니다. 표준 AI에서 새로운 작업을 배우는 것은 종종 기존의 기억을 파괴합니다. 이를 "파괴적 망각"이라고 합니다.

D-SNN에서는 전문가들이 물리적으로 분리되어 있기 때문에, 저자들은 이미 학습을 마친 전문가의 가중치(연결)를 단순히 "동결(freeze)"할 수 있었습니다. 새로운 작업이 도착하면, AI는 기존의 방에는 손을 대지 않고 새로운 빈 전문가 방에서 학습할 수 있습니다.

실험에서, AI에게 숫자를 하나씩 인식하도록 가르쳤을 때, 표준적인 "얽힌" 네트워크는 거의 모든 것을 잊어버려 무작위 추측 수준으로 떨어졌습니다. 반면, 독립된 전문가(Independent Experts) 모델은 이전 작업에 대해 약 **54%**의 정확도를 유지한 반면, 얽힌 네트워크는 10%로 붕괴되었습니다. 논문은 이러한 구조적 격리가 기억 상실을 방지하는 핵심이며, 이는 전통적인 얽힌 네트워크로는 달성하기 매우 어려운 성과라고 시사합니다.

"블랙박스"가 "유리 상자"가 되다

마지막으로, 이 접근 방식은 투명성 문제를 해결합니다. 얽힌 네트워크에서는 누가 결정을 내렸는지 알 수 없습니다. 하지만 D-SNN에서는 명확합니다. 만약 시스템이 "3"을 식별한다면, 당신은 "3-전문가" 경로가 발화했고 나머지는 발화하지 않았음을 확실히 알 수 있습니다. 저자들은 이를 "감사 가능한 신경 신호(auditable neural signals)"라고 부릅니다. 이는 어떤 직원이 일을 했는지 정확히 볼 수 있는 유리 벽이 있는 사무실과 같습니다. 이는 특히 결정의 이유를 알아야 하는 중요한 응용 분야에서 시스템을 훨씬 더 안전하고 신뢰할 수 있게 만듭니다.

결론

이 논문은 생물학적 신경계의 모듈식, 전문화된 설계를 모방함으로써, 현재의 거대 AI만큼 똑똑하면서도 훨씬 더 효율적이고, 망각에 덜 취약하며, 완전히 투명한 AI를 구축할 수 있음을 입증합니다. 저자들은 MNIST, Fashion-MNIST, CIFAR-10/100과 같은 표준 데이터셋에서 이러한 결과를 시뮬레이션했으며, 그들의 "독립된 전문가" 구조가 훨씬 적은 에너지와 계산 비용으로 최첨단 정확도를 달성할 수 있음을 보여주었습니다. 비록 이 논문이 이 접근 방식에 특정 구조적 제약(전문가 간의 연결을 물리적으로 끊는 것)이 필요하다고 언급하고 있지만, 결과는 이러한 "분업"이 에너지 효율적이고 신뢰할 수 있는 인공지능의 미래를 위한 강력한 전략임을 시사합니다.