⚡ electrical engineering

Neuromorphic Energy-Aware Learning for Adaptive Deep Brain Stimulation

이 논문은 액추에이터 에너지를 강화 학습 보상에 포함하고 뉴로모픽 하드웨어 상에 압축된 스파이킹 신경망을 배포함으로써, 액추에이터 자극과 추론 효율성을 공동 최적화하여 파킨슨병의 적응형 뇌 심부 자극을 위한 병적 진동과 전력 소비를 모두 유의미하게 감소시키는 에너지 인지 학습 프레임워크를 소개한다.

원저자: Binh Nguyen, Colleen Josephson, Mircea Teodorescu, Gert Cauwenberghs, Jason Eshraghian

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Binh Nguyen, Colleen Josephson, Mircea Teodorescu, Gert Cauwenberghs, Jason Eshraghian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사람의 뇌 속에 살고 있는 아주 작은 배터리 구동 로봇을 상상해 보세요. 이 로봇의 임무는 뇌의 전기 신호를 조절하는 '교통 경찰' 역할을 하는 것입니다. 뇌가 혼란스러운 리듬에 빠졌을 때(파킨슨병에서 발생하는 현상), 이 로봇은 상황을 부드럽게 만들기 위해 부드러운 전기 펄스를 보내야 합니다. 이것을 심부 뇌 자극술(DBS)이라고 부릅니다.

수년 동안 과학자들은 로봇의 '두뇌'(컴퓨터 칩)를 더 똑똑하고 에너지 효율적으로 만들기 위해 노력해 왔습니다. 하지만 여기에는 함정이 있습니다. 로봇의 팔(펄스를 보내는 부분)이 두뇌보다 훨씬 더 많은 에너지를 사용한다는 점입니다.

이것은 하이브리드 자동차와 같습니다. 당신이 세상에서 가장 연료 효율이 좋은 엔진(컨트롤러)을 만들 수 있지만, 만약 차가 계속해서 무거운 닻을 끌고 다닌다면(자극), 결국 연료가 바닥날 것입니다. 이 논문은 배터리 수명을 늘리기 위해서는 단순히 두뇌를 효율적으로 만드는 것만으로는 부족하며, 두뇌에게 그 닻을 사용하는 데 있어 '게으르게' 행동하도록 가르쳐야 한다고 주장합니다.

연구진이 이 문제를 해결한 방법은 다음과 같이 간단한 단계로 나뉩니다.

1. "에너지 인지형" 선생님

연구진은 로봇의 두뇌를 훈련시키는 새로운 방법을 만들었습니다. 보통 로봇을 훈련시킬 때는 "떨림을 고쳐내면 잘한 거야!"라고 말합니다. 하지만 이 새로운 방식은 두 번째 규칙을 추가합니다: "떨림을 고쳐내되, 그 과정에서 전기를 적게 사용하면 잘한 거야!"

그들은 이를 **에너지 인지 학습(Energy-Aware Learning)**이라고 부릅니다. 이는 마치 배달 기사에게 단순히 물건을 집까지 배달하라고 가르치는 것이 아니라, 가장 연료 효율적인 경로로 배달하라고 가르치는 것과 같습니다. 만약 기사가 기름값을 아끼려고 지름길을 택했다가 집을 놓친다면 낮은 점수를 받습니다. 반대로 엄청나게 기름을 많이 먹는 트럭을 몰고 집까지 간다면 이 또한 낮은 점수를 받습니다. 기사는 이 둘 사이의 완벽한 균형을 찾아야 합니다.

2. "스파이킹" 두뇌 vs "표준형" 두뇌

로봇을 인간의 몸 안에 들어갈 만큼 작게 만들기 위해, 연구진은 뉴로모픽(Neuromorphic) 하드웨어라고 불리는 특수한 유형의 컴퓨터 칩을 사용했습니다.

표준 칩 (스마트폰 등에 들어가는 칩): 이것은 아무것도 보이지 않을 때도 24시간 내내 켜져 있는 전구와 같습니다. 뇌가 조용할 때도 끊임없이 뇌의 신호를 확인합니다. 이는 배터리를 낭비합니다.
뉴로모픽 칩 (Xylo): 이것은 동작 감지 센서 조명과 같습니다. 특정 신호(스파이크)가 발생할 때만 "깨어나서" 작업을 수행합니다. 뇌가 조용하면 칩은 잠을 잡니다. 이는 믿기 힘들 정도로 효율적입니다.

연구진은 이 동작 감지 칩 위에서 "스파이킹 신경망(SNN)"을 훈련시켰습니다. 이 칩은 뇌의 자연스럽고 혼란스러운 리듬을 듣고, 꼭 필요할 때만 펄스를 보냅니다.

3. "지식 증류" 기법 (학생 가르치기)

'선생님' 로봇은 똑똑했지만, 이식하기에는 너무 크고 말이 많았습니다. 그래서 연구진은 **지식 증류(Knowledge Distillation)**라는 기술을 사용했습니다.
모든 것을 알고 있지만 말이 너무 많은 유능한 교수(선생님)가 있다고 상상해 보세요. 그 교수가 지식을 전달할 학생(학생)을 고용했습니다. 목표는 단순히 학생이 정답을 맞히는 것이 아니라, 더 적은 단어를 사용하여 정답을 얻는 법을 배우는 것입니다.
연구진은 학생이 매우 "희소하게(sparse)" 작동하도록 강제했습니다. 즉, 일을 수행하기 위해 아주 적은 수의 전기 신호만을 사용해야 했습니다. 그 결과, 아주 작고 매우 효율적인 학생 로봇이 탄생했으며, 이 로봇은 작은 칩 안에 들어가 배터리를 소모하지 않고도 임무를 수행할 수 있었습니다.

4. 결과: 효율성의 기적

연구진이 파킨슨병 환자의 뇌를 컴퓨터 시뮬레이션으로 테스트했을 때, 결과는 인상적이었습니다.

혼란 억제: 로봇은 나쁜 뇌의 리듬을 45% 감소시켰는데, 이는 환자에게 매우 큰 개선입니다.
배터리 절약: 로봇이 게으르게 행동하도록 학습했기 때문에, 기존의 "항상 켜져 있는" 방식에 비해 뇌로 보내는 전력량을 80% 줄였습니다.
칩의 전력: 이 작은 칩은 전력을 매우 적게 사용하여, 표준형 임플란트 배터리에 넣었을 경우 배터리 교체를 위한 수술 없이도 1년 이상 작동할 수 있었습니다. 반면, 이 시스템을 표준 컴퓨터 칩(고성능 스마트폰에 들어가는 칩 등)에서 실행하려고 했다면, 배터리는 한 시간도 채 되지 않아 방전되었을 것입니다.

핵심 요약

이 논문의 핵심 메시지는 단순히 컴퓨터 두뇌를 효율적으로 만드는 것만으로는 부족하며, 전체 시스템을 효율적으로 만들어야 한다는 것입니다. AI에게 전기를 보내는 비용을 고려하도록 가르침으로써, 연구진은 훌륭한 의사(질병 치료)인 동시에 훌륭한 회계사(배터리 절약)인 시스템을 만들어냈습니다.

이것은 단순히 더 나은 칩을 만드는 문제가 아닙니다. 의료용 이식 장치에서는 '액추에이터'(실제로 작업을 수행하는 부분)가 종종 가장 큰 에너지 소모원이라는 점을 깨닫는 것에 관한 것입니다. 만약 AI에게 그 부분에 대해 관대하게 행동하도록 가르치지 않는다면, 다른 모든 효율성 개선은 아무런 의미가 없습니다. 이 새로운 접근 방식은 두 가지 문제를 동시에 해결합니다.

기술 요약: 적응형 뇌심부 자극을 위한 뉴로모픽 에너지 인식 학습

문제 정의

에지 및 뉴로모픽 아키텍처에 신경망 컨트롤러를 배포함으로써 계산 추론 비용을 줄이는 데 성공했다. 그러나 뇌심부 자극(DBS)과 같은 물리적 폐쇄 루프 시스템에서는, 컨트롤러가 효율적인 하드웨어에서 실행될 때 소요되는 에너지보다 액추에이터(신경 자극기)에 의해 소비되는 에너지가 대등하거나 오히려 더 높게 나타난다. 기존의 DBS 장치는 임상적 상태와 관계없이 연속적인 고주파 펄스를 전달하며, 이는 배터리 낭비와 자극 유발 부작용을 초래한다. 적응형 DBS(aDBS)는 바이오마커를 기반으로 파라미터를 조절하지만, 기존 방식은 일반적인 하드웨어와 윈도우 집계 처리 방식에 의존하여 미세한 시간적 스파이크 구조를 버리는 경향이 있다. 또한, 추론 에너지를 줄이는 것만으로는 불충분하다. 효과적인 aDBS 컨트롤러는 치료 효능과 물리적 전하 전달량을 함께 최적화해야 하는데, 이는 이식형 시스템에서 액추에이터가 지배적인 전력 수요가 되기 때문이다.

방법론

생체물리학적 시뮬레이션 환경

저자들은 6-OHDA(6-hydroxydopamine) 손상 쥐 모델을 기반으로 한 생체물리학적으로 상세한 쥐의 피질-기저핵-시상(CBGT) 회로 시뮬레이션을 사용하여 제어 정책을 검증하였다. 네트워크는 8개의 인구 집단(피질, STN, GPe, GPi, 선조체, 시상)에 걸친 80개의 단일 컴파트먼트 뉴런으로 구성되며, Hodgkin-Huxley 역학으로 모델링되었다. 파킨슨병 상태는 선조체의 M-전류와 피질선조체 강도를 감소시키고 GPe 내 억제를 증가시켜, 과장된 $\alpha$ - $\beta$ (7–35 Hz) 진동을 재현함으로써 유도되었다.

딥 스파이킹 Q-네트워크 (DSQN) 아키텍처

이산적인 자극 파라미터(주파수, 펄스 폭, 진폭)를 선택하기 위해 딥 스파이킹 Q-네트워크(DSQN)를 구현하였다.

입력: 네트워크는 CBGT 모델로부터 80채널 이진 스파이크 행렬을 받으며, 하드웨어 제약에 맞추기 위해 평균 풀링을 통해 16채널로 공간적 풀링을 수행한다.
아키텍처: 명시적인 시냅스 전류 역학을 가진 두 개의 128 Leaky Integrate-and-Fire (LIF) 뉴런 은닉층으로 구성된다.
액션 디코딩: 분할된 인구 코딩 기법을 통해 액션을 디코딩한다. 출력층(9개 뉴런)은 주파수, 펄스 폭, 진폭에 대응하는 세 개의 하위 집단으로 나뉜다. 시뮬레이션 윈도우에 대한 winner-take-all (WTA) 리드아웃이 이산적 액션(감소, 유지, 증가)을 결정한다.
학습: 에이전트는 PyTorch/Rockpool를 통해 서로게이트 그래디언트로 최적화된 경험 재생 버퍼를 사용하는 off-policy Q-learning을 사용한다.

에너지 인식 보상 공식

핵심 혁신은 증상 억제와 에너지 보존을 공동으로 최적화하는 보상 함수이다. 보상 $r_t$ 는 불연속적이다:

만약 순간적인 $\beta$ -대역 전력( $\beta_t$ )이 임계값( $\tau_\beta$ )을 초과하면, 에이전트는 초과분에 비례하는 페널티를 받는다.
만약 $\beta_t \le \tau_\beta$ 이면, 에이전트는 치료 효능과 정규화된 에너지 항( $E_t/E_{max}$ )에 기반한 보상을 받는다. 여기서 $E_t$ 는 자극 전류의 제곱평균제곱근(RMS)이다. 이는 에이전트가 치료적 억제를 보장한 후에만 전하 전달을 최소화하도록 강제한다.

희소성 제약 지식 증류

초저전력 하드웨어에 정책을 배포하기 위해, 조밀한(dense) "교사(teacher)" DSQN을 희소한(sparse) "학생(student)" SNN으로 증류하였다.

손실 함수: 전체 손실은 교사와 학생 간의 Kullback-Leibler (KL) 발산과 희소성 페널티를 결합한다.
희소성 페널티: Bernoulli KL 발산 항은 은닉층의 평균 발화율을 목표 희소성 $\rho$ 로 정규화하여 시냅스 연산(SynOps)을 최소화한다.
하드웨어 매핑: 증류된 학생 네트워크는 8비트 정밀도로 양자화되어 SynSense XyloAudio 3 뉴로모픽 프로세서에 배포되었다.

벤치마킹

뉴로모픽 구현은 다음 항목들과 비교 벤치마킹되었다:

전통적 DBS (cDBS): 고정된 파라미터로 연속 자극을 가함.
임상적 aDBS: $\beta$ -전력에 기반한 이중 임계값 휴리스틱 토글링.
인공 신경망 (ANN): 레이트 코딩(rate-coded) 피드포워드 DQN.
순환 신경망 (RNN): GRU 기반 DQN.
모든 모델은 전력 및 지연 시간 측정을 위해 NVIDIA Jetson Orin Nano (CUDA)에서 비교되었다.

주요 기여

에너지 인식 제어: 본 프레임워크는 자극 전하 전달을 직접적으로 페널티를 주는 강화 학습 보상을 도입한다. 이를 통해 에이전트는 임플란트의 1차 전력 수요인 추론 비용뿐만 아니라 액추에이터 에너지까지 최적화한다.
뉴로모픽 벤치마킹: 본 연구는 SNN을 Jetson Orin Nano 상의 동등한 ANN과 비교했을 때, 추론당 에너지를 28.1배 감소시킴을 입증하였으며, 만성 이식에 필요한 밀리와트 미만 전력 범위를 준수한다.
생체물리학적 검증: 시스템은 생체물리학적 CBGT 모델에서 병리적 $\alpha$ - $\beta$ 대역 전력을 45.2% 감소시키고, 연속적 DBS 대비 누적 자극 전하를 80.0% 감소시켰다.

결과

치료 효능

도파민 결핍 생체물리학적 모델에서, SNN 컨트롤러는 10개의 시드에 대해 $\alpha$ - $\beta$ 대역 통합 전력을 45.2% (95% CI [42.6, 47.7]) 감소시켰다. 컨트롤러는 병리적 상태를 빠르게 감지하고 고주파 자극을 시작하여 STN과 GPe 사이의 재귀적 동기화를 깨뜨렸다. 자극이 없는 베이스라인과 달리, SNN은 탈동기화된 발화 체계를 복원했다.

자극 에너지 효율

전하 감소: SNN은 cDBS 대비 누적 전하 전달을 80.0% 감소시켰다.
휴리스틱과의 비교: SNN은 임상적 이중 임계값 aDBS 휴리스틱보다 더 깊은 $\beta$ -억제(휴리스틱은 56.2% 감소)를 유지하면서도 53.5% 적은 전하를 전달하여 성능이 우수했다.
베이스라인 실패: ANN 베이스라인은 퇴행적 전략(최소 자극, $\beta$ 억제 없음)으로 수렴한 반면, RNN 베이스라인은 정적이고 상태 무관한 전략(최대 파라미터 지속 사용)을 채택하여 cDBS보다 50.6% 더 많은 에너지를 소비했다.

하드웨어 효율성 및 압축

희소성 트레이드오프: 희소성 제약 증류를 통해, 최적의 학생 정책은 교사와 동등한 치료 효능(45.9% $\beta$ -감소)을 달성하면서도 16.8 SynOps/ms의 낮은 수준을 기록하여 시냅스 처리량을 3.6배 감소시켰다.
전력 소비: Xylo SNN은 평균 시스템 전력으로 0.52 mW를 소모한 반면, Jetson 베이스라인은 약 5.7 W를 소모했다.
추론당 에너지: 뉴로모픽 구현은 추론당 $1.64 \times 10^{-4}$ J을 소비하였으며, 이는 ANN 대비 28.1배, RNN 대비 72.5배 적은 에너지이다.
배터리 수명 전망: SNN 정책을 사용할 경우, 총 시스템 소모량(자극 + 추론)은 약 0.57 mW로 투영되어, 표준 5 Wh 비충전식 IPG 배터리로 1년 이상 연속 작동이 가능하다. 반면, Jetson 기반 컨트롤러는 한 시간도 채 되지 않아 배터리를 소진할 것이다.

의의 및 주장

본 논문은 하드웨어 효율성이 신경 컨트롤러의 학습 가능한 속성임을 주장한다. 액추에이터 에너지를 학습 목표에 직접 포함함으로써, 본 프레임워크는 이식형 뉴로모듈레이션의 두 가지 주요 전력 수요인 추론과 자극을 모두 해결한다.

저자들은 추론 비용만을 줄이는 것은 필요하지만 충분하지 않다고 단언한다. 컨트롤러가 효율적이 되면, 액추에이터가 줄여야 할 비용이 된다. 제안된 공동 최적화 프레임워크는 자극 프로토콜이나 추론 효율성을 독립적으로 최적화하는 기존 방식과 구별된다. 결과는 뉴로모픽 컨트롤러가 열 및 배터리 제약(밀리와트 미만 범위) 내에서 작동하면서도, 표준 목적 함수가 놓칠 수 있는 전하 효율적 전략을 발견할 수 있음을 보여준다. 본 연구는 만성 이식 장치에 있어 뉴로모픽 하드웨어의 지연 시간 트레이드오프가 전력 및 에너지라는 결정적 제약 조건 하에서 수용 가능하다는 것을 입증하며, 이전에 이러한 응용을 가로막았던 하드웨어 장벽을 해결한다. 에너지 인식 보상 공식은 자극 에너지가 지배적인 비용이 되는 다른 반응형 신경 자극 시스템(예: 간질, 통증)에도 전이 가능하다.