🧬 biology

Neuromorphic Energy-Aware Learning for Adaptive Deep Brain Stimulation

본 논문은 액추에이터 에너지를 강화 학습 보상에 통합하고 뉴로모픽 하드웨어에 압축된 스파이킹 정책을 배포함으로써, 적응형 뇌 심부 자극을 위한 병적 진동과 총 전력 소비를 모두 크게 감소시키는 액추에이터 자극과 추론 효율성을 공동 최적화하는 에너지 인지 학습 프레임워크를 소개한다.

원저자: Jason Eshraghian, Binh Nguyen, Colleen Josephson, Mircea Teodorescu, Gert Cauwenberghs

게시일 2026-06-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jason Eshraghian, Binh Nguyen, Colleen Josephson, Mircea Teodorescu, Gert Cauwenberghs

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

거대한 문제: "무거운 짐을 드는 팔" vs "똑똑한 두뇌"

당신에게 파킨슨병 환자를 돕기 위해 설계된 로봇이 있다고 상상해 보세요. 이 로봇은 두 가지 주요 임무를 수행합니다:

생각하기: 환자가 떨림(진전)을 겪고 있는지 알기 위해 환자의 뇌 신호를 끊임없이 모니터링해야 합니다.
행동하기: 떨림을 멈추기 위해 뇌에 미세한 전기 펄스(자극)를 보내야 합니다.

수년 동안 연구자들은 "생각하는 부분"(컴퓨터 두뇌)을 매우 효율적이고 저전력으로 만들기 위해 노력해 왔습니다. 그들은 하루에 단 몇 푼의 비용으로 이 생각을 수행할 수 있는 아주 작고 에너지를 절약하는 칩들을 만들어 냈습니다.

하지만 여기에 함정이 있습니다: 이 논문은 "생각하는 부분"을 효율적으로 만드는 것만으로는 충분하지 않다고 주장합니다. 실제로 "행동하는 부분"(전기 펄스를 보내는 것)이 훨씬 더 큰 짐을 드는 주체이며, 훨씬 더 많은 에너지를 사용하기 때문입니다. 만약 당신이 초효율적인 두뇌를 가졌더라도 팔이 낭비적이라면, 결국 배터리는 바닥나게 됩니다.

저자들은 배터리 수명을 늘리기 위해서 컴퓨터 두뇌가 팔을 사용하는 법을 '게으르게' 배우는 법을 익혀야 한다는 점을 깨달았습니다. 단순히 효율적으로 생각하는 것을 넘어, 하는 일을 완수하면서도 더 적고 작은 전기 펄스를 보내는 법을 배워야 한다는 것입니다.

해결책: 에너지를 아끼는 법을 배우는 "똑똑한" 두뇌

연구팀은 **스파이킹 신경망(Spiking Neural Network, SNN)**이라는 새로운 종류의 컴퓨터 두뇌를 만들었습니다. 이것을 계속 돌아가는 일반적인 계산기가 아니라, 생물학적 뇌와 같은 것이라고 생각하세요. 이 두뇌는 인체의 뉴런처럼 실제로 신호를 받았을 때만 "발화(fire)"하여 에너지를 사용합니다.

그들은 **강화 학습(Reinforcement Learning)**이라는 특별한 게임을 사용하여 이 두뇌를 훈련시켰습니다.

목표: 뇌의 떨림(병적 진동)을 멈추는 것.
반전: 이 게임에서 두뇌는 떨림을 멈추지 못했을 때뿐만 아니라, 일을 수행하는 데 너무 많은 전기를 사용했을 때도 "벌칙"을 받습니다.

이것은 강아지를 훈련시키는 것과 같습니다. 보통은 강아지가 원반을 잡았을 때만 보상을 줍니다. 하지만 이 실험에서 훈련사는 이렇게 말합니다. "원반을 잡긴 했지만, 그전에 에너지를 낭비하며 뱅뱅 돌았다면 간식을 줄 수 없다." 이 두뇌는 가장 좋은 방법이 정밀하게 움직이면서 필요한 최소한의 에너지만 사용하는 것임을 배웠습니다.

결과: 더 똑똑하고, 더 빠르며, 더 오래 지속되는 기술

연구팀은 인간의 뇌(파킨슨병 증상을 모사함)를 모방한 쥐의 뇌 컴퓨터 시뮬레이션에서 이 새로운 두뇌를 테스트했습니다. 결과는 다음과 같았습니다:

효과가 있었습니다: 새로운 두뇌는 나쁜 뇌파(떨림)를 45% 감소시켰습니다.
엄청난 에너지를 절약했습니다: 효율적으로 작동하는 법을 배웠기 때문에, 기존의 "항상 켜져 있는" 방식에 비해 뇌로 보내는 전기 자극을 80% 줄였습니다.
작은 칩에 들어갑로 수 있습니다: 그들은 이 두뇌를 특수 제작된 초저전력 칩(SynSense XyloAudio 3)에 들어갈 정도로 축소했습니다.
- 비교: 만약 이 동일한 두-뇌를 고성능 스마트폰이나 노트북에 들어가는 일반적인 강력한 컴퓨터 칩에서 실행하려고 한다면, 배터리는 한 시간도 채 되지 않아 방전될 것입니다.
- 현실: 그들의 작은 특수 칩 위에서, 이 두뇌는 전력을 매우 적게 사용하여 표준 이식형 배터리가 교체 수술 없이 1년 이상 지속될 수 있을 만큼 효율적입니다.

"마법의 기술": 두뇌 증류(Distilling the Brain)

처음에 훈련된 두-뇌는 너무 크고 복잡해서 작은 이식형 칩에 들어갈 수 없었습니다. 그래서 그들은 **지식 증류(Knowledge Distillation)**라는 기법을 사용했습니다.

숙련된 요리사(크고 복잡한 두뇌)가 견습생(작은 칩 두뇌)을 가르치는 장면을 상상해 보세요. 숙련된 요리사는 모든 것을 알고 있지만 속도가 느리고 재료를 너무 많이 사용합니다. 견습생은 재료를 훨씬 적게 사용하면서도 더 빠르게, 정확히 똑같은 맛있는 요리를 만드는 법을 배웁니다. 논문은 이 견습생이 3.6배 적은 단계를 거치면서도 거의 동일한 수준의 요리를 해낼 수 있음을 보여줍니다.

이것이 왜 중요한가

이 논문은 의료용 이식 장치가 배터리 교체 없이 수년간 작동하기 위해서는, 단순히 컴퓨터 두의 효율성만 높여서는 안 된다고 결론짓습니다. 두뇌에게 액추에이터(전기를 전달하는 부분)에 대해서도 효율적으로 행동하도록 가르쳐야 합니다.

생물학적 뉴런처럼 생각하는 방식(스파이킹)과 에너지 낭비에 벌칙을 주는 보상 체계를 결합함으로써, 그들은 다음을 갖춘 시스템을 만들어 냈습니다:

치료 효과: 증상을 억제합니다.
에너지 효율: 자극 에너지를 80% 절감합니다.
하드웨어 준비 완료: 인간의 몸속에 수년간 이식될 수 있을 만큼 작고 차가운 칩에서 구동 가능합니다.

요약하자면, 그들은 단순히 온도를 켜고 끄는 것뿐만 아니라, 집을 태워버리지 않으면서도 집을 쾌적하게 유지하기 위해 정확히 얼마만큼의 열이 필요한지를 배우는 "스마트 온도 조절기"를 만든 것입니다.

기술 요약: 적응형 뇌심부 자극을 위한 뉴로모픽 에너지 인식 학습

문제 정의

물리적 폐쇄 루프 시스템(예: 뇌심부 자극기(IPG)를 위한 이식형 펄스 발생기)에 신경망 컨트롤러를 배치하는 데에는 심각한 에너지 병목 현상이 존재한다. 뉴로모픽 및 에지 컴퓨팅이 신경망 컨트롤러의 추론 비용을 줄이는 데 성공했음에도 불구하고, 액추에이터(전기적 전하를 전달하는 신경 자극기)가 소비하는 에너지는 종종 컨트롤러의 추론 비용과 비슷하거나 이를 초과한다. 파킨슨병(PD)을 위한 뇌심부 자극(DBS)에서 지속적 자극(cDBS)은 수백 마이크로와트에서 밀리와트 수준의 전력을 소비하며, 이는 효율적인 뉴로모픽 컨트롤러의 전력 체계와 맞먹는 수준이다. 따라서 추론 효율성만을 최적화하는 것은 불충분하며, 배터리 수명을 연장하고 열 손상을 방지하기 위해 제어 정책 또한 물리적 전하 전달을 최소화해야 한다. 또한, 기존의 적응형 DBS(aDBS) 접근 방식은 윈도우 집계 특징(예: 평균 스펙트럼 전력)에 의존하여 미세한 시간적 스파이크 구조를 버리는 경향이 있으며, 만성 이식에 필요한 서브 밀리와트 전력 범위를 초과하는 하드웨어(예: GPU)를 사용하는 경우가 많다.

방법론

저자들은 폐쇄 루프 시스템 내에서 치료 효능과 자극 에너지를 공동 최적화하는 에너지 인식 학습(Energy-Aware Learning) 프레임워크를 제안한다.

생체 물리적 시뮬레이션 환경:
- 시스템은 6-OHDA 손상 쥐 모델을 기반으로 한 피질-기저핵-시상(CBGT) 회로의 도파민 결핍 생체 물리 모델에서 훈련된다.
- 모델은 8개 인구 집단(STN, GPe, GPi, 선조체, 시상 포함)에 걸친 80개 뉴런으로 구성되며, Hodgkin-Huxley 및 Izhikevich 역학을 사용한다.
- 상태 관측값은 원시 80 채널 스파이크 래스터(spike raster)이며, 하드웨어 제약에 맞춰 평균 풀링(average pooling)을 통해 16 채널로 공간적 다운샘플링된다.
강화 학습 에이전트 (교사):
- **심층 스파이킹 Q-네트워크(DSQN)**가 오프 폴리시(off-policy) Q-러닝을 사용하여 훈련된다.
- 보상 함수: 보상은 GPi에서의 병리적 $\alpha$ - $\beta$ 진동(7–35 Hz)을 억제하는 것을 우선시하는 불연속 함수이다. 만약 $\beta$ -전력이 임계값( $\tau_\beta$ )을 초과하면 에이전트는 페널티를 받는다. 임계값 미만일 경우, 보상은 치료적 유지와 자극 전류의 제곱평균제곱근(RMS)에 기반한 에너지 인식 페널티의 가중 합으로 결정된다. 이는 에이전트가 전하 효율적인 전략을 학습하도록 강제한다.
- 행동 공간: 에이전트는 세 가지 이산적 DBS 파라미터를 조절한다: 주파수( $f$ ), 진폭( $A$ ), 펄스 폭( $\delta$ ).
희소성 제약 지식 증류 (Sparsity-Constrained Knowledge Distillation):
- 초저전력 하드웨어에 정책을 배포하기 위해, "교사" SNN으로부터 "학생" SNN으로 지식을 증류한다.
- 증류 손실은 교사와 학생 간의 Q-값에 대한 쿨백-라이블러(KL) 발산과 명시적인 희소성 페널티를 결합한다. 이 페널티는 은닉층의 평균 발화율을 목표 희소성( $\rho$ )을 향해 정규화하여, 동적 전력을 줄이기 위한 시냅스 연산(SynOps)을 직접적으로 최소화한다.
하드웨어 배포:
- 증류된 학생 정책은 SynSense XyloAudio 3 뉴로모픽 프로세서에 배포된다.
- 성능은 NVIDIA Jetson Orin Nano에서 실행되는 인공 신경망(ANN) 및 게이트 순환 유닛(RNN) 베이스라인과 비교 벤치마킹된다.

주요 결과

치료 효능

SNN 컨트롤러는 자극되지 않은 PD 베이스라인 대비 병리적 $\alpha$ - $\beta$ 대역 전력을 45.2% (95% CI [42.6, 47.7]) 감소시켰다.
컨트롤러는 병리적 상태를 성공적으로 감지하고, STN과 GPe 사이의 병리적 동기화를 깨뜨리기 위해 자극 파라미터(진폭을 줄이면서 주파수를 180 Hz로 높임)를 조절하였다.

자극 에너지 효율

지속적 DBS(cDBS)와 비교했을 때, 에너지 인식 SNN 정책은 누적 자극 전하를 80.0% 감소시켰다.
이는 현재 aDBS 표준인 임상적 이중 임계값 휴리스틱(57.0% 감소 달성)보다 뛰어난 성능을 보였다. SNN은 휴리스틱보다 더 깊은 $\beta$ -전력 억제를 유지하면서도 53.5% 적은 전하를 전달했다.
베이스라인 실패 사례:
- ANN(율 코딩 방식)은 거의 제로에 가까운 자극 정책(94.8% 전하 감소)으로 수렴했으나, $\beta$ -진동 억제에는 실패했다.
- RNN은 적응적 하향 조절을 학습하지 못하고 파라미터를 최대치로 고정하여, cDBS보다 50.6% 더 많은 에너지를 소비했다.

하드웨어 효율성 및 전력 예산

추론 전력: Xylo SNN은 0.52 mW(I/O 및 아날로그 프런트엔드 포함)를 소비한 반면, Jetson ANN 및 RNN은 각각 5.7 W 및 5.6 W를 소비했다.
추론당 에너지: Xylo SNN은 ANN 대비 28.1배, RNN 대비 72.5배 적은 추론당 에너지를 달로 달성했다.
지연 시간 트레이드오프: SNN 추론 지연 시간은 315.10 ms였으나(ANN의 0.81 ms 대비), 이는 $\beta$ -대역 엔벨로프 변화의 생리학적 시간 척도(~1초) 범위 내에 있다.
시스템 레벨 영향: 추론 및 자극 전력을 결합했을 때, Xylo 기반 시스템은 총 ~0.57 mW를 소모한다. 이는 표준 5 Wh 비충전식 IPG 배터리로 1년 이상의 연속 작동이 가능함을 시사한다. 반면, Jetson 기반 시스템은 1시간 미만 만에 배터리가 고갈될 것이다.

의의 및 주장

본 논문은 하드웨어 효율성이 신경망 컨트롤러의 학습 가능한 속성이라고 주장한다. 강화 학습 보상에 액추에이터 에너지를 직접 포함함으로써, 표준 목적 함수가 놓치는 전하 효율적 전략을 발견할 수 있다.

저자들은 다음을 입증한다:

서브 밀리와트 추론은 필수 조건이다: 추론 전력이 낮지 않으면, 컨트롤러의 전력 소모가 자극 절감 효과를 무의 средств하게 만든다.
저전력 추론만으로는 불충분하다: 자극기가 여전히 중요한 전력 비용이므로, 제어 정책 또한 능동적으로 전하 전달을 최소화해야 한다.
스파이킹 역학은 유도 편향(inductive bias) 역할을 한다: SNN의 누설 적분 발화(LIF) 역학과 희소하고 이진적인 활성화는 ANN과 RNN에서 나타나는 퇴보적 정책(자극을 아예 안 하거나 최대치로 하는 것)으로의 수렴을 방지한다.

이 연구는 뉴로모픽 컴퓨팅이 에너지 인식 학습과 결합될 때, 만성적인 배터리 구동 이식 장치에서 그동안 가로막혀 왔던 전력 제약 문제를 해결할 수 있음을 검증한다. 결과는 설치류 생체 물리 모델에 근거하고 있으며, 저자들은 절대적인 수치는 근사치이지만, 분율 절감치(예: 80% 전하 감소)는 임상 환경에서도 그대로 적용될 것으로 보고 있다.