Technische Samenvatting: Neuromorf Energiebewust Leren voor Adaptieve Diepe Hersenstimulatie

Probleemstelling

De implementatie van neurale netwerkcontrollers op edge- en neuromorfe architecturen heeft de computationele inferentiekosten succesvol verminderd. Echter, in fysieke closed-loop systemen zoals Diepe Hersenstimulatie (DBS) voor de ziekte van Parkinson (PD), evenaart of overtreft de energie die door de actuator (de neurostimulator) wordt verbruikt vaak de energie die nodig is voor de inferentie zodra de controller op efficiënte hardware draait. Conventionele DBS-apparaten leveren continue hoogfrequente pulsen ongeacht de klinische staat, wat leidt tot batterijverspilling en stimulatie-geïnduceerde bijwerkingen. Hoewel adaptieve DBS (aDBS) parameters moduleert op basis van biomarkers, vertrouwen bestaande benaderingen vaak op conventionele hardware en venster-geaggregeerde verwerking die de fijnmazige temporele spike-structuur negeert. Bovendien is het verminderen van de inferentie-energie alleen onvoldoende; een effectieve aDBS-controller moet de therapeutische effectiviteit co-optimaliseren met de fysieke lading die door de stimulator wordt geleverd, aangezien de actuator de dominante stroomvraag vormt in implanteerbare systemen.

Methodologie

Biofysische Simulatieomgeving

De auteurs valideerden de controle-policies met behulp van een biofysisch gedetailleerde simulatie van het rat Cortico-Basale Ganglia-Thalamocorticale (CBGT) circuit, gebaseerd op het 6-hydroxydopamine (6-OHDA) gelesioneerde rat-model. Het netwerk bestaat uit 80 single-compartment neuronen verspreid over acht populaties (corticaal, STN, GPe, GPi, Striatum, Thalamus), gemodelleerd met Hodgkin-Huxley dynamica. Parkinsoniaanse staten werden geïnduceerd door de striatale M-stroom en corticostriatale kracht te verminderen en de intra-GPe inhibitie te verhogen, wat de uitvergrote $\alpha$-$\beta$ (7–35 Hz) oscillaties reproduceert.

Deep Spiking Q-Network (DSQN) Architectuur

Een Deep Spiking Q-Network (DSQN) werd geïmplementeerd om discrete stimulatieparameters (frequentie, pulswijdte, amplitude) te selecteren.

• Input: Het netwerk ontvangt een 80-kanaals binaire spike-matrix van het CBGT-model, ruimtelijk gepooled naar 16 kanalen via average pooling om aan hardwarebeperkingen te voldoen.
• Architectuur: Twee verborgen lagen van 128 Leaky Integrate-and-Fire (LIF) neuronen met expliciete synaptische stroomdynamica.
• Actie Decodering: Een gepartitioneerd populatie-codingschema decodeert acties. De outputlaag (9 neuronen) is verdeeld in drie subpopulaties die overeenkomen met frequentie, pulswijdte en amplitude. Een winner-take-all (WTA) readout over het simulatievenster bepaalt de discrete actie (verlagen, behouden, verhogen).
• Training: De agent gebruikt off-policy Q-learning met een experience replay buffer, geoptimaliseerd via surrogate gradiënten in PyTorch/Rockpool.

Energiebewuste Beloningsformulering

De kerninnovatie is een beloningsfunctie die de symptoomonderdrukking en energiebesparing gezamenlijk optimaliseert. De beloning $r_t$ is discontinu:

• Als de instantane $\beta$-band power ($\beta_t$) een drempelwaarde ($\tau_\beta$) overschrijdt, ontvangt de agent een straf proportioneel aan het overschot.
• Als $\beta_t \le \tau_\beta$, ontvangt de agent een beloning gebaseerd op therapeutische effectiviteit en een genormaliseerde energieterm ($E_t/E_{max}$), waarbij $E_t$ de Root Mean Square (RMS) van de stimulatiestroom is. Dit dwingt de policy om de ladinglevering te minimaliseren nadat de therapeutische onderdrukking is gewaarborgd.

Sparsity-Geconstreind Knowledge Distillation

Om de policy op ultra-low-power hardware te implementeren, werd een dichte "teacher" DSQN gedestilleerd naar ijle (sparse) "student" SNN's.

• Loss Functie: De totale loss combineert de Kullback-Leibler (KL) divergentie tussen de teacher en student Q-waarden met een sparsity penalty.
• Sparsity Penalty: Een Bernoulli KL-divergentieterm reguleert de gemiddelde vuur frequentie van de verborgen lagen richting een doel-sparsity $\rho$, waardoor Synaptic Operations (SynOps) worden geminimaliseerd.
• Hardware Mapping: De gedestilleerde student-netwerken werden gekwantiseerd (8-bit precisie) en geïmplementeerd op de SynSense XyloAudio 3 neuromorfe processor.

Benchmarking

De neuromorfe implementatie werd vergeleken met:

1. Conventionele DBS (cDBS): Continue stimulatie met vaste parameters.
2. Klinische aDBS: Dual-threshold heuristiek die stimulatie aan/uit schakelt op basis van $\beta$-power.
3. Artificial Neural Network (ANN): Rate-coded feedforward DQN.
4. Recurrent Neural Network (RNN): GRU-gebaseerde DQN.
   Alle modellen werden getest op een NVIDIA Jetson Orin Nano (CUDA) voor power en latency metrieken.

Belangrijkste Bijdragen

1. Energiebewuste Controle: Het framework introduceert een reinforcement learning beloning die de stimulatie-lading direct bestraft. Dit zorgt ervoor dat de policy de eerste-orde stroomvraag van de implantaten (de actuator) optimaliseert in plaats van alleen de inferentie-kosten.
2. Neuromorfe Benchmarking: De studie demonstreert een 28,1$\times$ reductie in energie per inferentie bij het implementeren van de SNN op de SynSense XyloAudio 3 vergeleken met een equivalente ANN op de Jetson Orin Nano, terwijl het binnen het sub-milliwatt vermogensbudget opereert dat vereist is voor chronische implantaten.
3. Biofysische Validatie: Het systeem bereikt een 45,2% reductie in pathologische $\alpha$-$\beta$ band power en een 80,0% reductie in cumulatieve stimulatie-lading ten opzichte van continue DBS in een biofysisch CBGT-model.

Resultaten

Therapeutische Effectiviteit

In het dopamine-gedepleteerde biofysische model reduceerde de SNN-controller de geïntegreerde $\alpha$-$\beta$ band power met 45,2% (95% CI [42,6, 47,7]) over 10 seeds. De controller detecteerde pathologische staten snel en initieerde hoogfrequente stimulatie om de recurrente synchronie tussen de STN en GPe te doorbreken. In tegenstelling tot de ongestimuleerde baseline herstelde de SNN een gedesynchroniseerd vuurregime.

Stimulatie Energie-efficiëntie

• Lading Reductie: De SNN bereikte een 80,0% reductie in cumulatieve ladinglevering vergeleken met cDBS.
• Vergelijking met Heuristieken: De SNN presteerde beter dan een klinische dual-threshold aDBS-heuristiek, waarbij 53,5% minder lading werd geleverd terwijl een diepere $\beta$-onderdrukking werd behouden (85,9% reductie vs. 56,2% voor de heuristiek).
• Baseline Falen: De ANN-baseline convergeerde naar een degeneratieve strategie (minimale stimulatie, geen $\beta$-onderdrukking), terwijl de RNN-baseline een statische, state-agnostische strategie adopteerde (maximale parameters continu), wat 50,6% meer energie verbruikte dan cDBS.

Hardware Efficiëntie en Compressie

• Sparsity Trade-off: Door sparsity-geconstreinde distillatie bereikte de beste student-policy een equivalente therapeutische effectiviteit (45,9% $\beta$-reductie) als de teacher bij 16,8 SynOps/ms, een 3,6$\times$ reductie in synaptische throughput.
• Stroomverbruik: De Xylo SNN trok 0,52 mW van het gemiddelde systeemvermogen, vergeleken met ~5,7 W voor de Jetson-baselines.
• Energie per Inferentie: De neuromorfe implementatie verbruikte 1,64 $\times$ 10$^{-4}$ J per inferentie, wat een 28,1$\times$ reductie betekent vergeleken met de ANN en 72,5$\times$ vergeleken met de RNN.
• Batterijduur Projectie: Met de SNN-policy wordt het totale systeemverbruik (stimulatie + inferentie) geprojecteerd op ~0,57 mW, wat meer dan één jaar continue werking mogelijk maakt op een standaard 5 Wh niet-oplaadbare IPG-batterij. In contrast hiermee zouden Jetson-gebaseerde controllers de batterij in minder dan een uur uitputten.

Betekenis en Claims

Het artikel claimt dat hardware-efficiëntie een leerbare eigenschap is van de neurale controller. Door de actuator-energie direct in de leerdoelstelling op te nemen, adresseert het framework beide belangrijke stroomvereisten in implanteerbare neuromodulatie: inferentie en stimulatie.

De auteurs stellen dat het reduceren van de inferentie-kosten alleen noodzakelijk maar niet voldoende is; zodra de controller efficiënt is, wordt de actuator de kostenwaardige factor die gereduceerd moet worden. Het voorgestelde co-optimalisatieframework onderscheidt zich van benaderingen die ofwel stimulatieprotocollen ofwel inferentie-efficiëntie in isolatie optimaliseren. De resultaten tonen aan dat een neuromorfe controller kan opereren binnen strikte thermische en batterijbeperkingen (sub-milliwatt enveloppe), terwijl het lading-efficiënte strategieën ontdekt die standaarddoelen zouden missen. Het werk suggereert dat voor chronische implantaten de latency-trade-off van neuromorfe hardware acceptabel is gezien de kritieke beperkingen van vermogen en energie, waarmee de hardwarebarrière die voorheen neurale netwerkcontrollers voor dergelijke toepassingen blokkeerde, wordt opgeheven. De energiebewuste beloningsformulering wordt gepresenteerd als overdraagbaar naar andere responsieve neurostimulatie-systemen (bijv. epilepsie, pijn) waar de actuator-energie de dominante kostenpost vormt.