Technische Samenvatting: Neuromorfische Energiebewuste Leerprocessen voor Adaptieve Diepe Hersenstimulatie

Probleemstelling

De implementatie van neurale netwerkcontrollers in fysieke closed-loop systemen, zoals Implantable Pulse Generators (IPG's) voor Diepe Hersenstimulatie (DBS), staat voor een kritieke energiebelemmering. Hoewel neuromorfische en edge computing succesvol de inferentiekosten van neurale controllers hebben verminderd, is de energie die verbruikt wordt door de actuator (de neurostimulator die elektrische lading aan het weefsel levert) vaak vergelijkbaar met of zelfs groter dan de inferentiekosten van de controller zelf. Bij DBS voor de ziekte van Parkinson (PD) verbruikt continue stimulatie (cDBS) vermogen in de orde van grootte van honderden microwatts tot een milliwatt, een regime dat vergelijkbaar is met efficiënte neuromorfische controllers. Daarom is het optimaliseren van enkel de inferentie-efficiëntie onvoldoende; de controle-policy moet ook de fysieke lading die aan het weefsel wordt geleverd minimaliseren om de batterijduur te verlengen en thermische schade te voorkomen. Bovendien vertrouwen conventionele adaptieve DBS (aDBS) benaderingen op venster-geaggregeerde kenmerken (bijv. gemiddelde spectrale kracht) die fijne temporele spike-structuren negeren, en maken ze vaak gebruik van hardware (bijv. GPU's) die het sub-milliwatt vermogensbudget overschrijdt dat vereist is voor chronische implantaten.

Methodologie

De auteurs stellen een raamwerk voor Energiebewust Leren voor dat de therapeutische effectiviteit en de stimulatie-energie binnen een closed-loop systeem co-optimaliseert.

1. Biofysische Simulatieomgeving:

   • Het systeem wordt getraind in een dopamine-gedepleteerd biofysisch model van het Cortico-Basale Ganglia-Thalamocorticale (CBGT) circuit, gebaseerd op het 6-OHDA-gelefseerde rattenmodel.
   • Het model bestaat uit 80 neuronen verspreid over acht populaties (inclusief STN, GPe, GPi, Striatum, Thalamus) met behulp van Hodgkin-Huxley en Izhikevich dynamica.
   • De statusobservatie is de ruwe 80-kanaals spike raster, die via average pooling naar 16 kanalen wordt gedownsampled om aan hardwarebeperkingen te voldoen.

2. Reinforcement Learning Agent (Teacher):

   • Een Deep Spiking Q-Network (DSQN) wordt getraind met behulp van off-policy Q-learning.
   • Beloningsfunctie: De beloning is een discontinue functie die prioriteit geeft aan het onderdrukken van pathologische $\alpha$-$\beta$ oscillaties (7–35 Hz) in de GPi. Als de $\beta$-kracht een drempelwaarde ($\tau_\beta$) overschrijdt, wordt de agent gestraft. Als deze onder de drempelwaarde ligt, is de beloning een gewogen som van therapeutisch onderhoud en een energiebewuste straf gebaseerd op de Root Mean Square (RMS) van de stimulatiestroom. Dit dwingt de agent om lading-efficiënte strategieën te leren.
   • Actieruimte: De agent moduleert drie discrete DBS-parameters: Frequentie ($f$), Amplitude ($A$) en Pulswijdte ($\delta$).

3. Sparsity-Geconstreineerde Kennisdistillatie:

   • Om de policy op ultra-low-power hardware te implementeren, wordt een "teacher" SNN gedestilleerd naar "student" SNN's.
   • De distillatieverliesfunctie combineert de Kullback-Leibler (KL) divergentie tussen de teacher en student Q-waarden met een expliciete sparsity penalty. Deze penalty reguleert de gemiddelde vuuringssnelheid van de verborgen lagen richting een doel-sparsity ($\rho$), wat direct de Synaptische Operaties (SynOps) minimaliseert om het dynamische vermogen te verlagen.

4. Hardware Implementatie:

   • De gedestilleerde student-policy wordt geïmplementeerd op de SynSense XyloAudio 3 neuromorfische processor.
   • Prestaties worden vergeleken met een Artificial Neural Network (ANN) en een Gated Recurrent Unit (RNN) baseline die draaien op een NVIDIA Jetson Orin Nano.

Belangrijkste Resultaten

Therapeutische Effectiviteit

• De SNN-controller verminderde de pathologische $\alpha$-$\beta$ band kracht met 45,2% (95% CI [42,6, 47,7]) ten opzichte van de niet-gestimuleerde PD-baseline.
• De controller detecteerde succesvol de pathologische staat en moduleerde de stimulatieparameters (het verhogen van de frequentie naar 180 Hz terwijl de amplitude werd verlaagd) om de pathologische synchronie tussen de STN en GPe te doorbreken.

Stimulatie Energie-efficiëntie

• Vergeleken met continue DBS (cDBS) bereikte de energiebewuste SNN-policy een reductie van 80,0% in de cumulatieve stimulatie lading.
• Het presteerde beter dan een klinische dual-threshold heuristiek (de huidige aDBS standaard), die slechts een reductie van 57,0% behaalde. De SNN leverde 53,5% minder lading dan de heuristiek terwijl het een diepere onderdrukking van de $\beta$-kracht handhaafde.
• Baseline Falen:
  • De ANN (rate-coded) convergeerde naar een degeneratieve policy van bijna nul stimulatie (94,8% ladingreductie) maar faalde in het onderdrukken van de $\beta$-oscillaties.
  • De RNN slaagde er niet in om adaptieve down-regulatie te leren, waardoor de parameters op maximale waarden bleven vaststaan, wat 50,6% meer energie verbruikte dan cDBS.

Hardware Efficiëntie en Vermogensbudget

• Inference Vermogen: De Xylo SNN verbruikte 0,52 mW (inclusief I/O en analoge front-end), terwijl de Jetson ANN en RNN respectievelijk 5,7 W en 5,6 W verbruikten.
• Energie per Inference: De Xylo SNN bereikte een 28,1× reductie in energie per inference vergeleken met de ANN en 72,5× vergeleken met de RNN.
• Latentie-trade-off: De SNN inference latentie was 315,10 ms (vs. 0,81 ms voor ANN), maar dit blijft binnen de fysiologische tijdschaal van de $\beta$-band envelop variaties (~1 s).
• Systeem-niveau Impact: Wanneer de inference en stimulatie vermogens worden gecombineerd, trekt het op Xylo gebaseerde systeem in totaal ~0,57 mW. Dit projecteert een continue werking van >1 jaar op een standaard 5 Wh niet-herlaadbare IPG-batterij. In tegenstelling hiermee zou een Jetson-gebaseerd systeem de batterij in <1 uur uitputten.

Betekenis en Claims

Het artikel betoogt dat hardware-efficiëntie een leerbare eigenschap is van de neurale controller. Door de actuator-energie direct in de reinforcement learning beloning op te nemen, ontdekt de policy lading-efficiënte strategieën die standaard doelstellingen missen.

De auteurs claimen dat dit raamwerk de "eerste-orde" vermogensbehoeften van implantabele neuromodulatie aanpakt door de controller en de actuator co-optimaliseren. Ze demonstreren dat:

1. Sub-milliwatt inference is een vereiste: Zonder dit zou de vermogensvraag van de controller de besparingen op stimulatie irrelevant maken.
2. Lage-power inference alleen is onvoldoende: De stimulator blijft een aanzienlijke energiekost; daarom moet de controle-policy ook de geleverde lading actief minimaliseren.
3. Spiking dynamica fungeren als een inductieve bias: De leaky integrate-and-fire dynamica en de ijle, binaire activaties van de SNN voorkomen convergentie naar de degeneratieve policies (zowel bijna nul als maximale stimulatie) die bij de ANN en RNN respectievelijk worden gevonden.

Het werk valideert dat neuromorfische computing, wanneer gecombineerd met energiebewust leren, de vermogensbeperkingen kan oplossen die het gebruik van complexe neurale netwerkcontrollers in chronische, batterijgestuurde implantaten eerder onmogelijk maakten. De resultaten zijn gebaseerd op een rodent biofysisch model, waarbij de auteurs opmerken dat hoewel absolute waarden benaderingen zijn, de fractionele besparingen (bijv. 80% ladingreductie) naar verwachting vertaalbaar zijn naar klinische settings.