Riepilogo Tecnico: Apprendimento Neuromorfico Consapevole dell'Energia per la Stimolazione Cerebrale Profonda Adattiva

Definizione del Problema

L'impiego di controllori basati su reti neurali in sistemi a ciclo chiuso fisici, come i generatori di impulsi impiantabili (IPG) per la stimolazione cerebrale profonda (DBS), affronta un collo di bottiglia critico relativo all'energia. Sebbene il calcolo neuromorfico ed edge abbia ridotto con successo il costo di inferenza dei controllori neurali, l'energia consumata dall'attuatore (lo stimolatore neurostimolatore che eroga la carica elettrica) spesso eguaglia o supera il costo di inferenza del controllore stesso. Nella DBS per la malattia di Parkinson (PD), la stimolazione continua (cDBS) consuma potenza nell'ordine di centinaia di microwatt o un milliwatt, un regime comparabile ai controllori neuromorfici efficienti. Di conseguenza, ottimizzare solo l'efficienza dell'inferenza è insufficiente; la politica di controllo deve anche minimizzare la carica fisica erogata al tessuto per estendere la durata della batteria e prevenire danni termici. Inoltre, gli approcci convenzionali di aDBS (DBS adattiva) si affidano a caratteristiche aggregate in finestre temporali (ad esempio, la potenza spettrale media) che scartano la struttura temporale fine degli spike, e spesso utilizzano hardware (ad esempio, GPU) che eccede l'inviluppo di potenza sub-milliwatt richiesto per gli impianti cronici.

Metodologia

Gli autori propongono un framework per l'Apprendimento Consapevole dell'Energia (Energy-Aware Learning) che co-ottimizza l'efficacia terapeutica e l'energia di stimolazione all'interno di un sistema a ciclo chiuso.

1. Ambiente di Simulazione Biofisica:

   • Il sistema viene addestrato in un modello biofisico con deplezione di dopamina del circuito Cortico-Striato-Talamo-Corticale (CBGT), basato sul modello di ratto con lesione da 6-OHDA.
   • Il modello comprende 80 neuroni attraverso otto popolazioni (inclusi STN, GPe, GPi, Striato, Talamo) utilizzando dinamiche di Hodgkin-Huxley e Izhikevich.
   • L'osservazione dello stato è il raster di spike grezzo a 80 canali, che viene spazialmente sottocampionato a 16 canali tramite average pooling per adattarsi ai vincoli dell'hardware.

2. Agente di Reinforcement Learning (Insegnante):

   • Una Deep Spiking Q-Network (DSQN) viene addestrata utilizzando il Q-learning off-policy.
   • Funzione di Ricompensa: La ricompensa è una funzione discontinua che dà priorità alla soppressione delle oscillazioni patologiche $\alpha$-$\beta$ (7–35 Hz) nel GPi. Se la potenza $\beta$ supera una soglia ($\tau_\beta$), l'agente viene penalizzato. Se è al di sotto della soglia, la ricompensa è una somma pesata del mantenimento terapeutico e di una penalità consapevole dell'energia basata sulla Radice Quadrata Media (RMS) della corrente di stimolazione. Ciò costringe l'agente a imparare strategie efficienti dal punto di vista della carica.
   • Spazio delle Azioni: L'agente modula tre parametri DBS discreti: Frequenza ($f$), Ampiezza ($A$) e Larghezza dell'Impulso ($\delta$).

3. Distillazione della Conoscenza con Vincolo di Sparsità:

   • Per distribuire la politica su hardware a ultra-bassa potenza, una SNN "insegnante" viene distillata in SNN "studenti".
   • La perdita di distillazione combina la divergenza di Kullback-Leibler (KL) tra i valori Q dell'insegnante e dello studente con una penalità di sparsità esplicita. Questa penalità regolarizza il tasso di firing medio degli strati nascosti verso un target di sparsità ($\rho$), minimizzando direttamente le Operazioni Sinaptiche (SynOps) per ridurre la potenza dinamica.

4. Distribuzione sull'Hardware:

   • La politica studentessa distillata viene implementata sul processore neuromorfico SynSense XyloAudio 3.
   • Le prestazioni sono confrontate con un baseline di Rete Neurale Artificiale (ANN) e una Unità Ricorrente (RNN) eseguite su un NVIDIA Jetson Orin Nano.

Risultati Chiave

Efficacia Terapeutica

• Il controllore SNN ha ridotto la potenza della banda patologica $\alpha$-$\beta$ del 45,2% (95% CI [42,6, 47,7]) rispetto al baseline di PD non stimolato.
• Il controllore ha rilevato con successo lo stato patologico e ha modulato i parametri di stimolazione (aumentando la frequenza a 180 Hz mentre diminuiva l'ampiezza) per rompere la sincronia patologica tra STN e GPe.

Efficienza dell'Energia di Stimolazione

• Rispetto alla DBS continua (cDBS), la politica SNN consapevole dell'energia ha ottenuto una riduzione dell'80,0% della carica di stimolazione cumulativa.
• Ha superato un euristica dual-threshold clinica (standard attuale della aDBS), che ha ottenuto solo una riduzione del 57,0%. La SNN ha erogato il 53,5% di carica in meno rispetto all'euristica mantenendo una soppressione più profonda della potenza $\beta$.
• Fallimenti dei Baseline:
  • L'ANN (rate-coded) è confluita in una politica degenerata di stimolazione quasi nulla (riduzione della carica del 94,8%) ma non è riuscita a sopprimere le oscillazioni $\beta$.
  • La RNN non è riuscita a imparare la riduzione adattiva, bloccando i parametri ai valori massimi e consumando il 50,6% di energia in più rispetto alla cDBS.

Efficienza dell'Hardware e Budget di Potenza

• Potenza di Inferenza: La SNN su Xylo ha consumato 0,52 mW (inclusi I/O e front-end analogico), mentre l'ANN e la RNN su Jetson hanno consumato rispettivamente 5,7 W e 5,6 W.
• Energia per Inferenza: La SNN su Xylo ha ottenuto una riduzione di 28,1× dell'energia per inferenza rispetto all'ANN e di 72,5× rispetto alla RNN.
• Scambio Latenza-Prestazioni: La latenza di inferenza della SNN era di 315,10 ms (rispetto a 0,81 ms per l'ANN), ma ciò rimane entro la scala temporale fisiologica delle variazioni dell'inviluppo della banda $\beta$ (~1 s).
• Impatto a Livello di Sistema: Combinando la potenza di inferenza e di stimolazione, il sistema basato su Xylo assorbe un totale di ~0,57 mW. Questo proietta a >1 anno di operatività continua su una batteria standard da 5 Wh non ricaricabile di un IPG. Al contrario, un sistema basato su Jetson esaurirebbe la batteria in meno di un'ora.

Significato e Rivendicazioni

Il documento sostiene che l'efficienza dell'hardware è una proprietà apprendibile del controllore neurale. Incorporando l'energia dell'attuatore direttamente nella ricompensa del reinforcement learning, la politica scopre strategie efficienti dal punto di vista della carica che gli obiettivi standard trascurano.

Gli autori affermano che:

1. L'inferenza a sub-milliwatt è un prerequisito: Senza di essa, il consumo del controllore rende irrilevanti i risparmi di stimolazione.
2. L'inferenza a bassa potenza da sola è insufficiente: Lo stimolatore rimane un costo energetico significativo; pertanto, la politica di controllo deve attivamente minimizzare la consegna di carica.
3. La dinamica di spiking agisce come un bias induttivo: Le dinamiche di integrazione e rilascio (leaky integrate-and-fire) della SNN e le attivazioni binarie sparse impediscono la convergenza verso le politiche degenerate (ovvero stimolazione nulla o stimolazione massima) riscontrate rispettivamente dall'ANN e dalla RNN.

Il lavoro valida come il calcolo neuromorfico, se combinato con l'apprendimento consapevole dell'energia, possa risolvere i vincoli di potenza che hanno precedentemente precluso l'uso di controllori a rete neurale complessi in impianti cronici alimentati a batteria. I risultati sono basati su un modello biofisico di roditore, con gli autori che notano che, sebbene i valori assoluti siano approssimazioni, i risparmi frazionari (ad esempio, riduzione della carica dell'80%) sono attesi di tradursi in contesti clinici.