Resumen Técnico: Aprendizaje Neuromórfico Consciente de la Energía para la Estimulación Cerebral Profunda Adaptativa

Planteamiento del Problema

El despliegue de controladores de redes neuronales en sistemas de bucle cerrado físicos, como los Generadores de Impulsos Implantables (IPG) para la Estimulación Cerebral Profunda (DBS), enfrenta un cuello de botella crítico de energía. Si bien el computación neuromórfica y de borde (edge computing) ha logrado reducir con éxito el costo de inferencia de los controladores neuronales, la energía consumida por el actuador (el neuroestimulador que entrega la carga eléctrica) a menudo iguala o supera el costo de inferencia del controlador. En la DBS para la enfermedad de Parkinson (EP), la estimulación continua (cDBS) consume potencia del orden de cientos de microvatios a un milivatio, un régimen comparable al de los controladores neuromórficos eficientes. En consecuencia, optimizar únicamente la eficiencia de la inferencia es insuficiente; la política de control también debe minimizar la carga física entregada al tejido para extender la vida útil de la batería y prevenir daños térmicos. Además, los enfoques convencionales de DBS adaptativa (aDBS) dependen de características agregadas por ventana (por ejemplo, la potencia espectral media) que descartan la estructura temporal fina de los espigas (spikes), y a menudo utilizan hardware (por ejemplo, GPUs) que excede el presupuesto de potencia sub-milivatio requerido para implantes crónicos.

Metodología

Los autores proponen un marco de Aprendizaje Consciente de la Energía que co-optimiza la eficacia terapéutica y la energía de estimulación dentro de un sistema de bucle cerrado.

1. Entorno de Simulación Biofísica:

   • El sistema se entrena en un modelo biofísico con depleción de dopamina del circuito Cortico-Ganglios Basales-Tálamo-Cortical (CBGT), basado en el modelo de rata con lesión por 6-OHDA.
   • El modelo consta de 80 neuronas a través de ocho poblaciones (incluyendo STN, GPe, GPi, Estriado, Tálamo) utilizando dinámicas de Hodgkin-Huxley e Izhikevich.
   • La observación del estado es el raster de espigas de 80 canales, que se reduce espacialmente a 16 canales mediante pooling promedio para cumplir con las restricciones del hardware.

2. Agente de Aprendizaje por Refuerzo (Maestro):

   • Se entrena una Red Q de Espigas Profunda (DSQN) utilizando aprendizaje Q fuera de la política (off-policy).
   • Función de Recompensa: Es una función discontinua que prioriza la supresión de las oscilaciones patológicas $\alpha$-$\beta$ (7–35 Hz) en el GPi. Si la potencia $\beta$ excede un umbral ($\tau_\beta$), el agente es penalizado. Si está por debajo del umbral, la recompensa es una suma ponderada del mantenimiento terapéutico y una penalización consciente de la energía basada en la Raíz Cuadrática Media (RMS) de la corriente de estimulación. Esto obliga al agente a aprender estrategias de carga eficiente.
   • Espacio de Acción: El agente modula tres parámetros discretos de DBS: Frecuencia ($f$), Amplitud ($A$) y Ancho de Pulso ($\delta$).

3. Destilación de Conocimiento con Restricción de Esparcidad:

   • Para desplegar la política en hardware de ultra bajo consumo, se destila una SNN "maestra" en SNNs "estudiantes".
   • La pérdida de destilación combina la divergencia de Kullback-Leibler (KL) entre los valores Q del maestro y el estudiante con una penalización de esparcidad explícita. Esta penalización regulariza la tasa de disparo promedio de las capas ocultas hacia una esparcidad objetivo ($\rho$), minimizando directamente las Operaciones Sinápticas (SynOps) para reducir la potencia dinámica.

4. Despliegue de Hardware:

   • La política estudiante destilada se despliega en el procesador neuromórfico SynSense XyloAudio 3.
   • El rendimiento se compara con una línea base de Red Neuronal Artificial (ANN) y una Unidad Recurrente Gated (GRU) ejecutándose en un NVIDIA Jetson Orin Nano.

Resultados Clave

Eficacia Terapéutica

• El controlador SNN redujo la potencia de la banda patológica $\alpha$-$\beta$ en un 45.2% (IC 95% [42.6, 47.7]) en relación con la línea base de EP sin estimulación.
• El controlador detectó con éxito el estado patológico y moduló los parámetros de estimulación (aumentando la frecuencia a 180 Hz mientras disminuía la amplitud) para romper la sincronía patológica entre el STN y el GPe.

Eficiencia de la Energía de Estimulación

• Comparado con la DBS continua (cDBS), la política SNN consciente de la energía logró una reducción del 80.0% en la carga de estimulación acumulada.
• Superó a un heurístico de doble umbral clínico (el estándar actual de aDBS), que logró solo una reducción del 57.0%. La SNN entregó un 53.5% menos de carga que el heurístico manteniendo una supresión más profunda de la potencia $\beta$.
• Fallos de la Línea Base:
  • La ANN (codificación por tasa) convergió a una política degenerada de estimulación cercana a cero (reducción de carga del 94.8%) pero falló en suprimir las oscilaciones $\beta$.
  • La RNN falló en aprender la regulación descendente adaptativa, bloqueando los parámetros en sus valores máximos y consumiendo un 50.6% más de energía que la cDBS.

Eficiencia de Hardware y Presupuesto de Potencia

• Potencia de Inferencia: La SNN de Xylo consumió 0.52 mW (incluyendo I/O y el front-end analógico), mientras que la ANN y la RNN de Jetson consumieron 5.7 W y 5.6 W, respectivamente.
• Energía por Inferencia: La SNN de Xylo logró una reducción de 28.1× en la energía por inferencia comparado con la ANN y 72.5× comparado con la RNN.
• Compromiso de Latencia: La latencia de inferencia de la SNN fue de 315.10 ms (vs. 0.81 ms para la ANN), pero esto permanece dentro de la escala de tiempo fisiológica de las variaciones de la envolvente de la banda $\beta$ (~1 s).
• Impacto a Nivel de Sistema: Al combinar la potencia de inferencia y la de estimulación, el sistema basado en Xylo consume un total de ~0.57 mW. Esto proyecta >1 año de operación continua en una batería de IPG no recargable estándar de 5 Wh. En contraste, un sistema basado en Jetson agotaría la batería en <1 hora.

Significado y Reivindicaciones

El artículo argumenta que la eficiencia del hardware es una propiedad aprendible del controlador neuronal. Al incorporar la energía del actuador directamente en la recompensa del aprendizaje por refuerzo, la política descubre estrategias de entrega de carga que los objetivos estándar pasan por alto.

Los autores afirman que este marco aborda las demandas de potencia de "primer orden" de la neuromodulación implantable al co-optimizar el controlador y el actuador. Demuestran que:

1. La inferencia de sub-miliwatt es un prerrequisito: Sin ella, el consumo de potencia del controlador hace que cualquier ahorro en la estimulación sea irrelevante.
2. La baja potencia de inferencia por sí sola es insuficiente: El estimulador sigue siendo un costo de potencia significativo; por lo tanto, la política de control debe minimizar activamente la entrega de carga.
3. La dinámica de espigas actúa como un sesgo inductivo: La dinámica de integración y fuga de las SNN y sus activaciones binarias y dispersas evitan la convergencia hacia las políticas degeneradas (ya sea sin estimulación o con estimulación máxima) encontradas en la ANN y la RNN, respectivamente.

Este trabajo valida que la computación neuromórfica, combinada con el aprendizaje consciente de la energía, puede resolver las restricciones de potencia que anteriormente impedían el uso de controladores de redes neuronales complejos en implantes crónicos alimentados por batería. Los resultados están fundamentados en un modelo biofísico de roedor, donde los autores señalan que, aunque los valores absolutos son aproximaciones, los ahoros fraccionales (por ejemplo, la reducción de carga del 80%) se espera que se traduzcan a entornos clínicos.