Spiking neurons as predictive controllers of linear systems

Resumen Técnico: Neuronas de Disparo como Controladores Predictivos

1. Planteamiento del Problema

El control de sistemas dinámicos mediante redes neuronales de disparo (SNNs) ha sido un desafío debido a la naturaleza discreta y esparcida de las señales biológicas (potenciales de acción o "spikes").

• Limitaciones actuales: Los enfoques tradicionales de control óptimo, como el Regulador Lineal Cuadrático (LQR), generan señales de control continuas. Para aplicar esto a las SNNs, la literatura actual suele filtrar las señales de disparo para aproximar una señal analógica continua. Esto implica que las SNNs deben mantener una actividad de tasa (rate-based) y consumir energía continua en los sistemas downstream, perdiendo la eficiencia y la naturaleza de eventos discretos de las neuronas biológicas.
• El desafío: Utilizar los eventos de disparo instantáneos directamente como señales de control ("control de impulso") es difícil de escalar y carece de tratabilidad analítica. Además, los métodos de control impulsivo existentes a menudo ignoran la arquitectura de red o no derivan las conexiones a partir de objetivos de control específicos.
• Objetivo: Desarrollar un marco donde las neuronas de disparo actúen directamente como controladores, emitiendo pulsos solo cuando estos mejoran el estado del sistema, sin necesidad de aproximar señales continuas.

2. Metodología

Los autores proponen un marco teórico que combina la teoría de control con la neurociencia computacional (específicamente la teoría de redes de codificación de disparo o SCNs).

• Formulación del Problema de Control:

  • Se considera un sistema lineal dinámico $K$-dimensional: $\dot{x} = Ax + Bs$, donde $s$ es el vector de disparos (impulsos instantáneos modelados como funciones delta de Dirac).
  • Se define una función de pérdida ($L$) que mide la distancia cuadrática entre el estado futuro del sistema ($x(t+f)$) y un estado objetivo ($z(t+f)$), más términos de regularización para el costo de disparo y la actividad neuronal.
  • Control Reactivo vs. Predictivo: Se introducen dos modos:
    • Reactivo ($f=0$): El disparo se basa en la mejora inmediata del error.
    • Predictivo ($f>0$): El disparo se basa en la predicción del estado del sistema en un horizonte futuro $f$. Esto es crucial para sistemas físicos con restricciones (donde la posición no puede cambiar instantáneamente).

• Derivación de la Regla de Disparo:

  • Inspirados en las SCNs, se establece una condición local: una neurona $i$ dispara solo si la pérdida con disparo ($L^s_i$) es menor que la pérdida sin disparo ($L^{ns}$).
  • A partir de esta desigualdad, se derivan analíticamente las ecuaciones para el voltaje ($V_i$) y el umbral ($T_i$) de cada neurona.
  • Ecuaciones Clave:
    • Voltaje: $V_i = b_i^T A_f^T (z - A_f x_0)$ (depende del error predicho).
    • Umbral: $T_i = \frac{1}{2} b_i^T A_f^T (A_f b_i) + \mu + \alpha(2r_i + 1)$ (incluye costo de disparo y adaptación por actividad pasada).

• Estructura de la Red:

  • La derivación conduce naturalmente a una red recurrente de neuronas Integrate-and-Fire (IF) con conexiones de bajo rango (low-rank).
  • La dinámica de la red se describe como: $\dot{V} = -V + G(\dot{z} + z) - Fx_0 - \Omega s$.
  • Características: La red es totalmente local; cada neurona calcula su propia decisión de disparo sin acceso a información global de la red, lo que garantiza escalabilidad y robustez.

3. Contribuciones Clave

1. Control Directo por Impulsos: Se demuestra que es posible controlar sistemas lineales utilizando los disparos como señales de control directas (impulsos), eliminando la necesidad de filtrado y aproximación analógica.
2. Derivación Analítica: Se proporciona una derivación matemática cerrada para la conectividad de la red, la dinámica y el objetivo de control, sin necesidad de aprendizaje (entrenamiento) previo.
3. Necesidad de Predictividad: Se demuestra teórica y empíricamente que para sistemas físicos restringidos (como un sistema masa-resorte-amortiguador), el control reactivo falla. El control predictivo es esencial para explotar la dinámica pasiva del sistema (inercia) y alcanzar el objetivo.
4. Escalabilidad y Robustez: El paradigma escala a sistemas de alta dimensión (osciladores acoplados) y es robusto ante la pérdida de neuronas (silenciamiento), gracias a la redundancia inherente y la regla de disparo local.

4. Resultados Principales

• Sistemas Lineales Genéricos: La red logra controlar sistemas lineales no restringidos tanto en modo reactivo como predictivo. En el modo reactivo, el sistema "teletransporta" el estado hacia el objetivo (físicamente imposible en muchos casos reales), mientras que el modo predictivo ajusta la velocidad para llegar al objetivo aprovechando la dinámica natural.
• Sistema Masa-Resorte-Amortiguador (SMD):
  • Control Reactivo: Falla en sistemas físicos restringidos porque un cambio en la velocidad no tiene efecto instantáneo en la posición; la pérdida no disminuye inmediatamente, por lo que la red permanece silenciosa.
  • Control Predictivo: Funciona exitosamente. La red anticipa el estado futuro, dispara para ajustar la velocidad y permite que la dinámica del sistema (inercia) lleve la masa al objetivo.
• Comparación con LQR y Filtros:
  • A diferencia del LQR (control continuo) y los controladores de disparo filtrado (que aproximan LQR), el controlador propuesto genera una señal de control discreta y esparcida.
  • La trayectoria del sistema no es óptima en el sentido de LQR, pero sigue el objetivo con alta precisión y con un consumo de energía (número de disparos) drásticamente menor.
• Control de Osciladores Acoplados y Brazo Robótico:
  • Se demostró el control de un sistema de 10 masas acopladas con 500 neuronas. La red redistribuye la actividad de disparo automáticamente si se silencian neuronas, manteniendo el rendimiento.
  • Se aplicó a un modelo de brazo puntual controlado por unidades musculares simuladas (SMD), logrando trazar trayectorias complejas con muy pocos disparos.

5. Significado e Impacto

• Neurociencia: Ofrece una nueva perspectiva sobre cómo las neuronas biológicas podrían ejercer control sobre actuadores (músculos) y sistemas downstream. Sugiere que el código de disparo no es solo una representación de estado, sino un mecanismo de control activo y predictivo.
• Ingeniería y Hardware Neuromórfico: El método es ideal para hardware neuromórfico, que opera naturalmente con eventos discretos y baja potencia. Al eliminar la necesidad de filtrado y señales continuas, se reduce la complejidad computacional y el consumo energético.
• Teoría de Control: Introduce un enfoque de control "greedy" (codicioso) y local que, aunque no garantiza la optimalidad global del LQR, ofrece estabilidad práctica, robustez y una interpretación clara de la función de cada neurona en el bucle de control.

En conclusión, el trabajo establece un puente sólido entre la teoría de control óptimo y la neurociencia de redes de disparo, demostrando que las SNNs pueden actuar como controladores eficientes, predictivos y escalables para sistemas dinámicos complejos sin sacrificar la naturaleza discreta de la señal biológica.