Dynamic neural manifolds for flexible closed-loop control on neuromorphic hardware

Resumen Técnico: Variedades Neurales Dinámicas para el Control de Bucle Cerrado Flexible en Hardware Neuromórfico

Planteamiento del Problema
Los circuitos neurales biológicos exhiben un comportamiento flexible al evolucionar actividades secuenciales a lo largo de variedades (manifolds) dinámicas y de baja dimensionalidad. Aunque los modelos de redes de impulsos (spiking networks) han vinculado estas actividades secuenciales a mecanismos de circuito específicos (lo que las hace parametrizables), traducir este marco de trabajo en un control de bucle cerrado, eficiente energéticamente y en tiempo real en hardware neuromórfico sigue siendo un desafío. Los enfoques existentes suelen carecer de la capacidad de reconfigurar dinámicamente la geometría neural en respuesta a la retroalimentación sensorial, lo cual es esencial para la inteligencia artificial explicable y los sistemas autónomos adaptativos. Los autores pretenden cerrar esta brecha implementando un marco de variedades neurales dinámicas en el chip neuromórfico SpiNNaker 2 para permitir el control de bucle cerrado en tiempo real de un agente robótico.

Metodología
Los autores implementaron una arquitectura de circuito basada en una red de anillo con conectividad recurrente asimétrica, diseñada para generar "bumps" (protuberancias) estables de actividad neural que progresan a lo largo del anillo, creando secuencias oscilatorias.

1. Implementación de Hardware (SpiNNaker 2):

   • Conversión de Impulsos (Spiking): El modelo original basado en tasas fue adaptado para la comunicación basada en impulsos de SpiNNaker 2. Las neuronas convierten sus tasas internas en impulsos de forma probabilística (la tasa como probabilidad de impulso). Para optimizar el rendimiento, una regla determinista aproxima la frecuencia de los impulsos sin la costosa generación de números aleatorios.
   • Optimización de la Dispersión y la Memoria: Para abordar la limitada SRAM en el chip, los autores introdujeron dispersión en la matriz de conectividad (50% de probabilidad de conexión). Aprovecharon la estructura circulante de la matriz de pesos, almacenando solo una fila de pesos y una máscara de bits para la conectividad, en lugar de la matriz completa.
   • Transmisión de Bucle Cerrado (Closed-Loop Streaming): Debido a las restricciones de memoria que impiden el registro interno a largo plazo, el sistema transmite los impulsos a una computadora host a través de la interfaz HostIF. El host procesa la retroalimentación sensorial y transmite los parámetros de control de vuelta al chip en tiempo real, creando un bucle cerrado con baja latencia (aproximadamente 3 pasos de tiempo).

2. Mecanismos de Control ("Control Knobs"):
   La arquitectura utiliza tres mecanismos de circuito específicos para manipular la variedad neural:

   • Corriente Aditiva ($I$): Modula el tamaño (anchura) del bump de actividad, controlando el radio de la trayectoria neural.
   • Ganancia Multiplicativa ($S$): Modula la velocidad de propagación del bump, controlando la velocidad de la trayectoria neural.
   • Inhibición Heterogénea ($p_{inh}$): Silencia selectivamente subconjuntos aleatorios de neuronas mediante conjuntos inhibitorios. Esto rota el subespacio neural, permitiendo al sistema cambiar entre distintos estados de comportamiento (por ejemplo, diferentes tipos de movimiento).

3. Aplicación (Navegación en Laberinto Virtual):
   Un agente robótico de dos ruedas navega por un laberinto virtual. Un programa de política externo genera un plan de alto nivel (por ejemplo, "moverse al oeste") y adaptaciones locales basadas en entradas sensoriales (distancia a las paredes, tipo de suelo). Estas entradas se mapean a los parámetros de control de la red de anillo ($S, I, p$). Una capa de lectura lineal, entrenada mediante la exploración aleatoria del espacio de parámetros de control, decodifica la actividad de impulsos de la red de anillo en comandos motores (velocidades de las ruedas y disparadores de salto).

Resultados Clave

• Fidelidad de Parámetros: La implementación en SpiNNaker 2 reprodujo con éxito la dinámica del modelo original basado en tasas ejecutado en CPU.
  • Control de Forma: La corriente aditiva $I$ controló linealmente el tamaño del bump y el radio de la trayectoria.
  • Control de Velocidad: La ganancia multiplicativa $S$ controló de manera fiable la velocidad de rotación del bump de actividad.
  • Rotación de Subespacio: La inhibición selectiva rotó con éxito el subespacio neural. El ángulo principal entre subespacios coincidió con el comportamiento de escala analítico ($\arccos(1 - p_{inh})$), confirmando que los distintos estados de comportamiento son geométricamente separables.
• Eficiencia: La implementación operó bien dentro del umbral de paso de tiempo de 1 ms en tiempo real. El tiempo de ejecución escaló linealmente con el número de impulsos procesados. Los bumps más grandes (controlados por $I$) aumentaron el tiempo de ejecución, mientras que una mayor inhibición (silenciando más neuronas) lo redujo.
• Desempeño de Bucle Cerrado: El agente robótico navegó con éxito por un laberinto, cambiando dinámicamente entre comportamientos (movimiento hacia adelante, giros, saltos) y ajustando la velocidad/trayectoria basándose en la retroalimentación sensorial en tiempo real. El sistema demostró que las entradas sensoriales podían modular la inhibición, la ganancia y las corrientes para reconfigurar la geometría de la variedad sobre la marcha.

Significancia y Reivindicaciones
El artículo afirma establecer las variedades neurales dinámicas como un enfoque viable para arquitecturas neuromórficas explicables. Al mapear mecanismos de circuito de bajo nivel (ganancia, inhibición, corrientes) a características geométricas de alto nivel (velocidad de trayectoria, forma, orientación del subespacio), los autores proporcionan un marco donde el estado interno del sistema es matemáticamente interpretable.

El trabajo sirve como prueba de concepto de que:

1. Las variedades neurales dinámicas complejas pueden implementarse eficientemente en hardware neuromórfico (SpiNNaker 2).
2. Tales sistemas pueden soportar un control de bucle cerrado flexible donde la retroalimentación sensorial moldea directamente la dinámica neural para impulsar el comportamiento.
3. Este marco ofrece un sustrato para investigar la dinámica neural biológica y diseñar sistemas autónomos con comportamientos predecibles y explicables, con el potencial de extenderse a tareas de control motor más complejas en el futuro.

Los autores señalan que, si bien el trabajo actual asume un modelo de mundo pre-aprendido para la planificación, el marco está diseñado para interactuar con arquitecturas de aprendizaje de alto nivel, y trabajos futuros podrían explorar el aprendizaje de modelos de mundo directamente sobre esta capa de control motor.