Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

Resumen Técnico: Redes Neuronales de Picos para el Control Continuo mediante Aprendizaje de Modelo de Extremo a Extremo

Declaración del Problema
A pesar de los avances recientes en el entrenamiento de Redes Neuronales de Picos (SNN, por sus siglas en inglés) para la clasificación, su aplicación al control motor continuo sigue siendo limitada. Mientras que los cerebros biológicos utilizan la comunicación basada en picos para un comportamiento motor robusto, adaptativo y de baja latencia, la traducción de esto a sistemas de aprendizaje automático prácticos para la robótica resulta desafiante. El principal cuello de botella es la dificultad de entrenar las SNN de extremo a extremo para tareas continuas. A diferencia de las redes neuronales artificiales (ANN) estándar y las redes recurrentes con puertas (RNN) que se benefician de gradientes suaves, las SNN exhiben discontinuidades debido a las no linealidades de los picos. Esto tradicionalmente ha dirigido la investigación hacia reglas de plasticidad local, adaptación en línea o paradigmas de entrenamiento indirectos, en lugar de una optimización de extremo a extremo con principios fundamentados. Además, los enfoques actuales de control por SNN suelen depender de modelos analíticos, reglas de aprendizaje locales o conversión de ANN a SNN, lo que frecuentemente carece de escalabilidad para el control continuo de altos grados de libertad (DoF) o de robustez ante la dinámica no modelada.

Metodología
Los autores proponen una arquitectura de SNN de Control Predictivo (Pred-Control), un marco de control basado en modelos, totalmente basado en picos, entrenado de extremo a extremo utilizando gradientes sustitutos (surrogate gradients). El sistema consta de dos redes de picos entrenables:

1. Red de Predicción (Modelo Forward): Una red de picos recurrente que predice cambios futuros en el estado ($\Delta \hat{s}_t$) dado el estado actual ($s_t$) y la entrada de control ($u_t$). Utiliza neuronas de Integración y Disparo con fugas (LIF) con constantes de tiempo entrenables y umbrales adaptativos opcionales.
2. Red de Política (Modelo Inverse): Una red de picos feedforward que infiere la acción de control óptima ($u_t$) basada en el estado actual ($s_t$) y un estado objetivo ($s^*_t$).

Estrategias y Componentes Clave de Entrenamiento:

• Gradientes Sustitutos: La función de pico no diferenciable se aproxima durante el paso hacia atrás (backward pass) utilizando funciones sustitutas suaves (específicamente, el Pico Gaussiano) para permitir la optimización basada en gradientes.
• Arquitectura: Ambas redes emplean neuronas LIF. La red de predicción incluye conexiones recurrentes para inferir variables de estado ocultas (como la velocidad) a partir de observaciones parciales, mientras que la red de política es feedforward.
• Constantes de Tiempo Entrenables: Las constantes de tiempo de membrana ($\tau_{mem}$) y sinápticas ($\tau_{syn}$) se tratan como parámetros entrenables (inicializados mediante inicialización impulsada por fluctuaciones) para permitir que la red adapte su dinámica temporal intrínseca a las demandas de la tarea.
• Umbrales Adaptativos (ALIF): El modelo incorpora neuronas ALIF con umbrales base decrecientes y adaptación disparada por picos. Este mecanismo reactiva las neuronas silenciosas y evita la sobreactivación persistente, mejorando la asignación de crédito en horizontes largos.
• Compresión del Espacio Latente: Para mejorar la eficiencia de los parámetros, la arquitectura emplea compresión del espacio latente entre las capas de picos, lo que permite capas más anchas dentro de un presupuesto fijo de parámetros.
• Pipeline de Entrenamiento: Las redes se entrenan iterativamente utilizando un búfer de repetición (replay buffer). El modelo de predicción se actualiza mediante la técnica de forzado de profesor (teacher forcing), mientras que la política se optimiza mediante el despliegue (rollout) del modelo de predicción congelado para generar estimaciones de estado diferenciables para la pérdida de la política.

Configuración Experimental
El marco fue evaluado en dos entornos de control continuo simulados:

1. Brazo Planar 2D: Un brazo de dos articulaciones con observabilidad parcial (sin datos de velocidad), utilizado para el cribado de hiperparámetros.
2. Brazo Robótico 3D (6-DoF): Un robot Franka Emika Panda simulado con control de par (torque), que representa una tarea de control continuo de alta dimensión.

Resultados Clave

• Rendimiento vs. Parámetros: En la tarea de alcance de 6-DoF, la SNN de Pred-Control completa logró un rendimiento de la tarea (distancia acumulada, tasa de éxito, tiempo en el objetivo) comparable a una línea base recurrente no basada en picos de gran tamaño (aprox. 12.7M de parámetros), a pesar de utilizar un orden de magnitud menos de parámetros (aprox. 0.9M).
• Estudios de Ablación:
  • Constantes de Tiempo Entrenables: Mejoraron significativamente la convergencia y el rendimiento final, particularmente al compensar una inicialización suboptimal.
  • Umbrales Adaptativos (ALIF): Mejoraron el rendimiento al estabilizar las tasas de disparo y permitir que las neuronas silenciosas se reengagen, facilitando una mejor asignación de crédito a largo plazo.
  • Compresión Latente: Permitió capas de picos más anchas con presupuestos de parámetros fijos, produciendo compromisos favorables de rendimiento-eficiencia.
• Predicción vs. Control: Las líneas base no basadas en picos lograron un Error Cuadrático Medio (MSE) de predicción de largo horizonte más bajo, pero esto no se tradujo en un rendimiento de control superior. La SNN logró una efectividad de control comparable a pesar de tener predicciones autorregresivas menos precisas, lo que sugiere que el control efectivo requiere un modelo suficientemente expresivo para capturar la dinámica relevante de la tarea en lugar de una fidelidad de predicción perfecta.
• Estabilidad: La SNN propuesta exhibió una dinámica de optimización más suave y estable en comparación con los controladores de picos básicos, aunque aprendió de forma más gradual que las líneas base no basadas en picos.

Significancia y Reivindicaciones
El artículo afirma demostrar que las arquitecturas totalmente basadas en picos pueden entrenarse de extremo a extremo para controlar brazos robóticos con múltiples grados de libertad en entornos continuos, cerrando la brecha entre las herramientas de entrenamiento de aprendizaje profundo y la computación inspirada en la biología.

Las contribuciones clave incluyen:

1. Escalabilidad: Establecer las SNN como un sustrato viable y escalable para el control continuo de alta dimensión sin requerir preentrenamiento de ANN, conversión o restricciones específicas de hardware.
2. Diseño Principial: Destacar que decisiones específicas de diseño arquitectónico y de entrenamiento —a saber, constantes de tiempo entrenables, umbrales adaptativos y compresión del espacio latente— son críticas para un entrenamiento estable y un control efectivo en dominios de picos.
3. Control Basado en Modelos: Demostrar que la integración de modelos predictivos aprendidos en el bucle de control permite que las SNN escalen a tareas de alta dimensión y largo horizonte.
4. Eficiencia: Mostrar que se puede lograr un control de alto rendimiento con sustancialmente menos parámetros que las redes recurrentes equivalentes no basadas en picos.

Los autores posicionan este trabajo como un paso hacia la construcción de sistemas de control escalables, adaptables y energéticamente eficientes que unifiquen el entrenamiento de aprendizaje profundo con la computación predictiva, moviendo las SNN más allá de los benchmarks de clasificación hacia una computación encarnada y adaptativa. Reconocen las limitaciones respecto a la sobrecarga computacional de la propagación hacia atrás a través del tiempo (BPTT) y la dependencia actual de la codificación por tasa (rate coding), sugiriendo que el trabajo futuro debería explorar métodos de aprendizaje en línea (por ejemplo, e-prop) y esquemas de codificación de picos alternativos.