Resumen Técnico: Entrenando neuronas de silicio lentas para controlar robots extremadamente rápidos con aprendizaje por refuerzo de impulsos (Spiking Reinforcement Learning)

Declaración del Problema

La robótica autónoma enfrenta un cuello de botella crítico en la eficiencia energética. Si bien las redes neuronales a gran escala han logrado un éxito sin precedentes, sus costes de entrenamiento e inferencia (megavatios-hora y un rápido drenaje de la batería) son incompatibles con plataformas móviles que operan con presupuestos de milivatios. Por el contrario, el cerebro humano logra un aprendizaje motor complejo con aproximadamente 20 W de potencia y pocos ejemplos de entrenamiento. Aunque el hardware neuromórfico ofrece un camino hacia la eficiencia energética mediante el procesamiento asíncrono y basado en eventos, las demostraciones existentes de aprendizaje por refuerzo (RL) de Redes Neuronales de Impulsos (SNN) se han limitado en gran medida a entornos de referencia simplificados (por ejemplo, juegos en 2D con acciones discretas y observaciones de baja dimensionalidad).

El desafío central abordado en este trabajo es escalar el RL neuromórfico a la manipulación robótica del mundo real, caracterizada por:

1. Alta dimensionalidad: Un espacio de estados continuo de 6D (posición/velocidad del disco y coordenadas del efector final).
2. Restricciones físicas: Control preciso del efector final con latencias mecánicas.
3. Dinámicas temporales: Trayectorias del disco a 1.0–1.5 m/s que requieren una planificación predictiva con un control de 50 Hz y una integración de física de 1 ms.

Los autores investigan si una red compacta de neuronas de silicio "lentas" que se ejecutan en un procesador neuromórfico de señal mixta puede controlar un robot "extremadamente rápido" en una tarea de hockey de aire de alta velocidad.

Metodología

Configuración Experimental

El sistema opera en una configuración de Hardware-in-the-Loop (HIL) utilizando la simulación MuJoCo de un entorno de hockey de aire.

• Robótica: Un manipulador antropomórfico controla un efector final con forma de mazo en una mesa de 1.038 × 1.948 m.
• Bucle de Control: Opera a 50 Hz. El agente selecciona una de dos acciones discretas correspondientes a primitivas de movimiento predefinidas (Objetivo Home o Objetivo Forward). Estas primitivas se ejecutan como trayectorias balísticas de lazo abierto a través de un resolvedor de cinemática inversa embebido.
• Física: Integrada a 1000 Hz para modelar la dinámica sin fricción del disco y colisiones elásticas.

Arquitectura de la Red

El sistema utiliza el chip neuromórfico de señal mixta analógico-digital DYNAP-SE. La arquitectura es una configuración de computación de reservorio con un readout plástico:

• Capa de Entrada: 60 generadores de impulsos basados en FPGA. Seis variables de estado (posición $x, y$ y velocidad $v_x, v_y$ del disco, y posición $x, y$ del efector final) se codifican como códigos de población utilizando perfiles de actividad gaussiana a través de 10 neuronas cada uno.
• Capa Oculta (Reservorio): 1020 neuronas AdEx-LIF de silicio con sinapsis de alimentación hacia adelante (feedforward) aleatorias y fijas. Esta capa captura la estructura temporal de la tarea sin requerir actualizaciones de peso.
• Capa de Lectura (Readout Layer): 2 unidades lineales que representan la probabilidad de seleccionar la Acción 0 o la Acción 1. Los pesos que conectan la capa oculta con la de lectura son plásticos.
• Regla de Aprendizaje: El sistema emplea e-prop (propagación de elegibilidad), una regla de aprendizaje local que aproxima la retropropagación a través del tiempo, permitiendo un aprendizaje totalmente en línea. La regla de actualización es:
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  Donde $\bar{s}$ es la actividad filtrada, $r_t$ es la recompensa y $\pi$ es la probabilidad de acción.

Función de Recompensa

Se calcula una recompensa escalar $r_t$ en cada paso para fomentar el movimiento hacia adelante del disco y la precisión en la interceptación:

• +20: Recompensa terminal si el disco pasa el objetivo ($x_p > 1.5$ m) con momento hacia adelante ($v_x > 0.1$ m/s).
• $0.2 v_x$: Recompensa de modelado proporcional a la velocidad hacia adelante si el efector final está a menos de 0.08 m del disco.
• -0.1: Penalización por paso para minimizar la duración del episodio.

Protocolo de Entrenamiento

El entrenamiento se ejecuta durante 2000 episodios por ejecución experimental, repetido con 10 semillas aleatorias independientes para dar cuenta de la estocasticidad del chip. El sistema aprende solo en estado de "vigilia" (sin fase de "sueño" offline en esta implementación específica), basándose en la interacción en tiempo real.

Contribuciones Clave

El artículo reclama tres contribuciones primarias al escalar el RL neuromórfico de los juegos a la robótica física:

1. Más allá de los Juegos de Juguete: Transición de juegos simples basados en cuadrículas a un hockey de aire del mundo real con codificación de estado continuo de precisión adaptativa.
2. Control Discreto a Continuo: Demostración de RL neuromórfico para primitivas de movimiento continuo que ejecutan trayectorias balísticas a 50 Hz, lo que requiere decisiones predictivas en lugar de decisiones a nivel de fotograma.
3. Generalización bajo Incertidumbre: Lograr un aprendizaje robusto (96–98% de éxito) a pesar de la aleatorización de las posiciones y velocidades del disco (1.0–1.5 m/s), demostrando que el sistema puede adaptarse a diversas condiciones iniciales.

Resultados

• Eficiencia de Aprendizaje: El sistema logró un juego robusto dentro de los 1500–2000 episodios.
• Rendimiento:
  • Disco Estacionario: 100% de éxito en 200 ensayos.
  • Velocidad Constante: 100% de éxito tras 1000 episodios.
  • Velocidad Variable (1.0–1.5 m/s): El éxito se estabilizó por encima del 96% tras 1500 episodios.
  • Posición y Velocidad Aleatorizadas: El éxito se estabilizó por encima del 98% tras 1300 episodios.
• Pruebas de Escalabilidad:
  • Rangos de velocidad estrechos ([0.7, 0.9] m/s) alcanzaron >97% de éxito en ~150 episodios.
  • Rangos más amplios ([0.7, 1.5] m/s) requirieron ~700 episodios y mostraron una ligera caída en el éxito asintótico (97% a 93%), indicando una degradación gradual en lugar de un fallo catastrófico.
• Consolidación del Comportamiento: El comportamiento de pre-entrenamiento fue errático y estocástico. Tras el entrenamiento, el agente exhibió una estrategia determinista y temporalmente precisa, caracterizada por un compromiso temprano con una trayectoria de interceptación seguido de maniobras correctivas precisas.

Significado y Reivindicaciones

Los autores posicionan este trabajo como la primera respuesta afirmativa a si los sistemas de RL neuromórficos pueden escalar a estados de mayor dimensión, control de tiempo continuo y restricciones temporales estrictas típicas de la robótica del mundo real.

• Cerrando la Brecha: El trabajo demuestra que los enfoques inspirados en el cerebro pueden abordar tareas de interacción rápida (velocidades de disco de 1.5 m/s) mientras soportan un aprendizaje de "siempre activo" en máquinas inteligentes.
• Eficiencia: El sistema logró un rendimiento estable utilizando solo 1020 neuronas, una reducción de 10 veces en comparación con las simulaciones previas de RL de inspiración biológica para el hockey de aire que requerían ~10,000 neuronas.
• Practicidad: Al co-diseñar el hardware y los algoritmos de aprendizaje (usando e-prop en DYNAP-SE), el sistema permite el aprendizaje en tiempo real con una computadora y un chip neuromórfico en el bucle, validando la viabilidad de entrenar redes neuronales de impulsos para sistemas robóticos autónomos sin depender de reglas de aprendizaje no locales y computacionalmente costosas.

El artículo concluye que el aprendizaje sensoriomotor complejo es alcanzable con un procesador neuromórfico de señal mixta compacto, destacando el potencial para el control adaptativo y de bajo consumo en la robótica autónoma.