Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

En el mundo de la inteligencia artificial, existe un impulso constante por hacer máquinas que puedan aprender y adaptarse a su entorno, de forma muy parecida a como un niño aprende a caminar o un pájaro aprende a volar. Este campo, conocido como aprendizaje por refuerzo, enseña a los programas informáticos a tomar decisiones recompensándolos por las buenas elecciones y penalizándolos por las malas. Durante años, estos sistemas se han vuelto increíblemente hábiles para resolver problemas complejos, desde jugar videojuegos hasta controlar robots. Sin embargo, el hardware que ejecuta estos programas inteligentes suele ser voluminoso y consume una cantidad tremenda de electricidad, de forma muy parecida a una potente computadora de escritorio ejecutando un videojuego pesado. Los científicos están mirando ahora hacia un tipo diferente de arquitectura de computación inspirado en el cerebro humano, llamado hardware neuromórfico. Estos chips especializados están diseñados para ser mucho más eficientes energéticamente y más rápidos al procesar información, pero funcionan de una manera fundamentalmente distinta a los ordenadores que usamos cada día. El desafío ha sido descubrir cómo tomar los algoritmos complejos y de alto rendimiento que funcionan bien en los ordenadores estándar y traducirlos para que puedan ejecutarse en estos chips similares al cerebro sin perder su capacidad de aprendizaje.

Un equipo de investigadores se propuso resolver este rompecabezas específico probando un nuevo enfoque en una computadora estándar antes de intentar siquiera aplicarlo al hardware especializado. Se centraron en un tipo de tarea difícil llamada control continuo, donde una máquina debe realizar ajustes suaves y constantes para mantener el equilibrio o avanzar, de forma similar a un robot que intenta caminar por una habitación sin caerse. Los investigadores crearon un nuevo sistema que llamaron SANSAC, que significa Spiking Actor Network Soft Actor Critic (Red de Actor con Pulsos Soft Actor Critic). Para entender qué lo hace especial, ayuda saber que las redes de inteligencia artificial estándar utilizan neuronas que emiten una señal constante, mientras que el nuevo sistema utiliza neuronas de "pulsos" (spiking). Estas neuronas de pulsos son más parecidas a las células biológicas; permanecen silenciosas hasta que reciben suficiente entrada para enviar un único y agudo pulso de electricidad, o un "pulso", y luego vuelven a quedar en silencio. Este método es la clave para crear software que pueda, eventualmente, ejecutarse en los chips neuromórficos de bajo consumo energético. El equipo quería ver si reemplazar el cerebro estándar de su robot de aprendizaje con esta versión de pulsos perjudicaría su rendimiento, o si podría aprender igual de bien.

Para encontrar la respuesta, los investigadores sometieron tanto al sistema tradicional como a su nuevo sistema de pulsos a una prueba rigurosa en un entorno simulado conocido como Bipedal Walker (Caminante Bípede). En esta simulación, un robot de dos piernas debe aprender a caminar hacia adelante sin caerse. El equipo entrenó ambas versiones del software durante hasta 1,200 intentos, o episodios, para ver qué tan rápido y efectivamente podían aprender a caminar. Probaron los sistemas con diferentes tamaños de memoria interna, que iban desde muy pequeños hasta bastante grandes, para asegurar que los resultados se mantuvieran bajo diversas condiciones. Los resultados fueron sorprendentemente alentadores. El nuevo sistema de pulsos aprendió a caminar tan bien como el sistema tradicional. En las pruebas más desafiantes, ambos sistemas alcanzaron una tasa de éxito de aproximadamente el 70 al 80 por ciento, lo que significa que podían completar la tarea de caminar con éxito la mayor parte del tiempo. Los investigadores no encontraron ninguna diferencia estadística significativa en el desempeño de los dos sistemas, demostrando que el enfoque de pulsos no sacrifica la inteligencia por la eficiencia.

Sin embargo, se observó un claro compromiso durante las pruebas. Si bien el sistema de pulsos funcionó igual de bien, tardó significativamente más en entrenarse en la computadora estándar. Los investigadores notaron que la versión de pulsos requirió aproximadamente el doble de tiempo para completar el mismo número de episodios de entrenamiento que la versión tradicional. Esto sucedió porque la computadora estándar está construida para procesar la información en línea recta, mientras que el sistema de pulsos depende de tiempos y secuencias que son difíciles de simular en tal hardware. Los investigadores explicaron que esta ralentización es un artefacto de ejecutar la simulación en el tipo de máquina incorrecto; en los chips neuromórficos reales diseñados para este propósito, el sistema probablemente sería mucho más rápido porque esos chips procesan estos pulsos en paralelo, tal como lo hace un cerebro real. El estudio no midió el consumo de energía en la computadora estándar porque los datos eran inconsistentes, pero el objetivo era demostrar que el algoritmo funciona antes de trasladarlo al hardware donde realmente destacaría.

El estudio también analizó qué sucede cuando los sistemas se hacen más pequeños, con menos conexiones internas. Como era de esperar, ambos sistemas tuvieron dificultades cuando la red era demasiado pequeña para manejar la complejidad de la tarea, con tasas de éxito que caían a solo el 10 por ciento. Pero en el rango medio de tamaños, el sistema de pulsos se mantuvo competitivo, demostrando que es lo suficientemente robusto como para manejar un aprendizaje complejo incluso cuando los recursos son limitados. Los investigadores concluyeron que su trabajo proporciona una base sólida para el futuro de la inteligencia artificial neuromórfica. Demostraron que es posible diseñar algoritmos de aprendizaje que estén listos para estos nuevos chips de bajo consumo sin tener que aceptar una caída en el rendimiento. Si bien el camino a seguir aún requiere pruebas en hardware neuromórfico físico para confirmar los beneficios energéticos, este artículo confirma que la lógica del software en sí es sólida. Los hallazgos sugieren que el futuro de la computación eficiente y similar al cerebro no es solo un sueño teórico, sino una realidad práctica que puede construirse hoy, siempre que estemos dispuestos a esperar un poco más para que el entrenamiento termine en nuestras computadoras actuales.