⚡ electrical engineering

Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

Este artículo propone una Red Q de Picos Ternaria Asimétrica Profunda (DATSQN, por sus siglas en inglés) que utiliza un novedoso modelo de neurona de picos ternaria para mitigar el sesgo de estimación de gradiente, superando así la degradación del rendimiento de los modelos ternarios existentes y aventajando a las líneas base binarias en tareas de aprendizaje Q profundo a través de siete juegos de Atari.

Autores originales: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Publicado 2026-08-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aref Ghoreishee, Abhishek Mishra, John Walsh, Anup Das, Nagarajan Kandasamy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a jugar videojuegos. Para tomar decisiones, el robot necesita un cerebro, y en el mundo de la inteligencia artificial, a menudo construimos estos cerebros utilizando "redes neuronales". Estas redes están inspiradas en el cerebro humano, donde unidades diminutas llamadas neuronas pasan señales entre sí. En los cerebros de computadoras tradicionales, estas señales son como ondas eléctricas suaves y continuas. Pero en un tipo especial de cerebro llamado "Red Neuronal de Picos" (SNN, por sus siglas en inglés), las neuronas se comunican mediante ráfagas diminutas y agudas de electricidad llamadas "picos", de forma muy similar a cómo disparan las neuronas biológicas reales. Este método es increíblemente eficiente en términos de energía, lo que lo hace perfecto para robots móviles o dispositivos que no pueden cargar con baterías pesadas.

Sin embargo, hay un inconveniente. La mayoría de estos cerebros de picos, que son tan eficientes, solo tienen dos estados: o disparan un pico (1) o permanecen en silencio (0). Es como un interruptor de luz que solo puede estar encendido o apagado. Esto limita la cantidad de información que el robot puede retener en su cabeza a la vez. Recientemente, los científicos intentaron actualizar estos interruptores a neuronas "ternarias", que tienen tres estados: dispara positivamente (+1), permanece en silencio (0) o dispara negativamente (-1). Podrías pensar que añadir un interruptor "negativo" haría al robot más inteligente, pero sorprendentemente, cuando probaron esto en un entorno de videojuegos, los robots en realidad empeoraron al jugar. Este artículo profundiza en este misterio, preguntándose por qué tener más opciones hizo al robot más tonto, y cómo lo arreglaron para convertir al robot en un campeón de los videojuegos otra vez.

El Misterio del Robot más Tonto

Los investigadores, un equipo de la Universidad de Drexel, se propusieron probar estas nuevas neuronas "ternarias" en un sistema de aprendizaje profundo diseñado para jugar videojuegos de Atari (los clásicos juegos de arcade como Breakout y Space Invaders). Tenían la sospecha de que el problema no era el estado adicional en sí, sino cómo estaban aprendiendo las neuronas.

Piensa en entrenar a un robot como enseñarle trucos a un perro. Le das una orden, lo intenta, y le das un premio (una recompensa) o un "no" (una penalización). En el mundo de la IA, este "premio" se calcula observando la diferencia entre lo que el robot esperaba y lo que realmente sucedió. Esta diferencia se llama "gradiente", y le dice al robot cómo ajustar su cerebro para hacerlo mejor la próxima vez.

El equipo descubrió que las neuronas ternarias estándar eran como un profesor al que solo le importaba la dirección del error, no el tamaño del mismo. Si el robot cometía un error, la neurona ternaria solo podía decir: "¡Fuiste en la dirección equivocada!" (+1 o -1), pero ignoraba por completo la pregunta de "¿Qué tanto te equivocaste?" (la actividad). En las etapas iniciales del aprendizaje de un videojuego, el robot suele adivinar de forma errática, por lo que la "dirección" del error es confusa y aleatoria. Debido a que las neuronas ternarias estándar estaban tan enfocadas en la dirección, se perdieron en el ruido y dejaron de aprender por completo. Era como si el robot estuviera intentando navegar en un laberinto con niebla mientras solo escuchaba una brújula que giraba aleatoriamente; simplemente se quedaba quieto.

El Arreglo Asimétrico

Para resolver esto, los autores propusieron un nuevo diseño llamado Red Q de Picos Ternaria Asimétrica Profunda (DATSQN). Se dieron cuenta de que la naturaleza tenía la respuesta desde el principio. En el cerebro humano, no todas las neuronas son iguales. Cerca del 80% de nuestras neuronas son "excitatorias" (empujan al cerebro a actuar), y solo alrededor del 20% son "inhibitorias" (le dicen al cerebro que se detenga). Los viejos modelos ternarios trataban a estos dos tipos como imágenes especulares perfectas, lo cual es biológicamente poco realista.

El nuevo modelo del equipo rompió esta simetría. Crearon una neurona donde los umbrales "positivo" (excitatorio) y "negativo" (inhibitorio) eran diferentes. Una forma de visualizar esto es imaginar una puerta con dos cerraduras distintas. El modelo antiguo tenía dos cerraduras idénticas; si empujabas con mucha fuerza en cualquiera de los lados, la puerta se abría de la misma manera. El nuevo modelo tiene una cerradura pesada y difícil de abrir en el lado de "detenerse" y una cerradura fácil de abrir en el lado de "ir". Esta asimetría significó que, incluso cuando el robot estaba confundido sobre la dirección de su error, la neurona aún podía enviar una señal clara sobre cuánto debía estar activa. Mantuvo el "control de volumen" funcionando incluso cuando la "flecha de dirección" giraba sin control.

Los Resultados: De Estancado a Superestrella

El equipo probó este nuevo cerebro en siete juegos diferentes de Atari, enfrentándolo a los robots binarios (encendido/apagado) y a los robots ternarios estándar. Hicieron la tarea más difícil obligando a los robots a tomar decisiones más rápido (usando una ventana de tiempo de simulación más corta de 20 pasos en lugar de 40), lo que usualmente dificulta mucho el aprendizaje.

Los resultados fueron impactantes. Los robots ternarios estándar (DTSQN) funcionaron terriblemente, puntuando mucho más bajo que los robots binarios básicos. Efectivamente, estaban atrapados en la niebla del aprendizaje. Sin embargo, los nuevos robots asimétricos (DATSQN) no solo alcanzaron el nivel, sino que se dispararon. En seis de los siete juegos, el nuevo modelo superó la línea base binaria, logrando una mejora del 30% en el puntaje promedio del juego. Por ejemplo, en Beam Rider, el nuevo robot anotó 4,000 puntos frente a los 2,069 del robot binario. En Breakout, anotó 252 puntos frente a 207.

Los investigadores también revisaron el "latido" del proceso de entrenamiento. Descubrieron que las señales de aprendizaje del nuevo modelo se mantenían fuertes y estables, evitando el problema del "gradiente desvaneciente" donde el robot olvida cómo aprender. También observaron que las neuronas en su nuevo modelo evolucionaron naturalmente para ser mayoritariamente excitatorias, tal como ocurre en un cerebro humano real, con los picos positivos superando a los negativos en una proporción de al menos 60%.

Lo Que Esto Significa

Este artículo sugiere que simplemente añadir más estados a una neurona no es suficiente; tienes que diseñar cómo aprenden esos estados. Al imitar el desequilibrio natural de las neuronas excitatorias e inhibitorias en el cerebro humano, el equipo creó una red de picos que no solo es más eficiente energéticamente, sino también más inteligente para aprender tareas complejas. Aunque el estudio se realizó en simulaciones de videojuegos, los hallazgos sugieren que este enfoque "asimétrico" podría ser la clave para construir mejores y más eficientes cerebros de IA para robots y otros dispositivos en el futuro. Los autores señalan que, aunque su modelo funciona de maravilla en estos juegos, sigue siendo una sugerencia de cómo construir mejores sistemas, y será interesante ver si este enfoque ayuda en otras áreas como la visión o el procesamiento del lenguaje.

Resumen Técnico: Mejora del Rendimiento de la Aprendizaje por Refuerzo Profundo basado en Q utilizando Neuronas Ternarias

Planteamiento del Problema
El Aprendizaje por Refuerzo Profundo (DRL), particularmente las Redes Q Profundas (DQN), enfrenta desafíos significativos en cuanto a eficiencia energética y despliegue en plataformas móviles. Las Redes Neuronales de Picos (SNN) ofrecen una alternativa energéticamente eficiente al imitar neuronas biológicas que se comunican mediante picos discretos. Sin embargo, las SNN actualmente rinden por debajo de las Redes Neuronales Profundas (DNN) clásicas en tareas complejas y de alta dimensionalidad por dos razones primarias: la naturaleza no diferenciable de la generación de picos complica el entrenamiento, y las neuronas de picos binarios (que emiten {0, 1}) poseen una capacidad de representación limitada.

Aunque estudios recientes introdujeron neuronas de picos ternarias (que emiten {-1, 0, 1}) para mejorar la capacidad de representación y el rendimiento en visión artificial y procesamiento de lenguaje natural, este artículo identifica una contradicción crítica: en las tareas de Q-learning, los modelos ternarios simétricos existentes rinden sustancialmente peor que sus contrapartes binarias. Los autores hipotetizan que esta degradación es causada por el sesgo de estimación del gradiente durante el entrenamiento, específicamente la pérdida de señales de aprendizaje informativas cuando los signos de los picos no están determinados.

Metodología
Los autores desarrollan un marco matemático para analizar la dinámica de entrenamiento de las SNN ternarias, modelando los picos como variables aleatorias para derivar los gradientes esperados.

Análisis de las Neuronas Ternarias Simétricas:
El artículo demuestra que para una neurona Leaky Integrate-and-Fire (LIF) ternaria simétrica (donde los umbrales positivos y negativos son iguales), el gradiente esperado durante la retropropagación se divide en un "canal de signo" y un "canal de actividad". En el contexto del Q-learning temprano, donde los valores objetivo no son informativos respecto a la polaridad, el canal de signo desaparece. Debido a que el diseño simétrico fuerza a que el "canal de actividad" (que determina si la neurona debe disparar o permanecer en silencio) sea cero, la neurona recibe un gradiente de varianza alta y cercano a cero. Esto conduce al estancamiento del entrenamiento, explicando la degradación del rendimiento observada.
Solución Propuesta: Neurona de Picos Ternaria Asimétrica:
Para resolver esto, los autores proponen un nuevo modelo de neurona con umbrales asimétricos ( $v_{thp} \neq v_{thn}$ ). En este modelo:
- El umbral positivo ( $v_{thp}$ ) es fijo.
- El umbral negativo ( $v_{thn}$ ) es un parámetro entrenable.
- Esta asimetría asegura que las sensibilidades a los potenciales de membrana positivos y negativos ( $c_p$ y $c_n$ ) sean desiguales.
- Consecuentemente, el "canal de actividad" en la ecuación del gradiente permanece distinto de cero incluso cuando el canal de signo desaparece, proporcionando una señal de aprendizaje continua.
Análisis de Estabilidad:
Utilizando el concepto de isometría dinámica de bloque, los autores demuestran matemáticamente que las redes construidas con estas neuronas ternarias asimétricas evitan tanto los problemas de desvanecimiento como de explosión de gradientes. Demuestran que la isometría dinámica del modelo propuesto es al menos tan robusta como la de las redes que utilizan activaciones ReLU.
Arquitectura de Red (DATSQN):
La neurona propuesta se integra en una Red Q de Picos Ternaria Asimétrica Profunda (DATSQN). Para asegurar la compatibilidad con el hardware neuromórfico, la codificación de entrada utiliza muestreo de Bernoulli basado en tasa para convertir píxeles brutos en trenes de picos, eliminando la primera capa de punto flotante no pulsante encontrada en algunos trabajos previos. El tiempo de simulación se redujo a 20 pasos (comparado con 40 en las líneas base) para aumentar la dificultad de la tarea y reducir la latencia.

Contribuciones Clave

Identificación del Sesgo del Gradiente: El artículo proporciona la primera evaluación de las neuronas ternarias en Q-learning, revelando que el aumento de la capacidad de representación no se traduce automáticamente en un mejor rendimiento de RL debido al sesgo de estimación del gradiente en modelos simétricos.
Nuevo Modelo de Neurona: La introducción de la neurona de picos ternaria asimétrica, que mantiene una alta capacidad de representación mientras asegura un gradiente esperado no nulo mediante umbrales asimétricos entrenables.
Garantías Teóricas: Pruebas matemáticas que demuestran que el modelo propuesto previene el desvanecimiento/explosión de gradientes y logra una isometría dinámica comparable a las redes ReLU.
Plausibilidad Biológica: El diseño se alinea con la evidencia biológica que muestra que los cerebros exhiben un predominio de neuronas excitatorias (aprox. 70-80%) sobre las inhibitorias, una propiedad capturada naturalmente por los umbrales asimétricos.

Resultados Experimentales
Los autores evaluaron DATSQN frente a las líneas base binaria (DSQN) y ternaria simétrica (DTSQN) a través de siete juegos de Atari del entorno Gym.

Rendimiento: DATSQN logró una mejora del 30% en la puntuación media del juego sobre la línea base binaria DSQN en los siete juegos.
Comparación: Mientras que el modelo ternario simétrico (DTSQN) mostró una clara caída de rendimiento en cada juego comparado con la línea base binaria, el modelo asimétrico (DATSQN) superó a la línea base binaria en seis de los siete juegos.
Dinámica de Entrenamiento: Los experimentos confirmaron que DTSQN sufrió de normas de gradiente promedio bajas (indicando el "estancamiento" predicho por la teoría), mientras que DATSQN mantuvo normas de gradiente estables y logró mayores recompensas acumuladas en las etapas tardías del entrenamiento.
Estudios de Ablación: Los experimentos mostraron que simplemente hacer el umbral entrenable en un modelo simétrico era insuficiente; la asimetría específica (fijar un umbral mientras se entrena el otro) era crucial para el rendimiento. Además, hacer que ambos umbrales fueran entrenables no produjo ganancias significativas sobre el diseño de un solo umbral entrenable, justificando el diseño canónico más simple.

Significancia
El artículo sostiene que la degradación del rendimiento de las neuronas ternarias en Q-learning no es un defecto inherente de la codificación ternaria, sino una consecuencia del umbralizado simétrico que ciega a la red ante las señales de aprendizaje basadas en la actividad en las etapas tempranas de RL. Al introducir la asimetría, los autores recuperan con éxito los beneficios de la mayor capacidad de representación mientras aseguran la estabilidad del entrenamiento. Los resultados sugieren que las neuronas ternarias asimétricas son una alternativa viable y superior a las neuronas binarias para el aprendizaje por refuerzo de picos profundo, ofreciendo un camino hacia agentes neuromórficos más eficientes y capaces. Los autores señalan que este enfoque amerita una mayor evaluación en otros entornos de SNN, como tareas de visión y modelado de lenguaje.

Más como este