Error Amplification Limits ANN-to-SNN Conversion in Continuous Control

Resumen Técnico: La amplificación de errores limita la conversión de ANN a SNN en el control continuo

Planteamiento del problema
Si bien las Redes Neuronales de Picos (SNN) ofrecen ventajas significativas de eficiencia energética para el Aprendizaje por Refuerzo (RL) en dispositivos periféricos con recursos limitados, la conversión de Redes Neuronales Artificiales (ANN) preentrenadas a SNN ha tenido históricamente dificultades en los dominios de control continuo. Los métodos de conversión existentes, que compiten eficazmente en la clasificación de imágenes y el control discreto (por ejemplo, Atari), sufren una degradación sustancial de rendimiento cuando se aplican a espacios de acción continuos (por ejemplo, robótica). El artículo identifica que esta degradación no se debe meramente a errores de aproximación de la acción instantánea, sino que es impulsada por un fenómeno de amplificación de errores. En el control continuo, los pequeños errores de acción introducidos durante la conversión se vuelven temporalmente correlacionados a través de los pasos de decisión. Estos errores inducen cambios progresivos en la distribución de estados, causando que las trayectorias generadas por las SNN convertidas diverjan significamente de las políticas óptimas de las ANN a lo largo de horizontes prolongados, lo que conduce a una severa pérdida de rendimiento acumulativo.

Metodología: Inicialización de Potencial Residual Trans-Paso (CRPI)
Para abordar la amplificación de errores, los autores proponen la Inicialización de Potencial Residual Trans-Paso (CRPI), un mecanismo ligero y libre de gradientes diseñado para suprimir errores temporalmente correlacionados sin requerir entrenamiento adicional.

• Mecanismo: El método opera sobre la observación de que los potenciales de membrana residuales al final de un paso de decisión ($k$) exhiben una correlación temporal positiva con los errores en el paso subsiguiente ($k+1$). CRPI transfiere estos potenciales de membrana residuales para inicializar los estados de las neuronas del siguiente paso de decisión.
• Formulación Matemática: Sea $\varepsilon^l_k$ el error de potencial de membrana residual en el paso $k$. El objetivo es suprimir la correlación temporal $E[\cos(\tilde{\varepsilon}^l_{k+1}, \varepsilon^l_k)] \le 0$. Al aplicar una aproximación de primer orden, el potencial de membrana inicial para el paso $k+1$ se ajusta como:
  $$v^l_{k+1}[0] \leftarrow v^l_{k+1}[0] + \alpha(v^l_k[T] - v^l_k[0])$$
  donde $\alpha$ es un coeficiente de correlación, $v[T]$ es el potencial final y $v[0]$ es el potencial inicial.
• Implementación: El algoritmo recorta el potencial residual para asegurar que permanezca dentro de los rangos de disparo válidos y evite el ráfaga (bursting) persistente. CRPI está diseñado para integrarse sin problemas en las canalizaciones de conversión de ANN a SNN existentes (por ejemplo, aquellas que utilizan modelos de Integrate-and-Fire, Signed Neuron, Multi-Threshold o Differential Coding) y no requiere cambios arquitectónicos ni reentrenamiento.

Contribuciones Clave

1. Identificación de la Amplificación de Errores: El artículo proporciona un análisis sistemático demostrando que la degradación del rendimiento en el control continuo está dominada por cambios en la distribución de estados causados por errores de acción temporalmente correlacionados, más que por desajustes de acción instantánea.
2. Mecanismo CRPI: Introducción de una novedosa estrategia de inicialización en tiempo de inferencia que desacorrela explícitamente los errores de conversión a través de los pasos de decisión aprovechando los potenciales de membrana residuales.
3. Evaluación Exhaustiva: Experimentos extensos a través de entornos de vectores (MuJoCo) y de visión (DeepMind Control Suite) muestran que CRPI recupera consistentemente el rendimiento perdido en las SNN convertidas, superando a menudo el rendimiento de las SNN entrenadas directamente en tareas visuales desafiantes.
4. Validación de la Eficiencia Energética: El estudio confirma que CRPI introduce una carga computacional insignificante (menos del 1% de operaciones adicionales) mientras preserva la alta eficiencia energética inherente a las SNN.

Resultos Experimentales

• Recuperación de Rendimiento: En los entornos de MuJoCo, CRPI mejoró significativamente la Tasa de Rendimiento Promedio (APR) de las SNN convertidas. Por ejemplo, con neuronas Integrate-and-Fire (IF) y 16 pasos de simulación, la APR de las políticas convertidas mediante TD3 aumentó del 79.11% al 85.10%. En algunas configuraciones (por ejemplo, neuronas MT con 4 umbrales), la SNN convertida con CRPI incluso superó el rendimiento de la ANN original (APR > 100%).
• Control Visual: En las tareas de DeepMind Control Suite, CRPI permitió que las SNN convertidas alcanzaran hasta el 91.84% del rendimiento base de la ANN (comparado con el 69.60% sin CRPI), superando a los enfoques de SNN entrenados directamente de última generación, incluyendo aquellos que utilizan modelos de mundo.
• Descorrelación de Errores: El análisis empírico confirmó que aumentar el parámetro de correlación $\alpha$ redujo monótonamente la similitud de coseno de los errores de potencial de membrana residual y los errores de acción entre pasos consecutivos, validando directamente la capacidad del mecanismo para suprimir la acumulación de errores.
• Robustez: El método demostró ser robusto a través de diferentes modelos de neuronas (IF, SNM, MT, DC), pasos de tiempo de simulación y algoritmos de RL subyacentes (DDPG, TD3, SAC, DrQ-v2).

Significancia y Reivindicaciones
El artículo posiciona el control continuo como un banco de pruebas crítico y desafiante para la conversión de ANN a SNN, destacando que los pequeños errores de aproximación pueden ser fuertemente amplificados en tareas de toma de decisiones de horizonte largo. Los autores afirman que CRPI mitiga eficazmente esta amplificación, permitiendo el despliegue de agentes SNN energéticamente eficientes en escenarios de control continuo sin el costo de interacción con el entorno requerido para el entrenamiento directo. El trabajo subraya que la estabilidad de las trayectorias de estado es primordial en el control continuo y que la gestión de la correlación temporal del error es esencial para una conversión exitosa. Los autores señalan que el trabajo futuro puede centrarse en el ajuste adaptativo del parámetro de correlación $\alpha$ y en la extensión del marco a otras tareas de generación secuencial vulnerables a la acumulación de errores.