CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras

Resumen Técnico: CLANE – Aprendizaje Continuo de Acciones en Hardware Neuromórfico a partir de Cámaras de Eventos

Enunciado del Problema
El artículo aborda el desafío de desplegar sistemas de aprendizaje continuo (CL) para el reconocimiento de acciones en dispositivos periféricos con restricciones estrictas de energía y memoria. Los enfoques tradicionales de aprendizaje profundo dependen de la propagación global del error, grandes búferes de activación y acceso a datos pasados o búferes de reproducción, lo cual es incompatible con los presupuestos de recursos de los dispositivos periféricos siempre activos. Además, el reconocimiento estándar de acciones visuales lucha contra la iluminación variable, el desenfoque de movimiento y los datos estáticos redundantes. Si bien las cámaras de eventos ofrecen datos dispersos, asíncronos y de alto rango dinámico adecuados para el procesamiento de baja latencia, ningún sistema anterior ha desplegado con éxito una pipeline completa de aprendizaje continuo de extremo a extremo para el reconocimiento de acciones basado en eventos en hardware neuromórfico. El trabajo existente de CL neuromórfico se ha limitado a entradas espaciales estáticas (reconocimiento de objetos) o a benchmarks a pequeña escala que carecen de análisis del olvido catastrófico.

Metodología
Los autores presentan CLANE (Aprendizaje Continuo de Acciones en Hardware Neuromórfico a partir de Cámaras de Eventos), un sistema de extremo a extremo desplegado en el procesador neuromórfico Intel Loihi 2. El sistema integra tres componentes principales:

1. Pipeline de Datos Basada en Eventos: El sistema utiliza el conjunto de datos THUE-ACT-50 capturado por una cámara de eventos CeleX-V. Los flujos de eventos se agrupan en ventanas temporales fijas (por ejemplo, 40 ms) para crear histogramas dispersos de conteo de eventos en 2D. Estas representaciones dispersas se procesan directamente como trenes de picos, evitando las operaciones densas de tensores requeridas por las cámaras basadas en fotogramas.
2. Extractor de Características CNN 2D con Picos: Una red neuronal convolucional con picos (SNN) de 5 capas extrae características espacio-temporales. La red utiliza neuronas Parametric Leaky Integrate-and-Fire (PLIF). Este extractor de características se entrena previamente en 38 clases base utilizando retropropagación a través del tiempo (BPTT) en una GPU y luego se congela para la fase de aprendizaje continuo.
3. Módulo CLP-Loihi (Cabeza de Aprendizaje en el Chip): Para manejar la naturaleza temporal de las acciones y las limitaciones de hardware de Loihi 2, los autores extienden el algoritmo CLP-SNN con dos módulos novedosos:
   • Capa de Agregación Temporal: Integra flujos de picos binarios durante la duración de un clip de acción utilizando neuronas Integrate-and-Fire no con fugas, generando "picos graduados" (vectores) que representan la acción completa.
   • Capa de Normalización: Implementa la normalización L2 utilizando un algoritmo de raíz cuadrada inversa rápida de punto fijo a través del motor de microcódigo de Loihi 2, ya que el chip carece de instrucciones nativas de división.
   • Mecanismo de Aprendizaje Continuo: El sistema emplea una regla de aprendizaje de tres factores auto-normalizante. Aprende en línea y de forma incremental por clase creando nuevos vectores prototipo para acciones nuevas cuando ocurren errores, sin requerir propagación global del error ni búferes de reproducción.

Contribuciones Clave

• CLP-Loihi: La extensión del algoritmo CLP-SNN al reconocimiento de acciones espacio-temporales. Esto incluye la implementación novedosa de capas de Agregación Temporal y Normalización de Punto Fijo directamente en Loihi 2 utilizando modelos de neuronas personalizados.
• Despliegue Neuromórfico Completo: El primer despliegue de extremo a extremo de un extractor de características CNN profundo con picos y una cabeza de aprendizaje continuo en un solo chip Loihi 2. El sistema procesa entradas de cámaras de eventos sin intervención de GPU ni en los bucles de inferencia ni en los de aprendizaje.
• Evaluación Rigurosa Iso-Algorítmica: El artículo introduce una metodología de evaluación comparativa multiplataforma que compara CLANE en Loihi 2 contra una Nvidia Jetson Orin Nano. Al mantener el algoritmo de aprendizaje (CLP) y la capacidad del modelo constantes en todas las plataformas, los autores aíslan las ganancias de eficiencia del hardware de las diferencias algorítmicas.

Resultados
Evaluado en el conjunto de datos THUE-ACT-50 (50 clases, condiciones del mundo real que incluyen variaciones de iluminación y oclusiones), CLANE demuestra lo siguiente:

• Precisión: En una tarea de aprendizaje incremental por clase de 10 ejemplos, CLANE alcanza una precisión del 70,4%. Esto es competitivo con el algoritmo CLP ejecutado en la GPU (73,0%) y supera significativamente al ajuste fino ingenuo, que sufre de olvido catastrófico.
• Eficiencia: En comparación con una línea base secuencial CNN+GRU que ejecuta el mismo algoritmo CLP en la Jetson Orin Nano, CLANE ofrece:
  • Reducción de >100× en el consumo de energía.
  • 16× menor latencia.
  • Un Producto Energía-Retraso (EDP) de 0,018 mJ·s, que iguala la eficiencia de una CNN 3D en la GPU pero con una latencia significativamente menor en escenarios de transmisión.
• Extracción de Características: La CNN con picos en Loihi 2 proporciona una reducción de latencia de aproximadamente 30× y una reducción de energía de 230× en comparación con la línea base 2D CNN+GRU en la GPU, con un costo marginal de precisión (2,6%).

Significado y Afirmaciones
El artículo afirma que CLANE establece el hardware neuromórfico como un sustrato práctico para "sistemas de percepción siempre activos y de adaptación continua". Los autores argumentan que la alineación arquitectónica entre las cámaras de eventos (detección dispersa), las SNN (computación dispersa) y los procesadores neuromórficos (aprendizaje local) crea ganancias de eficiencia sinérgicas que son inalcanzables con las arquitecturas de von Neumann para regímenes dispersos, en línea y con restricciones de energía.

El trabajo destaca que, mientras que las GPUs sobresalen en el procesamiento denso y por lotes, los sistemas neuromórficos dominan en escenarios que requieren baja latencia, bajo consumo energético y adaptación continua sin olvido. El artículo concluye que este enfoque de pila completa aborda una brecha crítica en el campo, proporcionando una metodología de evaluación comparativa que la comunidad de aprendizaje continuo neuromórfico carece actualmente, y demostrando que el aprendizaje continuo a gran escala espacio-temporal es factible en hardware neuromórfico periférico.