Convolutional Sparse Coding via the Locally Competitive Algorithm on Loihi 2

Resumen Técnico: Codificación Dispersa Convolucional mediante el Algoritmo de Competencia Local en Loihi 2

Declaración del Problema
La codificación dispersa ofrece un marco basado en principios para la representación de señales mediante la expresión de entradas como combinaciones lineales de un pequeño número de funciones de base. Si bien el Algoritmo de Competencia Local (LCA, por sus siglas en inglés) es muy adecuado para la computación neuromórfica debido a su alineación con el estado local, las actualizaciones basadas en eventos y la comunicación dispersa, los estudios neuromórficos previos se han centrado principalmente en entornos no convolucionales. El LCA no convolucional carece de la estructura espacial, el uso compartido de pesos y los campos receptivos superpuestos que son esenciales para las cargas de trabajo prácticas de inferencia dispersa. La codificación dispersa convolucional introduce estas propiedades, cambiando fundamentalmente el problema de un simple problema de escalado de vectores a una carga de trabajo de inferencia estructurada y distinta. El desafío radica en implementar este entorno convolucional en hardware neuromórfico (específicamente en Intel Loihi 2) preservando la dinámica esencial y evaluando su viabilidad frente a las bases de comparación de hardware convencional.

Metodología
Los autores presentan una implementación en Loihi 2 de la codificación dispersa convolucional utilizando una formulación de LCA recurrente de una sola capa. La metodología involucra:

• Formulación Algorítmica: El problema se define como la minimización de una función de energía que comprende un término de fidelidad de reconstrucción y una penalización de dispersión $\ell_1$. La dinámica del LCA evoluciona a través de interacciones locales donde las unidades integran el impulso de alimentación (feedforward), compiten mediante inhibición lateral y emiten activaciones umbralizadas. La regla de actualización utiliza una discretización de Euler hacia adelante en tiempo discreto con dinámica de membrana de punto fijo.
• Mapeo de Hardware: La implementación mapea el LCA convolucional a Loihi 2 representando los coeficientes dispersos como una única capa recurrente de neuronas.
  • Impulso de Alimentación (Feedforward Drive): Precomputado mediante la convolución de la entrada con el diccionario e inyectado como un sesgo (bias) fijo.
  • Inhibición Lateral: Derivada de las correlaciones de pares del diccionario ($W = (\Phi * \Phi) - \delta$), donde se elimina el auto-solapamiento para evitar la auto-inhibición trivial. Esto crea núcleos inhibitorios locales.
  • Dinámica: Las neuronas utilizan aritmética de punto fijo para los estados de membrana y reglas de actualización personalizadas para el umbral suave (soft-thresholding). Las unidades activas emiten salidas graduadas que corresponden a las activaciones umbralizadas, generando tráfico de eventos disperso.
• Configuración Experimental:
  • Conjunto de Datos: Benchmark de imágenes Set12 con entradas en escala de grises.
  • Configuración: Los experimentos utilizan diccionarios convolucionales de 3×3 y 5×5 con diferentes conteos de filtros. Se prueban dos regímenes de paso (stride): Stride-1 (tamaños objetivo de 50×50 a 200×200) y Stride-2 (400×400 a 800×800).
  • Entrenamiento: Los diccionarios se aprenden fuera de línea mediante entrenamiento alterno (codificación dispersa vía LCA seguido de la actualización del diccionario vía SGD) y se mantienen fijos durante la inferencia.
  • Línea Base (Baseline): Una implementación en GPU emparejada (NVIDIA RTX A6000, PyTorch) utilizando los mismos diccionarios, imágenes, parámetros de dispersión ($\lambda$) y un presupuesto fijo de 1000 iteraciones de LCA.
  • Métricas: La calidad de la reconstrucción (PSNR, SSIM, MSE, dispersión) se trata como independiente del hardware. Las métricas dependientes del hardware incluyen latencia en el chip ($time\_chip\_ms$), latencia de tiempo real (wall-clock), potencia dinámica y energía dinámica por inferencia.

Contribuciones Clave

1. Primera Implementación: Hasta donde los autores saben, esta es la primera implementación y evaluación comparativa del LCA convolucional en Loihi 2.
2. Benchmark Estructurado: Este trabajo establece una configuración de evaluación emparejada que separa las métricas algorítmicas (calidad de reconstrucción) de las métricas dependientes del hardware (latencia, potencia, energía).
3. Análisis de Regímenes: El estudio analiza los compromisos entre múltiples configuraciones de regularización ($\lambda$), tamaños de filtro y configuraciones de paso (stride) para identificar los regímenes operativos donde la inferencia dispersa convolucional resulta atractiva en hardware neuromórfico.

Resultos

• Comportamiento Solo de Loihi: El aumento del parámetro de dispersión $\lambda$ actúa como un control fiable. A medida que $\lambda$ aumenta, la calidad de la reconstrucción (PSNR) disminuye moderadamente, mientras que la latencia en el chip y la energía dinámica disminuyen significativamente. La magnitud de estos ahorros depende del régimen, variando con el paso y el tamaño del filtro.
• Comparación Entre Plataformas:
  • Latencia: La línea base de GPU demuestra consistentemente una latencia menor que Loihi 2, particularmente en los regímenes de Stride-1. La brecha de latencia se reduce en los regímenes de Stride-2, pero sigue favoreciendo a la GPU.
  • Energía: Loihi 2 exhibe una ventaja sustancial en la energía dinámica por inferencia en todos los regímenes probados, requiriendo significativamente menos energía que la línea base de la GPU.
  • Calidad de Reconstrucción: La calidad de reconstrucción entre plataformas depende del régimen en lugar de estar uniformemente ordenada. Las desviaciones entre los resultados de Loihi 2 y la GPU son más pronunciadas en los regímenes de operación más densos (menor $\lambda$) y disminuyen a medida que las representaciones se vuelven más dispersas (mayor $\lambda$). Los autores atribuyen esto a los efectos de cuantización de punto fijo en la implementación de Loihi 2, que se acumulan sobre la dinámica recurrente.

Significancia y Reivindicaciones
El artículo posiciona al LCA convolucional en Loihi 2 no como un reemplazo universal para la ejecución convencional en GPU, sino como un sustrato de inferencia dispersa dependiente del régimen. La principal significancia radica en demostrar la viabilidad y aclarar las condiciones operativas específicas bajo las cuales el hardware neuromórfico resulta ventajoso.

• Identificación de Compromisos: El estudio aclara que, si bien las GPUs ofrecen una latencia superior y generalmente una mejor calidad de reconstrucción (especialmente en regímenes densos), Loihi 2 ofrece una ventaja convincente en eficiencia de energía dinámica.
• Contexto de Aplicación: Los resultados sugieren que Loihi 2 es particularmente atractivo para aplicaciones donde la inferencia dispersa iterativa es valiosa pero la latencia absoluta es secundaria a las restricciones de energía, como procesos de detección de bajo consumo o procesamiento de front-end siempre activo.
• Valor de Benchmark: El LCA convolucional se propone como un benchmark útil para los sistemas neuromórficos emergentes porque expone una familia estructurada de compromisos (calidad vs. latencia vs. energía) que dependen tanto del régimen operativo como del sustrato de hardware.

Los autores señalan explícitamente las limitaciones, incluyendo la restricción a diccionarios entrenados fuera de línea, el uso de aritmética de punto fijo que impacta la precisión en regímenes densos, y el uso de un presupuesto fijo de 1000 iteraciones que puede no reflejar criterios de parada optimizados para aplicaciones. La comparación se enmarca como un benchmark emparejado para contextualizar a Loihi 2 frente a una referencia convencional sólida, en lugar de una afirmación de superioridad neuromórfica universal.