Resumen Técnico: Modelos Mamba Neuromórficos de Espigas y Basados en Eventos para el Reconocimiento de Voz Eficiente

Planteamiento del Problema

El aprendizaje profundo ha revolucionado el Reconocimiento Automático del Habla (ASR), permitiendo su despliegue en dispositivos periféricos como teléfonos inteligentes y sistemas domésticos inteligentes. Sin embargo, las multiplicaciones de matrices densas inherentes a las Redes Neuronales Profundas (DNN) crean cargas computacionales y energéticas significativas, lo que genera latencia y limita la interacción en tiempo real en hardware con recursos limitados. Si bien la computación neuromórfica ofrece una solución potencial al introducir escasez de activación mediante Redes Neuronales de Espigas (SNN) y redes basadas en eventos, persiste una brecha crítica: no existe un estudio exhaustivo que evalúe los beneficios reales de hardware de diferentes estrategias neuromórficas (espigas vs. eventos) para tareas complejas de ASR. Los trabajos existentes suelen depender de métricas algorítmicas (por ejemplo, operaciones sinápticas) que asumen una computación dispersa ideal, fallando al capturar los costos reales de hardware, tales como la explotación de la escasez irregular y las sobrecargas de acceso a la memoria. Además, los simuladores de hardware existentes suelen ser demasiado rígidos para la exploración algorítmica o carecen de un modelado de eventos basado en ciclos para eventos de entrada atómicos.

Metodología

Los autores proponen adaptar la arquitectura de vanguardia SpeechMamba (que integra bloques Mamba con autoatención) en dos variantes neuromórficas distintas para mejorar la escasez de activación:

1. SpeechMamba Basado en Eventos (E-SpeechMamba)

Este enfoque utiliza funciones de activación FATReLU para inducir escasez sin convertir las neuronas en espigas binarias.

• Arquitectura: Se insertan capas FATReLU en puntos de cuello de botella clave (después de los bloques lineales, convolucionales y SSM) dentro del codificador y decodificador de SpeechMamba.
• Pipeline de Entrenamiento: Se emplea un proceso de tres etapas:
  1. Pre-entrenamiento: Se utilizan activaciones ReLU estándar con una pérdida de escasez para reducir la carga computacional.
  2. Inicialización de Umbrales: ReLU se reemplaza con FATReLU. Los umbrales ($T$) se inicializan mediante una estrategia de barrido basada en datos, estableciendo $T$ como la media de los valores de activación del 10% más bajo. Los umbrales se incrementan progresivamente siempre que la relación de pérdida normalizada se mantenga por debajo de una tolerancia $K$.
  3. Ajuste Fino (Finetuning): Los umbrales se optimizan aún más utilizando un término de regularización de inducción de escasez ($L_{spar}$) que penaliza las activaciones grandes y los umbrales pequeños, fomentando más activaciones de cero.

2. SpeechMamba de Espigas (S-SpeechMamba)

Este enfoque reemplaza los módulos basados en eventos con neuronas de espigas binarias.

• Arquitectura: Incorpora neuronas de Integración y Disparo con Fuga (LIF) y adopta el mecanismo de atención Spikformer (Atención de Autoatención de Espigas) y bloques SpikMamba.
• Computación: Las entradas se proyectan en trenes de espigas de consulta (query), clave (key) y valor (value). La atención se calcula mediante similitud de producto punto escalado sin softmax.
• Entrenamiento: Se aplica una pérdida de regularización de tasa de disparo ($L_{quiet} + L_{burst}$) para evitar neuronas muertas (disparo insuficiente) y disparos excesivos, equilibrando la escasez con un entrenamiento efectivo.

3. Simulador de Eventos Ciclo-Preciso

Para cerrar la brecha entre las métricas algorítmicas y la realidad del hardware, los autores desarrollaron un simulador personalizado:

• Plataforma: Emula la ejecución de flujo de datos basado en eventos en un núcleo RISC-V Ibex (RV32IMC), modelando procesadores neuromórficos digitales genéricos.
• Funcionalidad: Realiza una simulación a nivel de operación donde los eventos atómicos (espigas o activaciones graduadas) disparan computaciones inmediatas de suma parcial.
• Optimización: Para las SNN, el simulador omite multiplicaciones por ceros binarios y propaga pesos para unos binarios, evitando las operaciones MAC de alto consumo energético.
• Uso: El simulador permite la "co-exploración algoritmo-hardware", permitiendo a los autores perfilar submódulos, identificar cuellos de botella e iterar la optimización de la arquitectura E-SpeechMamba (resultando en E-SpeechMamba (Optimizado)).

Resultados Clave

Los experimentos se realizaron con el conjunto de datos LibriSpeech (aproximadamente 980 horas de datos de entrenamiento).

Rendimiento y Escasez (Tabla I)

• E-SpeechMamba: Logró una escasez de activación del 62% en el conjunto test-clean con un incremento de menos del 1% en la Tasa de Error de Palabra (WER) en comparación con la línea base densa (SpeechMamba).
• S-SpeechMamba: Logró la mayor escasez (72%) pero con un mayor aumento de WER (aprox. 2.4% en test-clean). Notablemente, utiliza 30% menos parámetros que las SNN comparables mientras ofrece un rendimiento competitivo.
• E-SpeechMamba (Optimizado): Logró un 64% de escasez con un WER similar al E-SpeechMamba base, pero con una mayor reducción de computación debido a puntos de escasez adicionales.

Eficiencia de Hardware (Tabla II)

Simulado en el núcleo RISC-V Ibex, los modelos mostraron mejoras significativas sobre una línea base de escasez ingenua:

• E-SpeechMamba (Optimizado): Redujo los ciclos de CPU en un 46.13%, las instrucciones en un 26.9%, los accesos a memoria en un 28.50% y la latencia en un 37.5%.
• S-SpeechMamba: A pesar de tener una mayor escasez de activación, mostró una menor reducción de ciclos de CPU (19.58%) en comparación con E-SpeechMamba.
• Perspectiva Clave: El S-SpeechMamba incurrió en una mayor sobrecarga de acceso a memoria (solo un 7.63% de mejora frente al 17.57% de E-SpeechMamba) debido al costo de mantener los estados de potencial de membrana en las neuronas LIF. Esto resalta que una alta escasez de activación no siempre se traduce en eficiencia de hardware si el ancho de banda de memoria es un cuello de botella.

Análisis de Submódulos

La simulación reveló que los "puntos calientes" (hotspots) en el bloque Mamba (específicamente el submódulo de Escaneo SSM y ciertas multiplicaciones de matrices) permanecieron densos y dominaron el tiempo de ejecución. El proceso de optimización iterativa, guiado por estos conocimientos de simulación, logró atacar con éxito estos cuellos de botella para obtener mayores ganancias de eficiencia.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer estudio que evalúa los beneficios reales de hardware de diferentes estrategias neuromórficas para ASR complejo. Sus principales contribuciones son:

1. Arquitecturas Novedosas: Introducción de variantes basadas en eventos y de espigas del modelo SpeechMamba que logran una alta escasez con una degradación mínima de la precisión.
2. Co-Exploración Consciente del Hardware: Demostración de que las métricas de escasez algorítmica por sí solas son insuficientes para predecir el rendimiento del hardware. Los autores muestran que los patrones de acceso a la memoria y los costos de mantenimiento de estado (en SNN) pueden erosionar las ganancias esperadas.
3. Marco de Simulación: Provisión de un simulador de eventos ciclo-preciso y flexible que permite la identificación de cuellos de botella computacionales y la optimización arquitectónica dirigida, una capacidad que carecen los simuladores analíticos o de grano grueso existentes.

El trabajo subraya la necesidad de un análisis consciente del hardware para validar los métodos neuromórficos bajo condiciones realistas y para guiar el diseño de algoritmos que puedan ser soportados eficientemente por el futuro hardware neuromórfico digital.