🤖 machine learning

End-to-End Keyword Spotting on FPGA Using Graph Neural Networks with a Neuromorphic Auditory Sensor

Este artículo presenta la primera implementación de extremo a extremo en FPGA de un sistema de detección de palabras clave que integra un Sensor Auditivo Neuromórfico con una Red Neuronal de Grafos, logrando un procesamiento en tiempo real y de bajo consumo de flujos de audio basados en eventos crudos con una precisión del 87,43 % y una latencia inferior a 35 microsegundos.

Autores originales: Wiktor Matykiewicz, Piotr Wzorek, Kamil Jeziorek, Tomás Muñoz, Antonio Rios-Navarro, Angel Jiménez-Fernández, Tomasz Kryjak

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wiktor Matykiewicz, Piotr Wzorek, Kamil Jeziorek, Tomás Muñoz, Antonio Rios-Navarro, Angel Jiménez-Fernández, Tomasz Kryjak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot diminuto, alimentado por batería, a entender cuándo alguien dice una palabra específica, como "Alto" o "Adelante". Por lo general, para lograr esto, el robot tiene que escuchar todo el sonido, grabarlo, cortarlo en trozos diminutos y luego analizar esos fragmentos. Este proceso es como intentar leer un libro entero solo para encontrar una oración específica: requiere mucho tiempo, energía y memoria.

Este artículo presenta una nueva forma, súper eficiente, de hacerlo utilizando un tipo especial de "oído de robot" y un "cerebro" construidos directamente en un solo chip de computadora (llamado FPGA).

Así es como lo hicieron, explicado con analogías sencillas:

1. El "Oído del Robot" (El Sensor Neuromórfico)

La mayoría de los micrófonos funcionan como un metrónomo: toman una "instantánea" del sonido 44.000 veces por segundo, ya sea que haya ruido o silencio. Esto genera una cantidad masiva de datos, incluso cuando no está ocurriendo nada interesante.

Los investigadores utilizaron un Sensor Auditivo Neuromórfico (NAS). Imagina este sensor no como una cámara que toma fotos, sino como un guardia de seguridad altamente sensible.

Cómo funciona: El guardia solo levanta la mano (envía una señal) cuando algo cambia en la habitación. Si la habitación está en silencio, el guardia permanece quieto. Si un pájaro canta, el guardia levanta la mano una vez.
El Resultado: En lugar de un flujo constante de datos, el sensor envía un flujo disperso y "basado en eventos". Es como enviar un mensaje de texto solo cuando ocurre algo importante, en lugar de enviar una transmisión de video en vivo de una habitación vacía. Esto ahorra una enorme cantidad de energía.

2. El "Filtro Inteligente" (Filtración)

Incluso con el sensor inteligente, a veces el "guardia" se excita un poco demasiado y levanta la mano demasiadas veces por el mismo sonido. Esto crea mucho ruido innecesario.

Los investigadores añadieron una etapa de Filtración. Imagina esto como un portero en un club.

El portero tiene una regla: "Si ya has levantado la mano recientemente, espera un momento antes de volver a levantarla".
Este portero elimina aproximadamente el 47% de las señales extra sin perder las importantes. De hecho, al eliminar el ruido, el robot entendió las palabras mejor que antes.

3. El "Cerebro" (Red Neuronal de Grafos)

Una vez que las señales están filtradas, necesitan ser comprendidas. Por lo general, las computadoras miran los sonidos en línea recta (como una línea de tiempo). Pero como estas señales están dispersas e irregulares, los investigadores utilizaron una Red Neuronal de Grafos (GNN).

Imagina una GNN no como una línea recta, sino como un mapa de red social.

Cada "evento" (el guardia levantando la mano) es una persona en la red.
El sistema observa quién está de pie junto a quién y cómo están conectados en el tiempo y el espacio.
En lugar de forzar los datos en una cuadrícula rígida, el sistema construye una red dinámica de conexiones para descubrir qué palabra se pronunció. Esto es mucho más flexible y eficiente para este tipo de datos.

4. El "Chip Todo-en-Uno" (Implementación en FPGA)

El mayor logro de este artículo es que no solo simuló esto en una computadora potente; construyeron el sistema completo en un solo chip pequeño (un FPGA).

La Analogía: Imagina construir el micrófono, el portero y el cerebro todos dentro de un solo ladrillo de Lego diminuto.
El Beneficio: Como todo está en un solo chip, los datos no tienen que viajar de ida y vuelta entre diferentes partes de una computadora. Se mantiene local. Esto hace que el sistema sea increíblemente rápido y de bajo consumo.

Los Resultados: Velocidad y Eficiencia

El equipo probó este sistema con una lista famosa de palabras (Google Speech Commands). Esto es lo que encontraron:

Precisión: Identificó correctamente las palabras aproximadamente el 87% de las veces, incluso después de simplificarse para ejecutarse en el chip pequeño.
Velocidad: Es relámpago rápido. Desde el momento en que un sonido golpea el sensor hasta el momento en que el chip toma una decisión, tarda menos de 35 microsegundos. Para ponerlo en perspectiva, un parpadeo humano tarda unos 300.000 microsegundos. El chip toma una decisión en el tiempo que tarda en comenzar un parpadeo.
Potencia: Utiliza muy poca electricidad (aproximadamente 1,12 Vatios), que es aproximadamente la potencia de una bombilla LED pequeña. Esto lo hace perfecto para robots alimentados por batería o dispositivos IoT.

Por Qué Esto Importa

El artículo afirma que esta es la primera vez que un sistema combina con éxito un sensor neuromórfico y una red neuronal de grafos en un solo chip para procesar audio crudo en tiempo real.

A diferencia de otros sistemas que requieren un preprocesamiento pesado (como convertir el sonido en imágenes complejas antes de analizarlos), este sistema maneja los "eventos" crudos directamente. Esto significa que evita el trabajo pesado, ahorrando tiempo y vida útil de la batería, lo que lo hace ideal para robótica móvil y dispositivos inteligentes que necesitan escuchar y reaccionar instantáneamente sin agotar sus baterías.

Resumen Técnico: Detección de Palabras Clave de Extremo a Extremo en FPGA Utilizando Redes Neuronales de Grafos con un Sensor Auditivo Neuromórfico

Enunciado del Problema
Los sistemas embebidos modernos, particularmente en robótica móvil e IoT, requieren un procesamiento eficiente de datos en el dispositivo que equilibre una alta precisión de predicción con un bajo consumo de energía y una latencia mínima. Las cadenas de procesamiento de audio convencionales dependen de muestreo a tasa fija y procesamiento digital de señales (DSP) computacionalmente intensivo, lo que a menudo genera datos redundantes y consume una potencia significativa. Si bien los sensores neuromórficos ofrecen una alternativa bioinspirada al generar datos dispersos y basados en eventos solo cuando ocurren cambios ambientales, integrar estos sensores con arquitecturas de procesamiento eficientes en un único dispositivo de borde sigue siendo un desafío. Trabajos anteriores a menudo dependían de flujos de eventos generados sintéticamente o separaban las unidades de sensor y procesamiento, sin demostrar un sistema completamente integrado, de extremo a extremo, capaz de procesar audio crudo directamente desde un sensor neuromórfico físico en una sola FPGA.

Metodología
Los autores proponen un sistema unificado de extremo a extremo implementado en un único Campo de Puertas Programables (FPGA) que integra un Sensor Auditivo Neuromórfico (NAS) con una Red Neuronal de Grafos (GNN). La arquitectura consta de tres etapas principales:

Detección Neuromórfica (NAS): El sistema utiliza un NAS completamente digital basado en FPGA que convierte audio analógico crudo (a través de una interfaz I2S) en un flujo disperso y asíncrono de Representación de Eventos de Dirección (AER). El sensor emplea principios de Procesamiento de Señales de Pulso (SSP), convirtiendo muestras de Modulación por Código de Pulso (PCM) en trenes de pulsos de alta frecuencia mediante Modulación por Frecuencia de Pulso (PFM). Los autores implementaron dos configuraciones topológicas:
- En Cascada: Encadena filtros paso bajo de pulsos, imitando la cóclea biológica pero introduciendo latencia acumulativa.
- Paralela: Alimenta el tren de pulsos de entrada en filtros paso banda de pulsos independientes, eliminando el retraso acumulativo y proporcionando una latencia uniforme en todos los canales.
  El sensor emite eventos como tuplas $(t, c, p)$ , representando marca de tiempo, canal de frecuencia y polaridad.
Filtrado de Eventos: Para abordar la alta tasa de eventos y la distribución desigual entre canales, se introduce una etapa de filtrado compatible con hardware. Este módulo imita un modelo de neurona de integración y disparo con fuga (LIF), manteniendo un potencial decaimiento para cada canal. Los eventos se aceptan solo cuando el potencial supera un umbral específico, reduciendo efectivamente la cantidad de eventos en aproximadamente un 47% mientras mejora la precisión de la predicción. Los parámetros de filtrado incluyen un factor de cuantización temporal, un peso para la integración del potencial y umbrales específicos por canal (probados en configuraciones constantes, lineales y exponenciales).
Generación de Grafos y Procesamiento con GNN: Los eventos filtrados se tratan como nodos en un grafo dinámico y dirigido en el tiempo. Se crean aristas entre un nuevo evento y eventos anteriores dentro de radios temporales ( $R_t$ ) y de canal ( $R_c$ ) definidos. El grafo es procesado por una arquitectura GNN basada en capas PointNetConv, seguida de una capa MaxPool que agrega características dentro de ventanas de 10 ms. La cabecera de la red consta de capas lineales y una unidad de memoria basada en GRU para emitir probabilidades de clase de palabra clave y puntuaciones de confianza. Para garantizar el rendimiento en tiempo real en hardware, los autores implementaron un mecanismo de programación de retroalimentación de presión (back-pressure) con amortiguación intermódulo, permitiendo la admisión dinámica de eventos basada en la carga de trabajo instantánea en lugar de ciclos de reloj fijos.

Contribuciones Clave
El artículo presenta cuatro contribuciones principales:

Lanzamiento de Conjunto de Datos: Los autores publicaron conjuntos de datos de audio basados en eventos grabados utilizando múltiples configuraciones NAS (32, 64 y 128 canales en ambos modos, cascada y paralelo) derivados del punto de referencia Google Speech Commands v2 (GSCv2).
Filtrado Consciente del Hardware: Se propone y analiza un nuevo método de filtrado de eventos que reduce la carga computacional casi a la mitad al tiempo que mejora simultáneamente la precisión de la predicción.
Optimización Arquitectónica: Estudios de ablación extensos condujeron a modificaciones específicas de la GNN, incluida la extracción de características optimizada y un mecanismo de programación dinámica, permitiendo la integración del sensor y la red en una sola FPGA sin violar las restricciones de latencia o rendimiento.
Primera Implementación de Extremo a Extremo: El trabajo presenta el primer sistema que integra un sensor auditivo neuromórfico físico y una GNN en un único dispositivo FPGA para la detección de palabras clave en tiempo real, operando directamente sobre flujos de audio crudo sin preprocesamiento convencional.

Resultados Experimentales
El sistema fue evaluado en el conjunto de datos Google Speech Commands v2 procesado a través del NAS físico.

Precisión: Después de la cuantización de 8 bits, el sistema logró una precisión del 87.43% en la configuración paralela de 32 canales y del 86.9% en la configuración paralela de 64 canales.
Latencia: El sistema demostró una latencia de extremo a extremo de 25–35 µs para la configuración de 32 canales y 25–42 µs para la configuración de 64 canales. Las predicciones se generan cada 10 ms.
Consumo de Energía: El consumo de energía promedio se midió en 1.12 W para la configuración de 32 canales y 1.16 W para la configuración de 64 canales.
Eficiencia de Recursos: En comparación con implementaciones anteriores de GNN en FPGAs SoC, el diseño propuesto redujo significativamente la utilización de recursos (LUTs, DSPs y BRAM), permitiendo que todo el sistema opere a una frecuencia de reloj de 200 MHz sin violaciones de temporización.
Comparación: El método propuesto superó a la mayoría de los enfoques anteriores de Redes Neuronales de Pulsos (SNN) y Modelos de Espacio de Estados (SSM) reportados en conjuntos de datos similares, logrando una mayor precisión con un menor número de parámetros (59.84k parámetros).

Significado y Afirmaciones
Los autores afirman que este trabajo representa un paso significativo hacia la inteligencia de borde eficiente al eliminar la necesidad de preprocesamiento de señales convencional y permitir el procesamiento directo de audio crudo en un único dispositivo. Al aprovechar la dispersión de los datos neuromórficos y la eficiencia del procesamiento basado en grafos, el sistema logra una alta resolución temporal (actualizaciones de predicción cada 10 ms) y baja latencia, que son críticas para la robótica móvil y las aplicaciones interactivas de IoT. El artículo enfatiza que, a diferencia de otros sistemas de detección de palabras clave basados en FPGA que dependen de características precalculadas o generan predicciones solo una vez por segundo, esta arquitectura procesa audio crudo continuamente y se adapta a las condiciones de carga de trabajo instantánea. Los autores señalan que, aunque otros trabajos reportan mayores precisiones en conjuntos de datos estándar, esos enfoques a menudo incurren en sobrecarga de preprocesamiento adicional y latencia, mientras que este sistema prioriza la eficiencia de extremo a extremo y la capacidad de respuesta en tiempo real. Se planea trabajo futuro para validar el enfoque en escenarios reales de interacción humano-máquina en robótica e investigar la implementación ASIC para una optimización adicional.