🤖 machine learning

NeuroEdge: Real-Time Hand Gesture Recognition with High-Density EMG Using Deep Learning at the Edge

Este artículo presenta NeuroEdge, un sistema en tiempo real basado en microcontrolador que integra una interfaz de transmisión HD-EMG inalámbrica personalizada con un motor de inferencia CNN 1D ligero para lograr una precisión de reconocimiento de gestos del 90% y una latencia de 83 ms en dispositivos de borde con recursos limitados.

Autores originales: Peter Chudinov, Zhenyu Lin, Jay Motamarry, Srihita Panati, Xiaorong Zhang, Zhuwei Qin

Publicado 2026-05-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Peter Chudinov, Zhenyu Lin, Jay Motamarry, Srihita Panati, Xiaorong Zhang, Zhuwei Qin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tus músculos son como una orquesta masiva, donde cada fibra muscular es un instrumento tocando una nota única. Por lo general, cuando intentamos leer esta música para controlar una mano robótica o una computadora, solo escuchamos a unos pocos instrumentos (unos pocos cables en la piel). Pero este artículo, NeuroEdge, decide escuchar a toda la orquesta a la vez utilizando 192 micrófonos diminutos (electrodos) colocados en el antebrazo. Esto se llama EMG de Alta Densidad.

El gran desafío que enfrentaron los autores es que escuchar a 192 instrumentos a la vez genera una enorme cantidad de datos. Normalmente, necesitarías una supercomputadora (como una laptop pesada o un servidor potente) para averiguar qué está tocando la orquesta. Pero el objetivo aquí era lograr que un dispositivo diminuto, alimentado por batería (como un chip de reloj inteligente), hiciera todo el pensamiento instantáneamente.

Así es como construyeron NeuroEdge, explicado a través de una historia simple:

1. El "Cartero Inalámbrico" (El StreamBridge)

Piensa en los sensores musculares como una oficina de correos muy ocupada enviando 192 cartas cada segundo. El dispositivo que lee los músculos (el amplificador Quattrocento) suele estar atado a una computadora mediante un cable largo.

La Innovación: El equipo construyó un "Cartero Inalámbrico" personalizado llamado HD-EMG StreamBridge. Es como un cartero especializado que toma todas esas cartas de los sensores musculares y las lleva volando instantáneamente por Wi-Fi a un microcontrolador pequeño (un chip ESP32).
El Truco: Para mantener las cosas rápidas, este cartero no espera a que las cartas se clasifiquen una por una. Utiliza una técnica de "Acceso Directo a Memoria" (DMA), que es como una cinta transportadora que mueve el correo directamente a un contenedor de espera sin que el procesador principal tenga que levantar un dedo. Esto mantiene la línea moviéndose sin problemas.

2. El "Cerebro Diminuto" (El Motor de Inferencia EdgeDL)

Una vez que el correo llega al ESP32, necesita ser entregado al "cerebro" que decidirá qué gesto está ocurriendo.

El Cerebro: Este es un microcontrolador Sony Spresense. Es un chip muy pequeño y de bajo consumo, no una computadora gigante.
El Trabajo: El cerebro utiliza una CNN 1D (un tipo de modelo de Aprendizaje Profundo). Imagina este modelo como un bibliotecario muy eficiente y especializado. En lugar de leer cada carta individual en la pila, mira una "ventana deslizante" de 20 instantáneas de la actividad muscular a la vez.
La Analogía: Piensa en los datos musculares como una tira larga de película. El bibliotecario desliza un pequeño marco sobre la película, mira la imagen dentro de ese marco y grita instantáneamente: "¡Eso es un puño!" o "¡Eso es una mano abierta!".
La Velocidad: Como el bibliotecario es tan eficiente, no necesita detener la película para pensar. La recolección de datos, la entrega y el pensamiento ocurren todos al mismo tiempo (en una tubería), como una línea de montaje donde un trabajador toma el correo mientras el siguiente lo clasifica.

3. Los Resultados: ¿Puede funcionar realmente?

El equipo probó este sistema con un voluntario humano realizando siete movimientos de mano diferentes (como hacer un puño, abrir la mano, torcer la muñeca o no hacer nada).

La Puntuación: El cerebro diminuto dio la respuesta correcta el 90% de las veces en tiempo real.
La Velocidad: Desde el momento en que el músculo se movió hasta el momento en que el sistema adivinó el gesto, solo tomó 83 milisegundos. Eso es más rápido que el parpadeo de un ojo.
El Hardware: Todo el "cerebro" (el modelo de software) es increíblemente pequeño, con un tamaño de solo 15 KB. Es tan pequeño que podría caber en una etiqueta diminuta, y sin embargo maneja datos de 192 canales.

¿Por qué es esto un gran logro?

Antes de esto, si querías usar aprendizaje profundo (IA) para leer señales musculares, normalmente necesitabas una computadora pesada y que consume mucha energía, o un chip especializado que cuesta mucho dinero.
NeuroEdge demuestra que puedes tomar una señal compleja y de alta resolución (toda la orquesta) y ejecutar una decisión inteligente de IA completamente en un microcontrolador diminuto, barato y alimentado por batería. Cierra la brecha entre "recolectar datos de alta calidad" y "tomar decisiones inteligentes sobre la marcha" sin necesidad de un servidor en la nube ni de una laptop.

En resumen, construyeron un sistema donde un chip diminuto puede escuchar a 192 sensores musculares, entender qué gesto de mano se está haciendo y reaccionar instantáneamente, todo mientras funciona con una fracción de la potencia de un teléfono inteligente estándar.

Resumen Técnico: NeuroEdge

Enunciado del Problema

La electromiografía de alta densidad (HD-EMG) ofrece una modalidad potente para decodificar la actividad neuromuscular de alta resolución, permitiendo interfaces neurales-máquina (NMIs) en tiempo real para control de prótesis, rehabilitación e interacción aumentada. Aunque los modelos de aprendizaje profundo, en particular las Redes Neuronales Convolucionales (CNN), han demostrado alta precisión en el reconocimiento de gestos basado en EMG, su despliegue en hardware embebido con recursos limitados sigue siendo un desafío significativo. Las soluciones existentes a menudo dependen de plataformas que consumen mucha energía, como GPUs, TPUs o FPGAs (por ejemplo, NVIDIA Jetson Nano, Coral TPU), lo que limita la portabilidad y la idoneidad para aplicaciones en tiempo real de bajo costo y bajo consumo. Además, los intentos anteriores de optimizar modelos para microcontroladores (por ejemplo, utilizando cuantización en Sony Spresense) se han centrado principalmente en la compresión de modelos sin abordar la integración de la adquisición de datos HD-EMG en tiempo real ni la sincronización del sistema de extremo a extremo.

Metodología

El artículo presenta NeuroEdge, un sistema NMI en tiempo real diseñado para realizar el reconocimiento de gestos completamente en microcontroladores con recursos limitados. La arquitectura del sistema integra tres componentes principales:

HD-EMG StreamBridge: Una interfaz de comunicación inalámbrica personalizada diseñada para cerrar la brecha entre el amplificador HD-EMG Quattrocento y el hardware embebido.
- Utiliza una conexión TCP basada en Wi-Fi donde el Quattrocento actúa como servidor y un microcontrolador ESP32 actúa como cliente.
- El sistema emplea una interfaz basada en C (HD-EMG StreamBridge-C) para enviar secuencias de comandos de 40 bytes para iniciar la adquisición de datos, manejando la sincronización descartando las muestras iniciales y gestionando un flujo de datos de 192 canales.
- Los datos se almacenan en la memoria integrada del ESP32 utilizando Acceso Directo a Memoria (DMA) para garantizar un almacenamiento eficiente y no bloqueante de ventanas deslizantes (20 muestras × 192 canales).
Motor de Inferencia EdgeDL: Un marco de aprendizaje profundo ligero que se ejecuta en un microcontrolador Sony Spresense (ARM Cortex-M4F).
- Pipeline de Datos: El ESP32 transfiere los cuadros de HD-EMG almacenados en búfer al Spresense mediante comunicación por ráfaga de Interfaz Periférica Serial (SPI) de alta velocidad. El Spresense actúa como controlador SPI.
- Arquitectura del Modelo: El sistema emplea una CNN 1D compacta adaptada del modelo de reconocimiento de voz M5. La entrada es un vector de características aplanado de $1 \times 3840$ (derivado de una matriz $20 \times 192$ de muestras de EMG).
- Estructura de la Red: La CNN consta de tres capas convolucionales (16, 16 y 32 filtros respectivamente) seguidas de un máximo de agrupamiento (max pooling) y una capa de agrupamiento promedio global, concluyendo con una capa totalmente conectada para la clasificación de 7 clases. El diseño omite capas densas para minimizar la huella de memoria.
- Despliegue: El modelo fue entrenado en PyTorch, exportado a ONNX, convertido a TensorFlow Lite y compilado en un archivo de encabezado C para el microcontrolador. Una arena de tensores dedicada gestiona la reutilización de memoria.
Sincronización del Sistema: La arquitectura utiliza un enfoque en tubería (pipelined) donde la adquisición de datos (ESP32), la transferencia SPI y la inferencia (Spresense) ocurren concurrentemente. Esto asegura un rendimiento de baja latencia al superponer tareas de comunicación y computación.

Contribuciones Clave

Primera Inferencia de HD-EMG a Escala Completa en Microcontroladores: Según el conocimiento de los autores, NeuroEdge es el primer sistema que demuestra inferencia de aprendizaje profundo HD-EMG a escala completa (192 canales) en hardware de microcontrolador con capacidades en tiempo real, eliminando la necesidad de recursos de computación externos como GPUs.
Interfaz Inalámbrica Personalizada: El desarrollo del HD-EMG StreamBridge, que permite el streaming inalámbrico de alto rendimiento de datos HD-EMG crudos desde un sistema comercial Quattrocento a un ESP32, superando la falta de compatibilidad nativa con microcontroladores en el software de adquisición de EMG existente.
Integración Embebida de Extremo a Extremo: El artículo demuestra un pipeline completo desde la adquisición de señales crudas hasta la inferencia de aprendizaje profundo en dispositivos de borde, utilizando DMA y comunicación por ráfaga SPI para sincronizar el flujo de datos y minimizar la latencia.

Resultados Experimentales

El sistema fue evaluado utilizando datos de un sujeto sin discapacidad que realizaba siete gestos de mano/muñeca (sin movimiento, supinación de muñeca, pronación de muñeca, cierre de mano, apertura de mano, flexión de muñeca, extensión de muñeca) utilizando 192 canales a una tasa de muestreo de 512 Hz.

Rendimiento Offline: El modelo alcanzó una precisión de clasificación de validación del 95.33% después de 25 épocas de entrenamiento. El modelo desplegado final es un archivo de encabezado C de entero de 8 bits con un tamaño de aproximadamente 15.24 KB.
Rendimiento en Tiempo Real:
- Precisión: El sistema alcanzó una precisión de clasificación en tiempo real del 90.00% en las siete clases de gestos.
- Latencia: La latencia total promedio fue de 83 ms, compuesta por una latencia de inferencia promedio de 70 ms y una latencia de comunicación SPI de 13 ms.
- Análisis de Errores: La mayoría de las clasificaciones erróneas ocurrieron durante las transiciones de gestos, una limitación atribuida a que los datos de entrenamiento consistían únicamente en muestras de gestos estáticos.

Significado y Afirmaciones

El artículo afirma que NeuroEdge cierra con éxito la brecha entre la adquisición de señales biosignificativas de alta resolución y la inferencia embebida basada en aprendizaje profundo. Al demostrar que el reconocimiento complejo de gestos HD-EMG puede realizarse en dispositivos de borde de bajo consumo basados en microcontroladores, el trabajo establece la viabilidad de las NMIs de próxima generación para aplicaciones portátiles y biomédicas. Los autores afirman que este enfoque elimina la dependencia de hardware externo que consume mucha energía, allanando el camino para interfaces neuronales portátiles y en tiempo real. El trabajo es modesto en su alcance actual, señalando que las iteraciones futuras requerirán validación con múltiples sujetos y la inclusión de datos de transición para mejorar la robustez.