🤖 machine learning

Split CNN Inference on Networked Microcontrollers

Este artículo presenta un sistema de inferencia dividida de granularidad fina para microcontroladores en red que supera las limitaciones de memoria mediante la partición de modelos de CNN a nivel de núcleo y neurona en múltiples dispositivos, permitiendo la ejecución de modelos que de otro modo serían inviables mientras se mantiene una latencia práctica.

Autores originales: Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Publicado 2026-05-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un rompecabezas muy difícil de resolver, pero solo tienes un escritorio diminuto para trabajar. El rompecabezas es una "Red Neuronal Profunda" (un cerebro de IA complejo), y tu escritorio es un Microcontrolador (MCU): un chip de computadora pequeño y barato que se encuentra en todo, desde tostadoras hasta sensores inteligentes.

El problema es que el rompecabezas es demasiado grande para tu escritorio diminuto. Incluso si las piezas del rompecabezas (los "pesos" del modelo) caben en tu bolsillo, el acto de resolverlo requiere que extiendas una cantidad masiva de notas temporales (llamadas "activaciones intermedias") sobre el escritorio. Tu escritorio es demasiado pequeño; las notas se desbordan y la tarea falla.

Este artículo propone una solución ingeniosa: No intentes resolver todo el rompecabezas en un solo escritorio. En su lugar, consigue un equipo de amigos, cada uno con su propio escritorio diminuto, y resuélvelo juntos.

Así es como los autores hicieron que esto funcionara, explicado de forma sencilla:

1. La Vieja Forma vs. La Nueva Forma

La Vieja Forma (División Gruesa): Imagina intentar dividir el rompecabezas dando a un amigo la mitad superior y a otro amigo la mitad inferior. Pero incluso la "mitad superior" sigue siendo demasiado grande para un solo escritorio diminuto. Este enfoque falla porque las piezas siguen siendo demasiado grandes.
La Nueva Forma (División de Alta Granularidad): Los autores se dieron cuenta de que necesitaban cortar el rompecabezas en piezas mucho más pequeñas y de un bocado. En lugar de dividir por "capas" (secciones grandes), dividieron por neuronas individuales (los pequeños puntos dentro de la red).
- Analogía: Imagina un mural masivo. En lugar de darle a un artista toda una pared para pintar, le das solo un solo pulgada cuadrada de la pared. Le das a otro artista una pulgada cuadrada diferente. Juntos pintan todo el mural, pero ningún artista individual tiene que sostener toda la pintura a la vez.

2. El "Capitán del Equipo" (El Coordinador)

Dado que los amigos (MCU) están trabajando en fragmentos diminutos, necesitan un gerente para mantener las cosas organizadas.

El Coordinador: Este es un dispositivo central (como una PC o un chip dedicado) que actúa como el capitán del equipo.
Qué hace: No realiza el trabajo pesado. En su lugar, sostiene el mapa. Le dice al Amigo A: "Trabaja en estos píxeles específicos" y "Envía tu resultado al Amigo B". Enruta las notas temporales entre los amigos para que todos tengan exactamente lo que necesitan para hacer su pequeña parte del trabajo.

3. La "Asignación Inteligente" (Consciente de los Recursos)

No todos los amigos son iguales. Algunos tienen escritorios más rápidos (procesadores más rápidos), algunos tienen bolsillos más grandes (más memoria) y algunos son más lentos para pasar notas (red más lenta).

El Problema: Si le das la misma cantidad de trabajo a un amigo lento y a un amigo rápido, el amigo rápido se quedará simplemente esperando, desperdiciando tiempo.
La Solución: Los autores crearon un "Sistema de Calificación". Miden qué tan rápido y capaz es cada MCU.
- La Analogía: Piensa en una carrera de relevos. No le das la misma distancia a un velocista y a un caminante. Le das al velocista una etapa más larga de la carrera y al caminante una más corta, para que todos terminen aproximadamente al mismo tiempo. El sistema calcula automáticamente quién debe hacer cuánto trabajo para mantener al equipo moviéndose eficientemente.

4. Los Resultados

El equipo probó esto en una configuración real utilizando 8 pequeñas computadoras (MCU Teensy 4.1) y un modelo de IA popular llamado MobileNetV2.

El Resultado: Una sola computadora no podía ejecutar este modelo de IA en absoluto porque se quedó sin memoria. Pero cuando dividieron el trabajo entre 8 computadoras, el modelo se ejecutó con éxito.
La Compensación: El tiempo total para resolver el rompecabezas se volvió un poco más lento porque los amigos tuvieron que pasar tiempo intercambiando notas. Sin embargo, el uso de memoria en cada computadora individual disminuyó drásticamente, haciendo posible la tarea imposible.

Resumen

Este artículo muestra que al descomponer una tarea compleja de IA en piezas microscópicas y distribuirlas a través de una red de computadoras pequeñas y baratas, podemos ejecutar IA potente en dispositivos que son demasiado débiles para manejarla solos. Es como convertir a un solo elefante sobrecargado en un equipo de hormigas que puede llevar una migaja juntas.

Resumen Técnico: Inferencia de CNN Dividida en Microcontroladores en Red

Declaración del Problema

Desplegar modelos de Aprendizaje Profundo (DL) en Unidades de Microcontrolador (MCU) está severamente limitado por recursos de memoria restringidos, específicamente la Memoria de Acceso Aleatorio (RAM). Si bien las técnicas de TinyML como la cuantización, el recorte y la búsqueda de arquitecturas neuronales reducen eficazmente los parámetros del modelo y el cómputo, a menudo fallan en la práctica debido al uso pico de RAM durante la inferencia. Este uso pico está dominado por las activaciones intermedias y los búferes temporales, los cuales pueden exceder la RAM disponible de una sola MCU incluso cuando los pesos del modelo caben dentro de la memoria flash. En consecuencia, muchos modelos de Redes Neuronales Convolucionales (CNN) siguen siendo inviables para MCUs autónomas.

Las estrategias existentes de inferencia dividida, diseñadas para GPUs o escenarios de borde-nube, dependen de una partición de granos gruesos en los límites de las capas. Estos enfoques fallan en las MCUs porque incluso los mapas de características intermedios o los pesos del kernel de una sola capa pueden exceder la capacidad de memoria de un dispositivo individual. Además, una distribución ingenua a través de MCUs heterogéneas conduce a un desequilibrio de carga y a una sobrecarga de comunicación excesiva, degradando la latencia de extremo a extremo.

Metodología

Los autores proponen un sistema de inferencia dividida de grano fino que habilita la ejecución colaborativa de CNN a través de una red de MCUs. El sistema opera bajo una arquitectura coordinador-trabajador y emplea tres mecanismos centrales:

1. Particionamiento de Modelo de Grano Fino

A diferencia de la división tradicional por capas, este sistema particiona el cómputo a granularidad de subcapa:

Capas Convolucionales: El mapa de características de salida se divide en parches de grano fino. Los kernels convolucionales se asignan a trabajadores específicos basándose en las neuronas de salida que calculan. Esto permite que diferentes MCUs procesen diferentes subconjuntos de los canales de salida o regiones espaciales.
Capas Lineales: La matriz de pesos se particiona por columnas, donde cada columna corresponde a una neurona de salida. Se asignan columnas específicas a los trabajadores, habilitando el cálculo independiente de las neuronas de salida.
Reinterpretación del Modelo: Una pipeline de preprocesamiento reinterpreta modelos preentrenados para extraer explícitamente las dependencias a nivel de neurona, los campos receptivos y las dimensiones de los tensores. Estos metadatos se serializan y se utilizan para generar fragmentos de pesos y mapas de enrutamiento.

2. Asignación de Carga de Trabajo Consciente de Recursos

Para abordar la heterogeneidad del hardware (variaciones en la frecuencia del reloj, tamaño de memoria y ancho de banda de comunicación), el sistema asigna una calificación de capacidad ( $R_i$ ) a cada MCU. Esta calificación se deriva de un modelo de tiempo de ejecución que tiene en cuenta:

Tiempo de cómputo (basado en la frecuencia del reloj y la carga de trabajo).
Tiempo de comunicación (basado en el volumen de datos, el ancho de banda y la latencia).

Las cargas de trabajo se asignan proporcionalmente a estas calificaciones. El sistema incluye un mecanismo de ajuste iterativo para manejar restricciones de almacenamiento estrictas: si un fragmento de peso asignado a un trabajador excede su capacidad de flash, la calificación desbordada se redistribuye a otros trabajadores con espacio disponible.

3. Mapeo de Activaciones entre Capas y Ejecución

Un coordinador orquesta el flujo de inferencia:

Mapeo: El sistema construye un Mapeo de Asignación (qué trabajador calcula qué neuronas de salida) y un Mapeo de Enrutamiento de Activaciones (qué trabajador debe enviar qué activaciones de entrada a qué trabajador aguas abajo).
Ejecución: La inferencia procede capa por capa. El coordinador transmite las activaciones de entrada requeridas a los trabajadores basándose en el mapa de enrutamiento. Los trabajadores calculan sus neuronas asignadas utilizando fragmentos de pesos locales y devuelven resultados parciales. El coordinador agrega estos resultados para formar la entrada de la siguiente capa.
Optimizaciones: El sistema emplea fusión de capas (combinando Conv-BN-ReLU), cuantización (de punto flotante de 32 bits a entero de 8 bits) y comunicación asíncrona para superponer el cómputo y la transferencia de datos, minimizando el tiempo de inactividad.

Contribuciones Clave

Inferencia Dividida de Grano Fino: Un enfoque novedoso que particiona los modelos CNN a nivel de subcapa (neurona/kernel), habilitando la ejecución de modelos que no caben en una sola MCU mediante la distribución tanto de parámetros como de activaciones intermedias.
Coordinación Consciente de Recursos: Un mecanismo de asignación de carga de trabajo basado en calificaciones que equilibra dinámicamente las cargas de cómputo y comunicación a través de MCUs heterogéneas, previniendo cuellos de botella causados por dispositivos más lentos o enlaces de alta latencia.
Implementación del Sistema y Evaluación: Una implementación práctica en un banco de pruebas real de hasta 8 MCUs Teensy 4.1 ejecutando MobileNetV2, demostrando viabilidad y escalabilidad.

Resultados Experimentales

El sistema fue evaluado utilizando MobileNetV2 en un banco de pruebas de 8 MCUs Teensy 4.1 (600 MHz, 1 MB de RAM) y un simulador que escala hasta 120 MCUs.

Viabilidad: El sistema ejecutó con éxito MobileNetV2, un modelo que provoca fallos de falta de memoria en una sola MCU. El uso pico de RAM por MCU se redujo para ajustarse dentro del presupuesto de 1 MB.
Latencia y Eficiencia:
- Heterogeneidad: En escenarios heterogéneos (frecuencias y retrasos de comunicación variables), la asignación basada en calificaciones superó significativamente a la división uniforme y a la división basada solo en frecuencia. Por ejemplo, en un caso heterogéneo específico, el esquema optimizado redujo la latencia total en un 18.9% en comparación con una línea base.
- Escalabilidad: A medida que aumentaba el número de MCUs de 3 a 8, el tiempo de cómputo disminuyó monótonamente, mientras que el tiempo de comunicación aumentó. El tiempo total de inferencia mostró una compensación donde la sobrecarga de comunicación eventualmente se convirtió en el costo dominante.
- Escalabilidad de Memoria: Los resultados de la simulación mostraron que el uso de memoria pico por MCU disminuye significativamente a medida que se agregan más dispositivos, con las ganancias más sustanciales ocurriendo dentro de los primeros 10–20 dispositivos. Más allá de este punto, se observan rendimientos decrecientes.

Significado y Afirmaciones

El artículo afirma que la inferencia dividida de grano fino es una alternativa viable a la compresión agresiva de modelos para desplegar aprendizaje profundo en MCUs con recursos limitados. Al cambiar el paradigma de ejecución de un solo nodo potente a una red colaborativa de MCUs económicas, el sistema supera el cuello de botella de RAM pico que actualmente limita a TinyML.

Los autores enfatizan que su enfoque no requiere sistemas operativos pesados y opera en metal desnudo o entornos de ejecución ligeros. Concluyen que, si bien la sobrecarga de comunicación es un factor limitante para implementaciones a gran escala, el sistema propuesto habilita con éxito la inferencia de CNN complejas en redes de MCUs que de otro modo serían inviables, proporcionando una base para trabajos futuros en comunicación eficiente y clases de modelos más amplias.