Optimizing Split Learning Latency in TinyML-Based IoT Systems

Este artículo presenta el primer benchmark experimental de latencia de Aprendizaje Dividido basado en TinyML en placas ESP32-S3, demostrando que un algoritmo propuesto basado en Búsqueda por Haz que utiliza el protocolo ESP-NOW minimiza eficazmente la latencia de inferencia de extremo a extremo al optimizar los puntos de división en diversos modelos y protocolos de comunicación.

Lo esencial

Imagina que tienes un robot muy inteligente pero diminuto (como una cámara inteligente en un timbre) que necesita resolver un rompecabezas complejo, como reconocer un rostro. El problema es que este robot es pequeño, tiene una batería diminuta y un cerebro débil. Si le pides que resuelva todo el rompecabezas solo, le tomará una eternidad, o podría quedarse sin batería antes de terminar.

Este artículo explora un ingenioso truco llamado Aprendizaje Dividido. En lugar de pedirle al robot diminuto que haga todo, divides el trabajo a la mitad. El robot realiza la primera parte, fácil, del rompecabezas, luego grita las "pistas" que encontró a un robot más grande y fuerte cercano (como un altavoz inteligente o un servidor local). El robot más grande termina la parte difícil del rompecabezas y grita la respuesta de vuelta.

Los autores de este artículo querían averiguar la forma más rápida de hacer este juego de gritar y escuchar utilizando hardware real de bajo consumo (específicamente placas ESP32-S3, que son microcontroladores de código abierto y económicos).

Aquí tienes un desglose de sus hallazgos usando analogías simples:

1. El problema del "grito": Elegir el protocolo correcto

Cuando el robot diminuto envía sus pistas al robot grande, debe elegir un "idioma" o un "método de entrega" para enviar los datos. Los investigadores probaron cuatro métodos diferentes, como elegir entre diferentes tipos de servicios de correo:

• UDP: Como enviar una postal. Es muy rápido porque no esperas un acuse de recibo, pero si la tarjeta se pierde, no lo sabes.
• TCP: Como enviar una carta certificada. Es muy confiable (recibes un acuse de recibo), pero toma más tiempo debido a toda la "papeleo" de "apretón de manos" antes de que se envíe la carta.
• BLE (Bluetooth): Como un walkie-talkie lento y charlatán. Se conecta bien pero toma mucho tiempo configurar la conversación y envía datos en trozos muy pequeños y fragmentados.
• ESP-NOW: Como un walkie-talkie especializado de alta velocidad que no necesita establecer una conexión formal primero. Simplemente lanza el mensaje.

El ganador: Sorprendentemente, ESP-NOW fue el más rápido en general. Aunque tiene un límite pequeño de "sobre" (no puede llevar grandes trozos de datos a la vez), ahorra tanto tiempo al omitir la configuración formal de la conexión que superó a los demás. Completó el viaje de ida y vuelta (enviar pistas y obtener una respuesta de vuelta) en aproximadamente 3.6 segundos, mientras que Bluetooth tardó más de 10 segundos.

2. El problema del "corte": ¿Dónde dividir el trabajo?

Los investigadores también tuvieron que decidir exactamente dónde cortar el rompecabezas.

• Cortar demasiado pronto: El robot diminuto hace casi nada, pero tiene que enviar una enorme pila de pistas al robot grande. Esto satura la red.
• Cortar demasiado tarde: El robot diminuto hace casi todo, lo cual toma demasiado tiempo para su cerebro débil.

Probaron diferentes "puntos de corte" en dos modelos de IA populares (MobileNet-V2 y ResNet50). Descubrieron que el mejor lugar para cortar depende del modelo y de la red, pero en general, querían encontrar la zona "Ricitos de Oro" donde el robot diminuto haga justo el trabajo suficiente sin abrumar la red.

3. El "Planificador Inteligente": Búsqueda en Haz

Encontrar el punto de corte perfecto es como intentar encontrar la mejor ruta a través de un laberinto.

• Fuerza bruta: Probar cada ruta posible. Esto garantiza la mejor ruta, pero toma una eternidad (días) calcularla.
• Búsqueda voraz: Tomar el primer camino que parece bueno. Es rápido, pero podrías quedarte atrapado en un callejón sin salida más adelante.
• Búsqueda en Haz (El ganador): Imagina que estás explorando el laberinto, pero en lugar de revisar cada camino, solo mantienes un registro de los 3 caminos más prometedores en cualquier momento dado. Si un camino parece malo, lo descartas. Si un camino parece bueno, lo mantienes y exploras más a fondo.

Los investigadores crearon un algoritmo utilizando este método de Búsqueda en Haz.

• El resultado: Encontró una ruta casi perfecta casi instantáneamente (en aproximadamente 0.1 segundos para un grupo de 5 dispositivos).
• Por qué importa: Es lo suficientemente rápido para ser utilizado en sistemas en tiempo real, a diferencia del método de "Fuerza bruta" que tardaría horas o días en calcular lo mismo.

Resumen de la "receta"

El artículo concluye con una receta simple para hacer que estos dispositivos IoT diminutos trabajen juntos de manera eficiente:

1. Usa ESP-NOW para la comunicación porque omite los aburridos pasos de configuración y es el más rápido para viajes de ida y vuelta.
2. Usa el algoritmo de Búsqueda en Haz para decidir automáticamente dónde dividir el modelo de IA. Esto asegura que el robot diminuto y el robot grande compartan el trabajo de la manera más eficiente en tiempo posible.

Al combinar el "método de grito" correcto (ESP-NOW) con un "planificador" inteligente (Búsqueda en Haz), lograron que estos dispositivos diminutos de bajo consumo resolvieran rompecabezas complejos de IA mucho más rápido que antes, sin necesidad de actualizar el hardware.

Resumen técnico

Resumen Técnico: Optimización de la Latencia en el Aprendizaje Dividido en Sistemas IoT Basados en TinyML

Declaración del Problema

La rápida evolución de la Inteligencia Artificial enfrenta un cuello de botella significativo al desplegar la inferencia de aprendizaje profundo (DL) en dispositivos de borde e IoT de ultra bajo consumo y recursos limitados. Aunque TinyML ofrece una solución mediante modelos ligeros, muchas aplicaciones aún superan las capacidades de memoria y procesamiento de los microcontroladores individuales. El Aprendizaje Dividido (SL) aborda esto dividiendo un modelo entre dispositivos, ejecutando las primeras capas en el sensor y descargando el resto a un dispositivo compañero. Sin embargo, el rendimiento de SL en este contexto sigue siendo poco explorado. Específicamente, existe una falta de evidencia empírica sobre:

1. La latencia de inferencia de extremo a extremo de SL en hardware restringido bajo protocolos inalámbricos de bajo consumo realistas.
2. El impacto de diferentes protocolos de comunicación inalámbrica (WiFi, ESP-NOW, BLE) en la latencia dividida, incluyendo la configuración de la red, la transmisión de activaciones intermedias y la retroalimentación de predicciones.
3. La selección óptima de "puntos de división" (donde se divide el modelo) para minimizar la latencia total, considerando tanto los sobrecostos de computación como los de comunicación.

Estudios existentes se han centrado principalmente en teléfonos inteligentes o computadoras de placa única, a menudo asumiendo condiciones de transmisión ideales o utilizando métodos heurísticos de selección de división que no tienen en cuenta sobrecostos específicos del protocolo como la pérdida de paquetes o los acuses de conexión.

Metodología

Los autores proponen un marco experimental y un algoritmo de optimización para abordar estas brechas.

1. Banco de Pruebas Experimental

• Hardware: El sistema utiliza placas ESP32-S3-WROOM-1 (240 MHz, 16 MB Flash) como nodos IoT y una PC de escritorio (Intel Core i9-14900) como servidor de borde.
• Modelos: Se utilizaron dos Redes Neuronales Convolucionales (CNN): MobileNet-V2 (ligera) y ResNet50 (más grande).
• Marco de trabajo: Los modelos se prepararon, dividieron y cuantizaron utilizando TensorFlow Lite (TFLite) en el servidor de borde. El firmware se desplegó en dispositivos IoT mediante actualizaciones Over-the-Air (OTA).
• Comparación de Protocolos: Se evaluaron cuatro protocolos de comunicación inalámbrica para la transmisión de activaciones intermedias:
  • UDP (sobre WiFi)
  • TCP (sobre WiFi)
  • ESP-NOW (bajo consumo, punto a punto)
  • BLE (Bluetooth Low Energy)
• Medición: La latencia se midió utilizando temporizadores de alta resolución en el ESP32-S3, capturando componentes de Tiempo de Ida y Vuelta (RTT) que incluyen configuración del protocolo, carga del modelo, asignación de tensores, inferencia, almacenamiento en búfer, transmisión y retroalimentación.

2. Marco de Optimización

El artículo formula la selección del punto de división como un problema de optimización para minimizar la latencia total de inferencia ($T_{inference}$), definida como la suma de la latencia de procesamiento local del dispositivo ($T_d$) y la latencia de transmisión ($T_{tr}$).

• Modelo de Transmisión: La latencia de transmisión tiene en cuenta el tamaño del paquete, los límites de la Unidad Máxima de Transmisión (MTU), el retraso de propagación y la probabilidad de pérdida de paquetes.
• Algoritmos de Búsqueda: Para resolver el problema de optimización (encontrar el conjunto óptimo de puntos de división $s^*$), los autores comparan cuatro estrategias:
  1. Fuerza Bruta: Búsqueda exhaustiva (computacionalmente inviable para grandes $L$).
  2. Random-Fit: Selección aleatoria de puntos de división.
  3. First-Fit: Selecciona el primer punto de división que satisface un umbral de latencia.
  4. Búsqueda Codiciosa (Greedy): Selecciona secuencialmente puntos de división para minimizar el costo inmediato del segmento.
  5. Búsqueda por Haz (Beam Search): Un enfoque novedoso para este contexto que expande solo las $B$ mejores soluciones parciales más prometedoras en cada paso, equilibrando la precisión de la búsqueda con la eficiencia computacional.

Resultados Clave

Rendimiento de Protocolos

• ESP-NOW: Logró el mejor Tiempo de Ida y Vuelta (RTT) general de 3.6 segundos en la configuración de dos dispositivos. A pesar de un límite de paquete más pequeño (250 bytes) en comparación con UDP/TCP, su falta de sobrecosto de acuse de conexión y su mecanismo eficiente de difusión en la capa MAC resultaron en la latencia total más baja.
• UDP: Proporcionó la latencia de transmisión en bruto más baja (por ejemplo, 1.4 ms para cargas útiles pequeñas) debido a una gran MTU (1472 bytes) y la falta de sobrecosto de acuse. Sin embargo, los tiempos de configuración del protocolo fueron significativos (>2 segundos).
• TCP: Sufrió de alta latencia debido a la configuración de conexión y sobrecostos de retransmisión, particularmente al manejar tensores grandes de activación intermedia (por ejemplo, >100 paquetes), lo que provocó bloqueos en el búfer del ESP32.
• BLE: Resultó en la latencia más alta (10.4 s RTT) debido a una fragmentación excesiva (MTU de 512 bytes) y altos retrasos de configuración/retroalimentación.

Optimización del Punto de División

• Eficiencia del Algoritmo: El algoritmo de Búsqueda por Haz (Beam Search) demostró un rendimiento de latencia casi óptimo comparable a la Fuerza Bruta, pero con un tiempo de procesamiento drásticamente reducido. Para un escenario con 5 dispositivos, la Búsqueda por Haz requirió solo 0.1 segundos de tiempo de procesamiento, mientras que la Fuerza Bruta tomaría exponencialmente más tiempo (proyectado ~7857 segundos para 6 dispositivos).
• Reducción de Latencia: La Búsqueda por Haz redujo la latencia en más de un 600% en comparación con Random-Fit para 6 dispositivos.
• Especificidades del Modelo:
  • Para MobileNet-V2, la Búsqueda por Haz logró consistentemente la latencia más baja a través de diferentes conteos de dispositivos.
  • Para ResNet50, aunque la Búsqueda por Haz permaneció como la más eficiente, se observaron fluctuaciones de latencia en conteos de dispositivos más altos debido a que algunos nodos carecían de la capacidad para ejecutar segmentos específicos del modelo.

Hallazgos Específicos sobre Puntos de División

La evaluación manual identificó la capa block_16_project_BN en MobileNet-V2 como un punto de división altamente efectivo al usar ESP-NOW, equilibrando efectivamente la carga computacional y el tamaño de transmisión de datos.

Significado y Afirmaciones

El artículo afirma proporcionar el primer punto de referencia experimental de latencia de Aprendizaje Dividido basado en TinyML en placas ESP32-S3 de bajo consumo. Sus contribuciones principales son:

1. Evidencia Empírica: Llena una brecha en la literatura proporcionando mediciones del mundo real de la latencia de SL a través de diferentes protocolos inalámbricos, yendo más allá de simulaciones teóricas o estudios basados en teléfonos inteligentes.
2. Selección de Protocolo: Establece que, aunque UDP ofrece baja latencia de transmisión, ESP-NOW es el protocolo superior para el RTT de SL de extremo a extremo en entornos IoT restringidos debido a su sobrecosto de configuración insignificante.
3. Algoritmo de Optimización: Introduce y valida un algoritmo basado en Búsqueda por Haz para la selección automática de puntos de división. Los autores afirman que este método ofrece una solución práctica y escalable para despliegues en tiempo real, proporcionando latencia casi óptima con un costo computacional mínimo, a diferencia de los métodos de búsqueda exhaustiva.
4. Reproducibilidad: El código fuente y la configuración experimental se ponen a disposición del público para servir como una base reproducible para futuras investigaciones en TinyML y Aprendizaje Dividido.

Los autores concluyen que, si bien su trabajo actual se centra en puntos de división estáticos y protocolos fijos, el trabajo futuro apunta a desarrollar un marco dinámico que adapte los puntos de división, los tamaños de fragmento y los protocolos en tiempo real basándose en las condiciones de la red y los recursos del dispositivo.