Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment

Resumen Técnico: Inferencia Adaptativa Distribuida de Transformadores Impulsada por Perfilado en Despliegue en el Borde Embebido

Enunciado del Problema
El despliegue de modelos Transformer en dispositivos de borde embebido, como el NVIDIA Jetson Orin Nano, está limitado por recursos de memoria y computación restringidos. Si bien distribuir la inferencia entre múltiples dispositivos ofrece una solución potencial, investigaciones anteriores basadas en simulaciones han fallado al no tener en cuenta los cuellos de botella específicos del hardware inherentes a las arquitecturas de Sistema en Chip (SoC) embebidas. Específicamente, la falta de vías PCIe o NVLink en las GPUs integradas impide el uso de backends eficientes de comunicación GPU a GPU como NCCL. En consecuencia, la inferencia distribuida debe depender del backend GLOO, lo que obliga a que todos los datos entre dispositivos se gestionen a través de la memoria de la CPU anfitriona. Este artículo identifica que esta sobrecarga de gestión CPU–GPU, y no el ancho de banda de la red, es el cuello de botella dominante. Para modelos de tamaño medio (por ejemplo, ViT) que operan con tamaños de lote pequeños, el costo fijo de gestionar y sincronizar tensores intermedios completos hace que los enfoques distribuidos estándar (como "Voltage") sean más lentos y menos eficientes energéticamente que la inferencia en un solo dispositivo.

Metodología
Los autores presentan un estudio de prototipo de hardware utilizando dos dispositivos NVIDIA Jetson Orin Nano conectados mediante WiFi 6E. El estudio evalúa un sistema llamado Prism, que emplea compresión de Medias de Segmentos (SM) para reducir el volumen de comunicación.

• Comunicación de Medias de Segmentos: En lugar de intercambiar vectores de características intermedios completos (como en la partición por posición), los dispositivos intercambian promedios columnares de segmentos de tokens no superpuestos. Esto reduce el volumen de comunicación en un factor controlado por la Tasa de Compresión (CR).
• Adaptación Impulsada por Perfilado: Reconociendo que el modo de ejecución óptimo (local frente a distribuido) depende de factores dinámicos como el tamaño del lote, el ancho de banda de la red y la tasa de compresión, los autores proponen una política adaptativa. Esto implica una fase de perfilado fuera de línea donde el sistema recorre varias configuraciones (tamaños de lote de 1 a 32, valores de CR y anchos de banda de red de 200 a 900 Mbps) para construir un mapa de rendimiento.
• Decisión en Tiempo de Ejecución: En tiempo de ejecución, el dispositivo terminal consulta este mapa para seleccionar el modo de ejecución (un solo dispositivo o distribuido con la CR óptima) que minimice la latencia o el consumo energético para las condiciones actuales de la carga de trabajo.

Contribuciones Clave

1. Prototipo de Hardware y Caracterización: Los autores desarrollaron un prototipo funcional instrumentado para el desglose de latencia y la medición de energía por muestra. Cuantificaron la sobrecarga de gestión CPU–GPU impuesta por el backend GLOO, demostrando que los métodos de intercambio de tensores completos son contraproducentes en el hardware Jetson en todos los tamaños de lote probados.
2. Política de Inferencia Adaptativa: Introdujeron una política ligera impulsada por perfilado que cambia dinámicamente entre la ejecución local y distribuida. Esta política identifica un "punto de cruce" (tamaño de lote) por debajo del cual se prefiere la ejecución local debido a los costos fijos de comunicación/gestión.
3. Análisis de Sensibilidad al Ancho de Banda: Los experimentos revelaron que, mientras que el intercambio de tensores completos (Voltage) se degrada severamente a anchos de banda más bajos, la comunicación compacta de Medias de Segmentos de Prism mantiene una baja latencia en todo el rango probado (200–900 Mbps), mitigando efectivamente el cuello de botella de gestión.

Resultados
Los experimentos en modelos ViT con entradas CIFAR-10 arrojaron los siguientes resultados:

• Reducción de Latencia y Energía: En comparación con una configuración distribuida estática que utiliza intercambio de tensores completos (Voltage), la estrategia adaptativa Prism redujo la latencia en un 65%–77% y el consumo energético en un 34%–52% en todos los tamaños de lote.
• Dominio de la Gestión: Para la línea base Voltage, la transferencia de E/S CPU–GPU dominó el presupuesto de latencia, a menudo superando la latencia total de la inferencia en un solo dispositivo incluso con un tamaño de lote de 1. Prism redujo el volumen de datos gestionados en aproximadamente un 90%, desplazando el cuello de botella de nuevo a la computación.
• Compensaciones de Precisión: Con una alta tasa de compresión (CR = 9.9), la precisión disminuyó del 98.01% al 95.64%, pero se recuperó al 97.43% después del ajuste fino. Tasas de compresión más bajas (CR = 3.3) mantuvieron una precisión del 97.06% sin ajuste fino, pero ofrecieron menos aceleración en la comunicación.
• Punto de Cruce: La política de perfilado identificó correctamente que para tamaños de lote pequeños (1–4), la ejecución en un solo dispositivo es superior. La ejecución distribuida solo se vuelve beneficiosa en tamaños de lote más grandes (por ejemplo, lote 8 y superiores), donde el costo de comunicación se amortiza sobre más muestras.

Significado y Afirmaciones
El artículo afirma que la adaptación impulsada por perfilado es esencial para la inferencia práctica de Transformadores distribuidos en hardware embebido. Los autores afirman que los modelos teóricos o las simulaciones son insuficientes porque pasan por alto los costos específicos de gestión CPU–GPU de las GPUs integradas. Al demostrar que un simple barrido de perfilado fuera de línea puede guiar las decisiones en tiempo de ejecución, el trabajo proporciona una base práctica para el despliegue de modelos fundamentales en el borde. El estudio concluye que, aunque la compresión (Prism) mitiga significativamente el cuello de botella de gestión de GLOO, no lo elimina; por lo tanto, son necesarias políticas adaptativas que recurran a la ejecución local cuando las sobrecargas son demasiado altas para despliegues reales en el borde. Los autores posicionan su banco de pruebas y metodología como una caracterización rigurosa de los beneficios y las limitaciones restantes de la inferencia distribuida basada en GLOO.