Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

Aquí se presenta un resumen técnico detallado del artículo "De la Nube al Borde: Evaluación de Referencia de la Inferencia de LLM en Computadores de Placa Única Acelerados por Hardware".

1. Planteamiento del Problema

El despliegue de Modelos de Lenguaje Grande (LLM) sigue siendo predominantemente centrado en la nube, creando cuellos de botella críticos para los entornos de Tecnología Operativa (OT) y defensa. Estos desafíos incluyen:

• Privacidad y Seguridad de los Datos: Los datos sensibles en infraestructuras críticas (energía, defensa, fabricación) a menudo no pueden salir de los perímetros de red controlados.
• Latencia y Conectividad: La dependencia de conexiones a internet estables es una vulnerabilidad en entornos remotos o contestados (por ejemplo, vehículos no tripulados, estaciones terrestres de satélite).
• Brechas en la Evaluación: Las herramientas existentes de evaluación de referencia en el borde (por ejemplo, DeepEdgeBench, LEAF) sufren tres limitaciones principales:
  1. Dependen en gran medida de la inferencia solo con CPU o GPUs heredadas, ignorando los aceleradores dedicados modernos para el borde (NPUs).
  2. Carecen de cobertura de Computadores de Placa Única (SBC) genuinos adecuados para IoT.
  3. Utilizan métricas de evaluación genéricas que no tienen en cuenta las restricciones multidimensionales del despliegue en el borde (tamaño físico, presupuesto de energía y eficiencia energética).

2. Metodología

Los autores proponen un marco de evaluación de referencia estructurado y multidimensional para evaluar la inferencia de LLM en cuatro plataformas de borde distintas adecuadas para IoT.

Configuración Experimental:

• Plataformas de Hardware (5 Configuraciones):
  1. M5Stack LLM (Módulo M140): Cuenta con un SoC AX630C con una NPU integrada (3.2 TOPS). Factor de forma más pequeño ($54 \times 54 \times 13$ mm).
  2. Raspberry Pi 5: Solo CPU (Broadcom BCM2712).
  3. Raspberry Pi 5 + AI HAT+: Añade una NPU Hailo-10H (40 TOPS).
  4. NVIDIA Jetson Orin Nano Super: Cuenta con una GPU Ampere (67 TOPS).
• Modelos: Una selección de LLMs compactos y destilados (0.5B a 3B parámetros), que incluyen DeepSeek-R1-Distill-Qwen, Qwen 2.5 (Instruct/Coder) y Llama 3.2.
• Configuración de Inferencia:
  • Cuantización: Todos los modelos se ejecutan con cuantización de 4 bits (Q4_K_M) para minimizar la huella de memoria.
  • Entornos de Ejecución: Ollama (para CPU/GPU), Hailo Ollama (para NPU en Pi 5) y StackFlow (para M5Stack).
  • Carga de Trabajo: Prompts fijos que generan 100 tokens para medir el rendimiento sostenido.

Métricas de Evaluación:
El artículo introduce un marco multidimensional que va más allá de la simple latencia/precisión:

1. Rendimiento Bruto: Producción de tokens (tokens/s) y Tiempo hasta el Primer Token (TTFT).
2. Eficiencia Energética: Consumo de energía por millón de tokens (MJ/Mtok).
3. Métricas Compuestas (Contribuciones Novedosas):
   • Densidad de Producción ($Tps/m^3$): Producción de tokens normalizada por el volumen del dispositivo. Crucial para despliegues con restricciones de espacio (por ejemplo, drones, dispositivos portátiles).
   • Energía por Millón de Tokens (MJ/Mtok): Costo energético total para la generación, crítico para sistemas operados con batería.

3. Contribuciones Clave

1. Análisis de Brechas: Identificó la ausencia de marcos multidimensionales que evalúen conjuntamente el rendimiento de inferencia, la eficiencia del hardware y las restricciones físicas para SBCs modernos con aceleradores dedicados.
2. Métricas Novedosas: Introdujo la Densidad de Producción y la Energía por Millón de Tokens para permitir la selección de hardware basada en restricciones de despliegue específicas (espacio vs. potencia vs. velocidad).
3. Evaluación de Referencia Exhaustiva: Proporcionó el primer análisis comparativo de aceleradores de borde modernos (Hailo-10H, NVIDIA Ampere, NPU AX630C) frente a líneas base solo CPU a través de múltiples familias de modelos.

4. Resultados Clave

• Impacto de la Aceleración por Hardware:
  • NPU (Hailo-10H): Proporcionó ganancias de eficiencia energética de 9.5x a 40x sobre la inferencia solo CPU en el Raspberry Pi 5. La producción aumentó de ~0.3 tok/s (CPU) a ~6.3 tok/s (NPU).
  • GPU (Jetson Orin): Proporcionó una ganancia de eficiencia más modesta de 1.2x a 1.8x sobre su propia línea base CPU, pero ofreció la producción absoluta más alta (hasta ~10 tok/s).
• Densidad de Producción:
  • El M5Stack AX630c dominó esta métrica, logrando >90,000 Tps/m³ debido a su factor de forma diminuto, lo que lo hace ideal para aplicaciones ultra compactas y reforzadas.
  • El Jetson Orin, aunque potente, tuvo la densidad más baja debido a su mayor volumen físico.
• Eficiencia Energética:
  • La inferencia solo CPU fue un orden de magnitud menos eficiente (33–76 MJ/Mtok) en comparación con las plataformas aceleradas (0.5–5.5 MJ/Mtok).
  • El M5Stack y la GPU Jetson fueron los más eficientes energéticamente, consumiendo ~0.5–1.7 MJ/Mtok.
  • El RPi 5 + Hailo mostró eficiencia variable dependiendo de la arquitectura del modelo, lo que sugiere que el rendimiento de la NPU es más sensible a la estructura del modelo que el de las GPUs.

5. Significado e Implicaciones

Los hallazgos ofrecen orientación práctica para desplegar IA Generativa en entornos críticos, sensibles a la privacidad y con limitaciones de conectividad:

• Sistemas Distribuidos Resilientes: La IA de borde de bajo consumo (rango de 5–25W) permite arquitecturas descentralizadas donde los nodos individuales actúan como agentes inteligentes. Esto reduce la dependencia del comando central, mejorando la resiliencia ante el bloqueo de redes o ciberataques.
• Autonomía con Restricciones Energéticas: Para drones y sistemas autónomos con presupuestos de energía ajustados, el cambio de inferencia CPU a NPU/GPU extiende significativamente el tiempo de operación mientras habilita la toma de decisiones local y el resumen de datos en tiempo real.
• Estaciones Terrestres de Satélite: Los resultados validan que los modelos de 1.5B parámetros pueden ejecutarse en SBCs portátiles (como RPi 5 + Hailo) con alta eficiencia. Esto permite que las estaciones terrestres realicen tareas inteligentes (análisis de comandos, razonamiento de telemetría) localmente sin necesidad de enlaces de alto ancho de banda a instalaciones centrales.

Conclusión:
El artículo demuestra que los SBCs acelerados por hardware son ahora viables para ejecutar LLMs localmente. La elección del hardware no debe basarse únicamente en la velocidad bruta; más bien, debe guiarse por los compromisos específicos entre la huella física (favoreciendo M5Stack), la producción absoluta (favoreciendo Jetson) y la eficiencia energética (favoreciendo M5Stack o GPU Jetson), dependiendo de las restricciones operativas específicas del despliegue de IoT.