Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices

Este artículo evalúa modelos de detección de objetos de última generación en diversos dispositivos de borde para analizar las compensaciones entre precisión, velocidad de inferencia y eficiencia energética, ofreciendo finalmente orientación práctica para seleccionar las combinaciones óptimas de modelo y dispositivo para aplicaciones en tiempo real.

Lo esencial

Imagina que estás intentando construir un sistema de cámaras de seguridad para una pequeña tienda, pero no puedes conectarlo a un servidor en la nube masivo y costoso. En su lugar, necesitas que la cámara "piense" y detecte intrusos en el acto, utilizando un ordenador diminuto alimentado por batería. Este es el mundo de la Computación en el Borde (Edge Computing): realizar el trabajo pesado localmente en lugar de enviar datos a la nube.

Este artículo es como un análisis de coches para ordenadores diminutos, pero en lugar de probar qué tan rápido circulan, los autores evaluaron qué tan bien pueden "ver" e identificar objetos (como personas, coches o animales) utilizando diferentes tipos de software de inteligencia artificial.

Aquí tienes el desglose de su experimento en términos sencillos:

Los contendientes: Los "cerebros" (Modelos de IA)

Los investigadores probaron tres familias diferentes de "cerebros" de IA diseñados para detectar objetos. Imagina estos como diferentes tipos de detectives:

1. YOLOv8 (You Only Look Once): Son los detectives de alto rendimiento.
   • La versión "Medium": Un detective senior increíblemente preciso, pero que tarda mucho en pensar y se cansa (gasta mucha batería) rápidamente.
   • Las versiones "Nano" y "Small": Detectives junior que son más rápidos y consumen menos energía, pero podrían pasar por alto algunos detalles.
2. SSD (Single Shot Detector): Son los velocistas.
   • Son muy rápidos y consumen muy poca energía, pero no son tan buenos detectando objetos difíciles o pequeños. Son como un guardia de seguridad que hace una patrulla rápida pero podría pasar por alto a un ladrón sigiloso.
3. EfficientDet Lite: Son los detectives equilibrados. Intentan encontrar un punto medio entre velocidad y precisión.

La pista de carreras: Los "músculos" (Dispositivos de borde)

Los autores probaron a estos detectives en diferentes tipos de ordenadores diminutos, que actúan como los cuerpos para los cerebros:

• Raspberry Pi (Modelos 3, 4 y 5): Son como los "cuchillos suizos" del mundo de la informática. Son baratos, pequeños y populares. Los autores los probaron tanto por sí solos como con un stick USB especial conectado (llamado TPU) que actúa como un turbo para ayudarles a pensar más rápido.
• NVIDIA Jetson Orin Nano: Es el "coche deportivo" del grupo. Es más caro y potente, diseñado específicamente para tareas pesadas de IA.

Los resultados de la carrera: Velocidad, batería y precisión

Los investigadores corrieron un maratón donde pidieron a cada ordenador que identificara objetos en miles de fotos. midieron tres cosas:

1. Cuánto tardó en detectar un objeto (Tiempo de inferencia).
2. Cuánta batería consumió por foto (Consumo de energía).
3. Cuántos objetos encontró realmente correctamente (Precisión/mAP).

Esto es lo que descubrieron:

• El ganador "Rápido y Ahorrador": Los modelos SSD fueron los claros vencedores en velocidad y duración de la batería. Eran como un corredor de maratón que come muy poco y corre rápido, pero no fueron los mejores detectando cada detalle.
• El ganador "Preciso pero Hambriento": El modelo YOLOv8 Medium fue el detective más preciso, encontrando la mayor cantidad de objetos correctamente. Sin embargo, fue lento y consumió mucha batería, como un coche de lujo con un mal consumo de combustible.
• El efecto "Turbo": Cuando añadieron el acelerador TPU (el stick USB) a los Raspberry Pis, fue como darle un motor a reacción a una bicicleta.
  • Para los modelos SSD y EfficientDet, el TPU los hizo increíblemente rápidos y eficientes sin perjudicar su precisión.
  • Sin embargo, para los modelos YOLOv8, el TPU los obligó a encoger su "cerebro" (comprimir el modelo) para ajustarse. Esto los hizo más rápidos, pero menos precisos, como un detective senior obligado a llevar una venda en los ojos para correr más rápido.
• El campeón "Coche Deportivo": El Jetson Orin Nano fue el campeón general. Fue el más rápido y eficiente energéticamente para los modelos pesados YOLOv8. Podía manejar los modelos grandes y precisos sin ralentizarse ni agotar la batería demasiado rápido.

La gran conclusión

No existe una única opción "perfecta". Depende de lo que necesites:

• Si necesitas máxima velocidad y duración de la batería (como un dron que vuela durante horas), deberías elegir el modelo SSD en un Raspberry Pi con TPU.
• Si necesitas máxima precisión (como un coche autónomo que debe ver a cada peatón) y tienes un dispositivo potente, la mejor opción es el Jetson Orin Nano ejecutando YOLOv8.
• Si estás con presupuesto y necesitas un equilibrio, el Raspberry Pi 4 o 5 con EfficientDet es un punto medio sólido.

En resumen, el artículo nos enseña que crear IA local inteligente es un acto de equilibrio. Tienes que elegir entre qué tan rápido quieres que sea el ordenador, cuánta batería puede ahorrar y qué tan inteligente necesita ser. No hay almuerzo gratis, pero conocer estos compromisos te ayuda a construir el sistema correcto para tu trabajo específico.

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo "Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices" (Evaluación comparativa de modelos de aprendizaje profundo para detección de objetos en dispositivos de computación en el borde).

1. Declaración del Problema

Las aplicaciones modernas, particularmente los vehículos autónomos y la vigilancia en tiempo real, requieren desplegar algoritmos de detección de objetos basados en aprendizaje profundo en dispositivos de borde con recursos limitados. Si bien la computación en la nube ofrece alto rendimiento, introduce problemas de latencia y dependencia. La computación en el borde resuelve esto, pero presenta desafíos significativos:

• Restricciones de Recursos: Los dispositivos de borde (por ejemplo, Raspberry Pi, Jetson) tienen potencia limitada de CPU/GPU, memoria y duración de batería.
• El Dilema del Compromiso: Existe una falta de comprensión integral sobre los compromisos entre precisión (mAP), velocidad de inferencia (latencia) y eficiencia energética a través de diferentes modelos y configuraciones de hardware.
• Brecha en la Literatura: Los estudios existentes a menudo se centran en modelos específicos o carecen de una evaluación simultánea del consumo de energía, el tiempo de inferencia y la precisión en una amplia gama de modelos modernos (como YOLOv8) y hardware diverso (incluyendo TPUs y módulos Jetson más nuevos).

2. Metodología

Configuración Experimental

Los autores realizaron un estudio exhaustivo de evaluación comparativa que involucró:

• Dispositivos de Borde:
  • Serie Raspberry Pi: Pi 3 Modelo B+, Pi 4 Modelo B y Pi 5.
  • Aceleradores: Aceleradores USB Google Coral (Edge TPU) conectados a los modelos Pi.
  • Borde de Alto Rendimiento: NVIDIA Jetson Orin Nano (4 GB de RAM).
• Modelos de Detección de Objetos:
  • YOLOv8: Variantes Nano, Small y Medium.
  • EfficientDet Lite: Lite0, Lite1 y Lite2.
  • SSD: SSD MobileNet V1 y SSDLite MobileDet.
• Frameworks y Despliegue:
  • PyTorch: Utilizado para el despliegue nativo de YOLOv8 en Pis.
  • TensorFlow Lite (TFLite): Utilizado para modelos en Pis con TPUs (los modelos se comprimieron de una resolución de entrada de 640x640 a 320x320 para ajustarse a las restricciones de la TPU).
  • TensorRT: Utilizado para optimizar modelos en el Jetson Orin Nano.
  • Servicio Web: Los modelos se desplegaron como servicios web Flask-API para simular el manejo de solicitudes del mundo real.

Métricas de Evaluación

El estudio midió tres métricas críticas:

1. Tiempo de Inferencia: Tiempo tomado para procesar una imagen (excluyendo pre/post-procesamiento), medido en milisegundos.
2. Consumo de Energía: Calculado como Energía por Solicitud (excluyendo energía base).
   • Fórmula: $E_{excR} = \frac{TE - BE}{NR}$
   • Donde $TE$ es Energía Total, $BE$ es Energía Base (inactiva) y $NR$ es Número de Solicitudes.
3. Precisión: Precisión Media Promedio (mAP) evaluada en el conjunto de datos de validación COCO (5,000 imágenes) utilizando la herramienta FiftyOne.

Automatización

• Locust: Utilizado para generar solicitudes HTTP automatizadas y secuenciales a los puntos finales de la API durante intervalos de 5 minutos para medir el rendimiento y la energía.
• Medidor de Potencia: Un medidor de potencia USB UM25C con conectividad Bluetooth midió el consumo de energía en tiempo real.

3. Contribuciones Clave

1. Evaluación Comparativa Exhaustiva: Una evaluación única de modelos de última generación (YOLOv8, EfficientDet Lite, SSD) en un conjunto diverso de hardware (Pi 3/4/5, TPUs, Jetson Orin Nano).
2. Métricas Holísticas: Medición simultánea de Precisión, Latencia y Eficiencia Energética (por solicitud), proporcionando una visión multidimensional del rendimiento.
3. Optimización de Frameworks: Demostró el impacto de diferentes frameworks de despliegue (PyTorch, TFLite, TensorRT) y la compresión de la resolución de entrada en hardware TPU.
4. Guía Práctica: Proporcionó información procesable para profesionales sobre la selección del par modelo-dispositivo óptimo basado en restricciones específicas de la aplicación (por ejemplo, duración de la batería vs. velocidad en tiempo real).

4. Resultados Clave

Consumo de Energía

• Más Eficiente: SSD MobileNet V1 consumió consistentemente la menor energía por solicitud en todos los dispositivos.
• Menos Eficiente: YOLOv8 Medium tuvo el mayor consumo de energía.
• Rendimiento del Dispositivo:
  • Jetson Orin Nano fue el dispositivo más eficiente energéticamente para manejar solicitudes, a pesar de tener el mayor consumo de energía inactiva.
  • Impacto de la TPU: Añadir una TPU redujo el consumo de energía por solicitud para todos los modelos, pero aumentó el consumo de energía base inactiva del dispositivo (de un 9% a un 46% dependiendo del modelo Pi).
  • Brecha Generacional: Pi 4 y Pi 5 fueron más eficientes energéticamente que Pi 3.

Tiempo de Inferencia (Velocidad)

• Modelos Más Rápidos: SSD MobileNet V1 fue el modelo más rápido en todas las plataformas.
• Modelos Más Lentos: YOLOv8 Medium fue consistentemente el más lento.
• Aceleración de Hardware:
  • TPUs: Redujeron significativamente los tiempos de inferencia (por ejemplo, SSD_v1 en Pi 3+TPU bajó de 427 ms a 61 ms).
  • Jetson Orin Nano: Logró los tiempos de inferencia absolutos más bajos (por ejemplo, YOLOv8 Nano a 16 ms), superando incluso a los Pis acelerados por TPU.

Precisión (mAP)

• Mayor Precisión: YOLOv8 Medium logró la mayor mAP (44 en Pis estándar).
• Menor Precisión: SSD MobileNet V1 tuvo la menor mAP (19).
• Impacto de la TPU en la Precisión:
  • EfficientDet y SSD: La precisión se mantuvo estable al desplegarse en TPUs.
  • YOLOv8: La precisión disminuyó significativamente en Pis con TPUs (por ejemplo, YOLOv8 Nano bajó de 31 mAP a 16 mAP) debido a la compresión requerida del modelo (reduciendo la resolución de entrada de 640x640 a 320x320).
• Impacto de Jetson: Jetson Orin Nano mantuvo una alta precisión para YOLOv8 pero mostró una ligera disminución en la mAP para los modelos SSD y EfficientDet en comparación con los Pis.

Análisis de Compromisos (Frente de Pareto)

• Modelos SSD: Muestran una correlación lineal entre energía y tiempo. Jetson Orin Nano y Pi 5+TPU formaron el "Frente de Pareto" (mejor equilibrio).
• YOLOv8: Jetson Orin Nano surgió como la opción superior, ofreciendo el mejor equilibrio de velocidad, energía y precisión sin la penalización de precisión observada en las TPUs.

5. Significado y Conclusión

El artículo concluye que no existe una única configuración "mejor"; la elección depende de los requisitos específicos de la aplicación:

• Para Máxima Precisión: YOLOv8 Medium en Jetson Orin Nano es la opción óptima.
• Para Máxima Velocidad/Eficiencia Energética: SSD MobileNet V1 en Jetson Orin Nano o Pi 5 con TPU es preferido.
• Insight Crítico: Si bien las TPUs de borde mejoran drásticamente la velocidad y reducen la energía por solicitud, pueden degradar severamente la precisión de modelos complejos como YOLOv8 debido a las restricciones de resolución de entrada. Por lo tanto, para implementaciones de YOLOv8 de alta precisión, los dispositivos de borde basados en GPU (Jetson) son superiores a las configuraciones basadas en TPU.

Este estudio proporciona una referencia vital para investigadores e ingenieros que desarrollan soluciones de IA en el borde, destacando la necesidad de equilibrar las capacidades del hardware, la arquitectura del modelo y los frameworks de despliegue para cumplir con las restricciones del mundo real.