Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision

Resumen Técnico: Evaluación Comparativa de Estrategias de Inferencia en el Borde para Modelos de Aprendizaje Profundo en Visión Artificial Industrial

Planteamiento del Problema
Los sistemas de visión artificial industrial dependen cada vez más del despliegue en el borde (edge) para cumplir con requisitos estrictos de baja latencia, seguridad de datos y conectividad limitada. Aunque existen diversos marcos de trabajo (frameworks) para optimizar la inferencia en dispositivos de borde, existe una falta de estudios sistemáticos que comparen su rendimiento bajo condiciones industriales realistas. Los benchmarks existentes suelen centrarse en subconjuntos limitados de marcos de trabajo, objetivos de hardware específicos o familias de modelos únicos, lo que dificulta la obtención de conclusiones transferibles. Además, la eficacia de los marcos de despliegue depende altamente de la interacción entre el stack de hardware de destino y la arquitectura específica del modelo (por ejemplo, CNN frente a Transformers), un matiz que requiere una evaluación más amplia.

Metodología
Este estudio presenta una evaluación comparativa de cuatro marcos de despliegue ampliamente utilizados: PyTorch (línea base), ONNX Runtime, OpenVINO y TensorRT. La evaluación se llevó a cabo en un conjunto heterogéneo de plataformas de hardware relevantes para el despliegue de borde industrial:

• Sistemas CPU: Tres sistemas de escritorio con procesadores Intel Core i7, Xeon E5 y Core i9.
• Sistemas de Borde/GPU: Un módulo Jetson AGX Orin (CPU ARM + GPU integrada de NVIDIA) y varios GPUs NVIDIA de escritorio (GTX 1650, Quadro RTX 6000, RTX 2080, RTX 2080 Ti).

El benchmark utilizó tres modelos de aprendizaje profundo que representan diferentes tareas y arquitecturas de visión por computadora:

1. YOLOv8: Un modelo de detección de objetos basado en CNN.
2. UNet: Un modelo de segmentación de imágenes basado en CNN (utilizando un backbone ResNext50).
3. Grounding DINO: Un modelo de detección de objetos de visión-lenguaje basado en Transformers.

Todos los modelos se ejecutaron en precisión FP32. El procedimiento experimental midió el tiempo de inferencia puro (excluyendo el preprocesamiento y el postprocesamiento) mediante la ejecución de 1,000 iteraciones por configuración, descartando las primeras 10 ejecuciones para eliminar los efectos de calentamiento (warm-up) e informando la media y la desviación estándar de las 990 ejecuciones restantes. El tamaño del lote (batch size) se fijó en 1.

Contribuciones Clave
El artículo proporciona:

• Una evaluación comparativa de PyTorch, ONNX Runtime, OpenVINO y TensorRT basada en el tiempo de inferencia.
• Una evaluación que abarca múltiples plataformas de hardware, incluyendo tanto sistemas basados en CPU como en GPU, relevantes para escenarios de borde industrial.
• Un análisis unificado que demuestra cómo el rendimiento de los marcos de trabajo varía entre los modelos convencionales basados en CNN y los nuevos modelos de visión basados en Transformers.

Resultados
Los hallazgos revelan que el rendimiento de los marcos de trabajo no es uniforme, sino que depende fuertemente tanto de la plataforma de hardware como de la arquitectura del modelo:

• Rendimiento de la CPU:

  • En plataformas de escritorio basadas en Intel, OpenVINO logró consistentemente los tiempos de inferencia más bajos en los tres modelos, reduciendo a menudo la latencia entre un 30% y un 60% en comparación con PyTorch. ONNX Runtime generalmente ocupó el segundo lugar, siendo PyTorch el más lento.
  • En el Jetson AGX Orin (CPU ARM), esta tendencia se invirtió. ONNX Runtime proporcionó el mejor rendimiento, mientras que OpenVINO mostró una degradación significativa, particularmente con el modelo Grounding DINO (donde OpenVINO fue más de siete veces más lento que ONNX Runtime).

• Rendimiento de la GPU:

  • Para los modelos basados en CNN (YOLOv8 y UNet), TensorRT entregó consistentemente los tiempos de inferencia más bajos en todos los GPUs de NVIDIA (tanto de escritorio como Jetson), reduciendo la latencia aproximadamente entre un 25% y un 56% en comparación con el siguiente mejor marco de trabajo.
  • Para el modelo basado en Transformers (Grounding DINO), los resultados divergieron significamente. En los GPUs de escritorio, PyTorch (la línea base) logró los tiempos de inferencia más bajos, mientras que TensorRT fue de 1.6 a 2.1 veces más lento. En el GPU Jetson, TensorRT superó a PyTorch, pero la latencia absoluta siguió siendo alta en comparación con los GPUs de escritorio.

Significancia y Reivindicaciones
El estudio concluye que la selección de un marco de trabajo óptimo no es una decisión de "talla única"; depende críticamente de la combinación específica del hardware de destino y la familia del modelo.

• Especificidad del Hardware: OpenVINO es altamente efectivo para CPUs Intel, mientras que TensorRT es superior para GPUs NVIDIA, pero solo para tipos de modelos específicos.
• Dependencia de la Arquitectura del Modelo: Las ventajas de rendimiento de los entornos de ejecución específicos de hardware (como TensorRT) observadas en modelos basados en CNN no se transfieren necesariamente a los modelos de visión-lenguaje basados en Transformers. En el caso de Grounding DINO en GPUs de escritorio, la implementación de PyTorch (la línea base) superó al flujo de trabajo optimizado de TensorRT.

Los autores sostienen que, si bien los entornos de ejecución específicos de hardware proporcionan beneficios claros para la inferencia basada en CNN en entornos industriales, sus ventajas son menos consistentes para los modelos basados en Transformers, lo que sugiere que la selección del marco de trabajo debe adaptarse a la arquitectura específica del modelo en lugar de basarse únicamente en las capacidades del hardware.