A Study on Inference Latency for Vision Transformers on Mobile Devices

Este estudio analiza cuantitativamente la latencia de inferencia de transformadores de visión en dispositivos móviles mediante la comparación con redes neuronales convolucionales, generando un dataset predictivo que permite estimar con precisión el rendimiento de arquitecturas ViT en diversas plataformas.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un manual de mecánica para coches de carreras, pero en lugar de coches, estamos hablando de cerebros digitales (Inteligencia Artificial) que intentan correr dentro de nuestros teléfonos móviles.

Aquí tienes la explicación de la investigación de Zhuojin Li y su equipo, contada como una historia:

🚗 El Problema: Los "Supercoches" en una "Callejuela"

Hace unos años, la Inteligencia Artificial (IA) para ver imágenes (como reconocer un gato en una foto) era como un camión gigante: muy pesado y solo podía viajar por autopistas de alta velocidad (los servidores gigantes en la nube o computadoras de escritorio).

Pero ahora, queremos meter esos camiones en nuestros teléfonos. Aquí es donde entran los Transformers de Visión (ViT). Son como nuevos supercoches de Fórmula 1 diseñados para ser muy inteligentes y rápidos en tareas complejas. Sin embargo, los teléfonos son como callejuelas estrechas y con poco combustible (poca memoria y batería).

Los investigadores se preguntaron: "¿Podrán estos supercoches ViT correr de verdad en nuestras calles estrechas, o se quedarán atascados?"

🔍 Lo que descubrieron (La Inspección Mecánica)

El equipo probó 190 de estos nuevos coches (ViT) y los comparó con 102 coches más antiguos y tradicionales (CNN). Aquí están sus hallazgos más importantes, explicados con analogías:

1. El Tráfico de la Atención (Latencia)

• La analogía: Imagina que los coches antiguos (CNN) son como un cartero que entrega cartas casa por casa en una calle. Es un trabajo lineal y predecible. Los nuevos coches (ViT) son como un director de orquesta que necesita hablar con todos los músicos al mismo tiempo para saber qué tocar.
• El hallazgo: Aunque los nuevos coches (ViT) parecen más eficientes en papel (tienen menos "FLOPs", que es como contar cuántas matemáticas hacen), en la realidad son más lentos en el teléfono. ¿Por qué? Porque la "orquesta" (el mecanismo de atención) necesita mucha más coordinación y memoria. A veces, el coche más "ligero" en el papel es el que más se atasca en el tráfico.

2. La Sed de Memoria (Cuello de Botella)

• La analogía: Los teléfonos tienen una "autopista de datos" (ancho de banda de memoria) muy estrecha. Los coches antiguos (CNN) son como camiones que cargan sus cajas y las llevan directamente. Los coches ViT son como camiones que necesitan revisar y reorganizar sus cajas constantemente mientras viajan.
• El hallazgo: Los ViT se quedan "sedientos" de memoria. Si intentas aumentar la velocidad del motor (CPU), el coche no va más rápido porque está esperando a que la autopista de datos le traiga más información. El motor no es el problema; es la carretera de datos.

3. El Idioma de los Mecánicos (Frameworks)

• La analogía: Tienes dos talleres de reparación diferentes: uno llamado PyTorch y otro TensorFlow (TFLite).
  • En el taller PyTorch, a veces tienen que cambiar el formato de las llantas (memoria) antes de ponerlas, lo que hace perder tiempo.
  • En el taller TensorFlow, las llantas ya vienen en el formato correcto, así que van más rápido.
• El hallazgo: No importa cuán bueno sea el coche, depende mucho de en qué taller lo repares. Un mismo modelo puede tardar el doble en un framework que en otro, solo por cómo están organizados los datos.

4. El Efecto "GELU" (El interruptor caprichoso)

• La analogía: Imagina que hay un interruptor de luz en el coche que se comporta de forma extraña. A veces, si la luz es un poco brillante, tarda 1 segundo en encenderse; si es un poco más brillante, tarda 3 segundos. No depende de la electricidad, sino de cuánta luz hay exactamente.
• El hallazgo: Los ViT usan una función matemática llamada GELU que actúa como ese interruptor caprichoso. Su velocidad depende de los valores exactos de la imagen que están procesando. Esto hace que sea muy difícil predecir cuánto tardará el coche solo mirando sus especificaciones técnicas.

🛠️ La Solución: El "Simulador de Tráfico"

Dado que es imposible probar todos los coches posibles (hay millones de combinaciones), los investigadores hicieron algo genial:

1. Crearon un "Zoológico de Coches Falsos": Diseñaron 1,000 coches sintéticos (ViT artificiales) que mezclaban las mejores piezas de los coches reales.
2. Los pusieron a correr: Medieron cuánto tardaban en 6 teléfonos diferentes (desde un iPhone hasta un Samsung).
3. Entrenaron a un "Mecánico Inteligente" (Predicor IA): Usaron esos datos para entrenar a una pequeña IA que aprendió a decir: "Si pongo estas piezas en este teléfono, tardará X segundos".

🎯 ¿Para qué sirve esto?

Gracias a este estudio, ahora tenemos un oráculo de predicción:

• Para los diseñadores (NAS): Antes de construir un coche nuevo y gastar millones en pruebas, pueden usar este "Mecánico Inteligente" para simular si el coche funcionará en un teléfono. Ahorra tiempo y dinero.
• Para la colaboración (Inferencia Dividida): Si un coche es muy pesado para el teléfono, el sistema puede decidir: "Hagamos la mitad del trabajo en el teléfono y enviemos el resto a la nube". El predicor les dice exactamente cuándo vale la pena hacer esto para no gastar batería ni tardar mucho.

🏁 Conclusión Final

El mensaje de la investigación es: Los Transformers (ViT) son increíbles y muy inteligentes, pero en los teléfonos móviles son como un Ferrari en un atasco de tráfico.

No son necesariamente más lentos por ser "malos", sino porque necesitan una gestión de memoria y un entorno de trabajo (framework) muy específico para funcionar bien. Con las herramientas que han creado, ahora podemos diseñar coches que sí caben en nuestras calles estrechas, asegurando que tu teléfono reconozca tu cara o traduzca un texto sin quedarse congelado.

Resumen técnico

Resumen Técnico: Latencia de Inferencia de Vision Transformers en Dispositivos Móviles

1. Planteamiento del Problema

Los avances recientes en el aprendizaje automático (ML) han permitido el despliegue de redes neuronales complejas en dispositivos móviles, especialmente en visión por computadora (CV). Aunque los Vision Transformers (ViTs) han demostrado una precisión superior a las Redes Neuronales Convolucionales (CNN) tradicionales en diversas tareas, su mecanismo de auto-atención es computacionalmente costoso y requiere una gestión intensiva de memoria.

El problema central abordado en este trabajo es la falta de comprensión cuantitativa sobre el rendimiento de los ViTs en plataformas móviles con recursos limitados (CPU heterogénea, memoria RAM restringida y frameworks de ML específicos). A diferencia de los entornos de nube con GPUs potentes, los dispositivos móviles enfrentan desafíos únicos donde la latencia de inferencia es crítica para la experiencia del usuario. Además, las métricas tradicionales como los FLOPs (operaciones de punto flotante) no son buenos predictores de la latencia real en ViTs debido a factores como el formato de memoria, las funciones de activación y las implementaciones de los frameworks.

2. Metodología

Los autores emplearon un enfoque mixto que combina el análisis de modelos reales y la generación de datos sintéticos:

• Evaluación de Modelos Reales: Se midió la latencia de 190 ViTs reales (obtenidos de Timm y HuggingFace) y se compararon con 102 CNNs reales. Las mediciones se realizaron en 6 plataformas móviles (incluyendo Google Pixel, Samsung Galaxy, iPhone) utilizando dos frameworks principales: PyTorch Mobile y TensorFlow Lite (TFLite).
• Análisis de Cuellos de Botella: Se estudiaron factores como el consumo de memoria, la intensidad aritmética, el uso de núcleos de CPU (grandes, medios, pequeños) y el impacto de la cuantización.
• Generación de Dataset Sintético: Para superar la escasez de datos de modelos de vanguardia, se diseñó un espacio de búsqueda para generar 1000 ViTs sintéticos. Estos modelos incorporan bloques constructivos representativos de arquitecturas eficientes (como SepConv, Spatial-Reduction Attention, diferentes funciones de activación y formatos de memoria).
• Modelado Predictivo: Se entrenaron predictores de latencia utilizando algoritmos de aprendizaje automático (Lasso, Random Forest y Gradient Boosted Decision Trees - GBDT) sobre los datos sintéticos para predecir la latencia de arquitecturas nuevas.

3. Contribuciones Clave

1. Análisis Comparativo Exhaustivo: Se proporciona la primera comparación cuantitativa detallada entre ViTs y CNNs en dispositivos móviles, revelando diferencias fundamentales en latencia, cuellos de botella y consumo de memoria.
2. Dataset de Latencia ViT: Se ha creado y liberado un dataset único que contiene mediciones de latencia para 1000 ViTs sintéticos y 190 ViTs reales en múltiples plataformas y frameworks, cubriendo diferentes combinaciones de núcleos de CPU y representaciones de datos (punto flotante e enteros).
3. Predictores de Latencia Precisos: Se demostró que es posible predecir la latencia de inferencia de ViTs con alta precisión utilizando modelos de ML simples entrenados en datos sintéticos, facilitando aplicaciones como la Búsqueda de Arquitectura Neuronal (NAS) y la inferencia colaborativa.
4. Insights sobre Factores de Latencia: Se identificaron causas específicas de la latencia en ViTs que van más allá de la complejidad computacional teórica.

4. Resultados Principales

• Latencia vs. FLOPs: Contrario a la intuición, los ViTs exhiben una latencia de inferencia significativamente mayor que las CNNs con un número similar de FLOPs. Por ejemplo, un ViT de 5.0 GFLOPs puede tener una latencia 1.75 veces mayor que una CNN de 4.95 GFLOPs.
• Limitación por Memoria (Memory-Bound): Los ViTs son más propensos a estar limitados por el ancho de banda de memoria que por la capacidad de cómputo.
  • Aumentar la frecuencia de la memoria acelera los ViTs mucho más que a las CNNs (hasta 3.4x de mejora).
  • Aumentar la frecuencia de la CPU tiene un impacto menor en los ViTs en comparación con las CNNs.
  • El consumo de memoria de los ViTs escala más rápidamente con la resolución de entrada que el de las CNNs.
• Factores Críticos de Latencia:
  • Formato de Memoria: La transposición y remodelado de tensores (de formato NCHW a NHWC y viceversa) para adaptarse a los bloques de auto-atención y convolución introduce sobrecargas significativas. El formato channel-last (NHWC) puede ofrecer mejoras de velocidad de hasta 2.21x en ciertas convoluciones.
  • Funciones de Activación (GELU): La latencia de la función GELU no es constante; depende de los valores de entrada debido a las aproximaciones internas en las bibliotecas matemáticas (libm). Esto hace que los FLOPs sean un predictor inexacto.
  • Impacto del Framework: Las implementaciones en PyTorch Mobile y TFLite difieren sustancialmente. Por ejemplo, TFLite maneja mejor ciertas convoluciones profundas (DWConv) y la cuantización en núcleos grandes, mientras que PyTorch Mobile puede sufrir degradación de rendimiento en operaciones lineales cuantizadas en núcleos potentes.
• Precisión de los Predictores:
  • Los predictores entrenados con GBDT lograron errores medios absolutos porcentuales (MAPE) muy bajos:
    • ViTs Sintéticos: ~4.4% en PyTorch Mobile y ~4.8% en TFLite (CPU).
    • ViTs Reales: ~8.2% en PyTorch Mobile y ~6.1% en TFLite (CPU).
  • Estos resultados demuestran que los predictores son lo suficientemente precisos para ser utilizados en NAS y en la determinación de particiones óptimas para inferencia colaborativa (split inference).

5. Significado e Impacto

Este trabajo es fundamental para la comunidad de ML en el borde (Edge AI) por varias razones:

1. Viabilidad de ViTs en Móviles: Desmiente la noción de que los ViTs son demasiado costosos para dispositivos móviles, mostrando que con diseños eficientes (como EfficientViT) pueden superar a las CNNs en latencia.
2. Herramienta para Diseñadores: El dataset y los predictores liberados permiten a los investigadores y desarrolladores estimar el rendimiento de nuevas arquitecturas sin necesidad de desplegarlas físicamente en cada dispositivo, ahorrando tiempo y recursos.
3. Optimización de Sistemas: Los hallazgos sobre el formato de memoria y el impacto de los frameworks guían a los ingenieros en la optimización de bibliotecas de inferencia y en la selección de hardware adecuado.
4. Aplicaciones Prácticas: Facilita la implementación de técnicas avanzadas como la Búsqueda de Arquitectura Neuronal (NAS) automatizada y la inferencia colaborativa, donde se debe decidir dinámicamente qué partes del modelo ejecutar en el dispositivo y cuáles en la nube basándose en predicciones de latencia precisas.

En conclusión, el estudio establece que la latencia en ViTs móviles es un problema multifacético que requiere ir más allá de la simple contabilidad de operaciones (FLOPs), considerando profundamente la arquitectura de memoria, las implementaciones de software y las características del hardware heterogéneo.