💻 computer science

MicroViTv2: Beyond the FLOPS for Edge Energy-Friendly Vision Transformers

MicroViTv2 es un Vision Transformer ligero y consciente del hardware que aprovecha componentes reparametrizados y una Atención Transpuesta de Profundidad Única para lograr una precisión y eficiencia energética superiores en dispositivos periféricos, demostrando que optimizar para el rendimiento en el mundo real es más crítico que minimizar los FLOPs.

Autores originales: Novendra Setyawan, Chi-Chia Sun, Mao-Hsiu Hsu, Wen-Kai Kuo, Jun-Wei Hsieh

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Novendra Setyawan, Chi-Chia Sun, Mao-Hsiu Hsu, Wen-Kai Kuo, Jun-Wei Hsieh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la tecnología moderna, las computadoras se han vuelto notablemente buenas para mirar imágenes y comprender lo que ven. Pueden identificar un gato, detectar un coche o leer un letrero con un nivel de precisión que rivaliza con la visión humana. Esta capacidad se basa en un tipo de inteligencia artificial llamada Vision Transformer (Transformador de Visión). Piense en estos sistemas como cartógrafos altamente detallados que escanean una imagen, dividiéndola en piezas diminutas para entender cómo se relacionan entre sí. Si bien estos cartógrafos son increíblemente poderosos, también son pesados y exigentes. Requieren enormes cantidades de potencia de cálculo y electricidad para funcionar, lo que los hace difíciles de usar en dispositivos más pequeños como teléfonos inteligentes, drones o robots autónomos que funcionan con baterías. Para estos dispositivos periféricos (edge devices), el objetivo no es solo ser inteligente, sino ser eficiente, equilibrando un alto rendimiento con un bajo consumo de energía para que puedan operar durante horas sin necesidad de una recarga.

Los investigadores han creído durante mucho tiempo que la mejor manera de hacer que estos sistemas fueran eficientes era simplemente reducir el número de cálculos matemáticos que realizan. En la industria, este recuento se conoce como FLOPs, una métrica estándar utilizada para estimar cuánto trabajo tiene que hacer una computadora. La suposición predominante era que menos cálculos significaban automáticamente un dispositivo más rápido y con un uso más eficiente de la energía. Sin embargo, un nuevo estudio desafía esta creencia largamente sostenida. El equipo detrás de la investigación, trabajando con el Consejo Nacional de Ciencia y Tecnología de Taiwán, sostiene que contar cálculos es una forma imperfecta de juzgar el rendimiento en el mundo real. Encontraron que un modelo con un poco más de cálculos puede, de hecho, ejecutarse más rápido y usar menos energía si su estructura interna está diseñada para trabajar mejor con el hardware físico en el que se ejecuta.

Para probar esta idea, los investigadores desarrollaron un nuevo modelo llamado MicroViTv2. Este es una versión ligera del Vision Transformer, diseñada específicamente para ejecutarse en dispositivos periféricos como el Jetson AGX Orin, una computadora potente que se utiliza a menudo en robótica y sistemas autónomos. En lugar de solo intentar recortar las matemáticas, el equipo rediseñó la arquitectura del modelo para reducir la tensión física sobre la memoria y el procesador del dispositivo. Introdujeron un método llamado re-parametrización estructural. Durante la fase de entrenamiento, el modelo aprende utilizando una estructura compleja con múltiples vías, similar a un edificio con muchos pasillos diferentes. Pero antes de que el modelo sea desplegado al mundo real, estas vías se fusionan matemáticamente en una ruta única y simplificada. Esto significa que cuando el dispositivo está ejecutando realmente el modelo, no tiene que navegar por la compleja estructura de entrenamiento; se mueve a través de una ruta directa y simplificada que es mucho más rápida de atravesar y requiere menos acceso a la memoria.

Los investigadores también refinaron cómo el modelo conecta diferentes partes de una imagen. Reemplazaron los mecanismos de atención antiguos con un nuevo componente llamado Single Depth-Wise Transposed Attention (Atención Transpuesta de Profundidad Única). Esto permite que el modelo observe la imagen completa y comprenda cómo se relacionan las partes distantes entre sí sin verse estancado por datos innecesarios. Al centrarse en cómo el modelo mueve los datos a través del hardware en lugar de solo cuántos problemas matemáticos resuelve, el equipo creó un sistema que es más amigable con las limitaciones físicas de los dispositivos reales.

Los resultados de sus experimentos, realizados en conjuntos de datos de imágenes estándar y tareas de detección de objetos, muestran un cambio claro en cómo debe medirse la eficiencia. Cuando se probó en el Jetson AGX Orin, el nuevo modelo MicroViTv2 superó a su predecesor y a varios otros modelos ligeros líderes. Logró una mayor precisión al identificar objetos mientras procesaba imágenes más rápido y utilizaba menos energía por imagen. Por ejemplo, una versión de su modelo procesó 1,883 imágenes por segundo consumiendo solo 14.9 milijulios de energía por imagen. En comparación, otros modelos con menos cálculos teóricos fueron más lentos y utilizaron más energía. El estudio demostró que el nuevo modelo mejoró la precisión hasta en un 0.5 por ciento sobre su versión anterior y superó a competidores como MobileViTv2 y EdgeNeXt tanto en velocidad como en eficiencia energética.

Crucialmente, el artículo descarta explícitamente la idea de que un menor recuento de cálculos siempre equivale a un mejor rendimiento. Los investigadores demostraron que su modelo realizó en realidad más operaciones matemáticas que algunas versiones anteriores, y aun así se ejecutó más rápido y utilizó menos electricidad. Este hallazgo sugiere que el enfoque tradicional de reducir los recuentos de cálculos es engañoso cuando se aplica al hardware real. El verdadero cuello de botella es a menudo cómo la computadora accede a su memoria y cómo se programa el software para ejecutarse en el chip. Al optimizar la estructura para que se ajuste al hardware, los investigadores demostraron que un modelo puede ser más eficiente incluso si realiza más matemáticas.

El equipo validó estos hallazgos en diferentes escenarios, incluyendo la clasificación de imágenes y la detección de objetos en escenas complejas. En cada prueba, las mejoras estructurales condujeron a mejores resultados. El estudio concluye que diseñar para la realidad física del dispositivo es más importante que simplemente minimizar la carga de trabajo teórica. Este enfoque ofrece un nuevo camino hacia adelante para crear inteligencia artificial que no solo sea inteligente, sino también práctica para los dispositivos alimentados por batería que son cada vez más comunes en nuestra vida diaria. El trabajo confirma que para construir sistemas verdaderamente eficientes, los ingenieros deben mirar más allá de los números en una página y considerar cómo el modelo se comporta realmente dentro de la máquina.

Resumen Técnico: MicroViTv2: Más allá de los FLOPS para Vision Transformers de bajo consumo en el borde (Edge)

Planteamiento del Problema
Los Vision Transformers (ViTs) han establecido un rendimiento de vanguardia en diversas tareas de visión por computadora, incluyendo clasificación, detección y segmentación. Sin embargo, su complejidad computacional y sus grandes recuentos de parámetros los hacen inadecuados para dispositivos móviles y de borde (edge) con recursos limitados. Aunque varias variantes ligeras (por ejemplo, MobileViT, EdgeNeXt) intentan cerrar esta brecha combinando sesgos inductivos convolucionales con atención eficiente, a menudo dependen excesivamente de las Operaciones de Punto Flotante (FLOPs) como la métrica principal de eficiencia. Los autores argumentan que este supuesto es engañoso; un modelo con menores FLOPs puede incurrir en una mayor latencia o costos de energía en hardware real debido a los patrones de acceso a la memoria, la programación de operadores y la sobrecarga de implementación. En consecuencia, existe una necesidad crítica de diseñar Transformers aptos para el borde que prioricen las métricas de rendimiento en dispositivos reales sobre los recuentos aritméticos teóricos.

Metodología
El artículo propone MicroViTv2, un Vision Transformer ligero optimizado para la eficiencia en dispositivos reales mediante la reparametrización estructural y el refinamiento de la atención. La arquitectura se construye sobre tres componentes principales:

Inserción de Parches Reparametrizada (RepEmbed):
Reemplazando el stem estándar y la inserción de parches, RepEmbed utiliza una estructura de múltiples ramas durante el entrenamiento que consiste en convoluciones paralelas de $3\times3$ , $1\times1$ y ramas de identidad. Estas ramas se fusionan matemáticamente en una única convolución equivalente durante la inferencia. Este diseño reduce la sobrecarga de acceso a la memoria en GPUs y NPUs, mejorando la velocidad de inferencia y la eficiencia de la extracción de características sin aumentar el costo computacional en el despliegue.
Mezclador de Convolución Depth-Wise Reparametrizado (RepDW):
Adoptado en las etapas tempranas de la red, RepDW extiende el concepto de reparametrización a las convoluciones depth-wise separables. Realiza una mezcla espacial eficiente y un submuestreo (downsampling) antes del modelado global, manteniendo un flujo de gradiente constante y un entrenamiento estable adecuado para el despliegue ligero en el borde.
Atención Transpuesta Depth-Wise Única (SDTA):
Evolucionando de la Atención de Cabezal Único Eficiente (ESHA) de su predecesor MicroViTv1, la SDTA está diseñada para capturar dependencias de largo alcance con la mínima redundancia. A diferencia de ESHA, que se centraba en la dispersión de canales, la SDTA emplea atención transpuesta junto con convoluciones depth-wise. Computa la atención a lo largo de un eje de canal fijo (por defecto 16 canales para Query y Key) en lugar de la dimensión espacial, lo que resulta en una complejidad lineal. Esto permite al modelo equilibrar eficazmente las representaciones locales y globales mientras limita la huella de memoria.

El modelo sigue una arquitectura piramidal de tres etapas donde las dos primeras etapas utilizan RepDW para la mezcla espacial, y la etapa final emplea SDTA para el modelado de dependencias globales.

Contribuciones Clave

Innovación Arquitectónica: La propuesta de MicroViTv2, que integra la reparametrización estructural (RepEmbed, RepDW) con un mecanismo de atención eficiente (SDTA) para optimizar la relación precisión-eficiencia.
Evaluación Consciente del Hardware: Una evaluación exhaustiva que demuestra que MicroViTv2 logra un throughput superior, una menor latencia y una mayor eficiencia energética en el dispositivo de borde NVIDIA Jetson AGX Orin en comparación con otros modelos ligeros de vanguardia, a pesar de tener ligeramente mayores FLOPs teóricos.
Validación Empírica de Métricas de Eficiencia: El artículo proporciona evidencia de que los FLOPs son un indicador insuficiente de la eficiencia en el mundo real. Valida que la optimización estructural y la programación de memoria son factores más decisivos para la viabilidad en dispositivos de borde que los recuentos de operaciones aritméticas.

Resultados Experimentales
Los experimentos se realizaron en los conjuntos de datos de clasificación ImageNet-1K y detección de objetos COCO, con el rendimiento medido en el dispositivo de borde Jetson AGX Orin.

Clasificación ImageNet-1K: Las variantes de MicroViTv2 superaron consistentemente a sus predecesores (MicroViTv1) y a otros modelos SOTA (por ejemplo, MobileViTv2, EdgeNeXt, EfficientViT).
- MicroViTv2-S2 logró una precisión Top-1 del 75.1%, mejorando un 0.4% respecto a MicroViTv1-S2, con un throughput de 1883.3 imágenes/s.
- MicroViTv2-S3 logró un 77.4% de precisión Top-1 con un throughput de 1335.5 imágenes/s, superando a FastViT-T8 a pesar de usar menos parámetros.
- En términos de eficiencia energética ( $\eta$ , definida como precisión por mJ por imagen), MicroViTv2-S2 alcanzó 5.04 %/(mJ/Img), superando significativamente a modelos híbridos como EdgeNeXt-XS y FastViT.
Detección de Objetos COCO: Integrado en RetinaNet, MicroViTv2-S3 logró un Promedio de Precisión ( $AP_b$ ) de 36.0, igualando a MicroViTv1-S3 mientras alcanzaba una mayor velocidad de inferencia (214.9 FPS frente a 209.1 FPS) en una GPU RTX-4090.
Estudios de Ablación: El estudio confirmó que aumentar los FLOPs no se correlaciona necesariamente con una mayor el consumo de energía. Por ejemplo, reemplazar las inserciones de parches estándar con RepEmbed aumentó los FLOPs en un 2.6% pero mejoró el throughput en un 5.1% y la eficiencia energética en un 7.2%. Por el contrario, reemplazar SDTA con la más pesada Multi-DConv Head Transposed Attention (MDTA) resultó en una caída del 43.8% en la eficiencia energética.

Significancia y Reivindicaciones
El artículo afirma que MicroViTv2 representa un paso significativo hacia el diseño de Vision Transformers prácticos y conscientes de la energía para la computación en el borde. Su principal significancia radica en desafiar el paradigma prevalente que equipara menores FLOPs con mayor eficiencia. Los autores sostienen que el diseño consciente del hardware y la reparametrización estructural son los motores clave para lograr alta precisión y bajo consumo de energía. Al demostrar que una arquitectura cuidadosamente diseñada con ligeramente mayores FLOPs puede producir una inferencia más rápida y un menor uso de energía en hardware real, el artículo establece una base para optimizar modelos más allá del paradigma de los FLOPs. El trabajo concluye que las estrategias de despliegue en el borde en el futuro deben priorizar la programación de memoria, la fusión de kernels y el diseño estructural por encima de la mera simplificación aritmética.

Más como este