UtVAA: Ultra-tiny Vision Transformer with Affix Attention for Mobile Image Classification

Resumen Técnico: UtVAA: Un Transformer de Visión Ultra-pequeño con Atención de Afijo para la Clasificación de Imágenes Móviles

Planteamiento del Problema
Aunque los Vision Transformers (ViTs) han demostrado capacidades de representación superiores en la clasificación de imágenes en comparación con las Redes Neuronales Convolucionales (CNN), su despliegue en dispositivos móviles y de borde (edge) con recursos limitados se ve obstaculizado por la complejidad cuadrática de la autoatención y el elevado número de parámetros. Las arquitecturas ligeras existentes (por ejemplo, MobileNet, ShuffleNet) a menudo tienen dificultades para realizar una extracción de características multiescala efectiva y mantener una precisión constante en diversos escenarios. Además, los métodos de compresión no arquitectónicos, como la poda (pruning) y la cuantización, suelen degradar la representación de las características. Existe una brecha crítica en el diseño sistemático de modelos transformer "ultra-pequeños" (de menos de un millón de parámetros) que mantengan un fuerte rendimiento discriminativo cumpliendo estrictamente con los presupuestos computacionales.

Metodología
El artículo propone UtVAA (Ultra-tiny Vision Transformer with Affix Attention), una arquitectura jerárquica diseñada para equilibrar el modelado de contexto global con la extracción de características locales bajo severas restricciones de recursos. El marco integra tres componentes principales:

1. Bloques de Cuello de Botella Dilatados (Dilated Bottleneck Blocks): Para expandir eficientemente el campo receptivo sin aumentar el recuento de parámetros, los autores introducen dos variantes de bloques de cuello de botella dilatados (con y sin conexiones residuales). Estos utilizan convoluciones de profundidad (depthwise) y de punto (pointwise) dilatadas. La variante residual aborda específicamente la estabilidad de la optimización y los problemas de desvanecimiento de gradiente. Este diseño reduce la complejidad computacional aproximadamente entre 8 y 9 veces en comparación con las convoluciones estándar, preservando al mismo tiempo el contexto multiescala.
2. Bloque de Atención de Afijo (Affix Attention Block): Este es el núcleo novedoso de la arquitectura, diseñado para mitigar la pérdida de información espacial común en la autoatención lineal. Emplea una arquitectura paralela en lugar de una secuencial, que consta de:
   • Bloque de Representación Local: Utiliza convoluciones separables en profundidad para capturar características de grano fino.
   • Bloque de Representación Global: Implementa una formulación de transformer lineal para modelar dependencias de largo alcance con un escalado lineal respecto al número de parches, evitando el costo cuadrático de la autoatención estándar.
   • Atención de Coordenadas (Coordinate Attention): Codifica las dependencias espaciales realizando un pooling global a lo largo de los ejes de altura y anchura por separado, capturando información direccional.
   • Fusión Ternaria: Una estrategia ligera que concatena las salidas del bloque global, la atención de coordenadas y la conexión residual, seguido de una convolución de 1×1 para integrar las representaciones locales y globales.
3. Variantes Escalables: La arquitectura se instancia en tres tamaños: Tiny (204.67K parámetros), Medium (609.36K) y Large (858.13K), lo que permite flexibilidad de despliegue según las restricciones específicas del hardware.

Contribuciones Clave

1. Bloque de Atención de Afijo: Un mecanismo de atención novedoso que codifica conjuntamente la información posicional global y local utilizando autoatención lineal y atención de coordenadas, integrada mediante una estrategia de fusión ternaria.
2. Bloques de Cuello de Botella Dilatados: Dos diseños de bloques eficientes que expanden el campo receptivo utilizando convoluciones dilatadas mientras mantienen bajos FLOPs y una optimización estable mediante conexiones residuales.
3. Arquitectura Ultra-pequeña: La integración sistemática de estos componentes en UtVAA, logrando una precisión competitiva con menos de un millón de parámetros.
4. Validación Empírica: Evaluación exhaustiva en benchmarks estándar (CIFAR-10, CIFAR-100) y conjuntos de datos agrícolas del mundo real (PlantVillage-Tomato, SLIF-Tomato).

Resultados Experimentales
Los autores evaluaron UtVAA frente a CNNs ligeras de última generación (MobileNet-V2, ShuffleNet-V2, SqueezeNet) y ViTs (MobileViT, DeiT, PiT).

• Benchmarks de CIFAR: UtVAA-Large logró la mayor precisión Top-1 tanto en CIFAR-10 (93.34%) como en CIFAR-100 (70.97%), superando a todos los métodos comparados mientras mantiene un recuento de parámetros significativamente menor que los grandes ViTs. UtVAA-Tiny alcanzó un 90.46% en CIFAR-10 con solo 204.67K parámetros y 53.95M FLOPs, demostrando un compromiso precisión-complejidad superior.
• Conjuntos de Datos de Enfermedades de Plantas: En el conjunto de datos PlantVillage-Tomato, UtVAA-Tiny logró una precisión Top-1 del 99.61%, superando a MobileNet-V2 (99.45%) y MobileViT (99.28%) con menos parámetros. En el más desafiante conjunto de datos de campo SLIF-Tomato, alcanzó una precisión del 99.66%, superando a todas las líneas base.
• Eficiencia: UtVAA-Tiny demostró la menor latencia de inferencia (8.41ms en PlantVillage, 7.45ms en SLIF) entre todos los modelos probados, incluyendo las líneas base basadas en transformers, confirmando su idoneidad para el despliegue en tiempo real en el borde (edge).
• Estudios de Ablación: Eliminar el módulo de atención de coordenadas resultó en una notable caída de la precisión (de 70.97% a 67.91% en CIFAR-100), validando su contribución a la representación de características espaciales.

Significancia y Reivindicaciones
El artículo afirma que UtVAA demuestra que los modelos de visión basados en transformers pueden rediseñarse sistemáticamente en arquitecturas ultra-pequeñas sin una pérdida significativa en el rendimiento discriminativo. Al reemplazar la autoatención computacionalmente prohibitiva con la propuesta Atención de Afijo y utilizar cuellos de botella dilatados, el modelo logra un equilibrio entre el modelado de contexto global y la eficiencia computacional. Los autores sostienen que este enfoque ofrece una alternativa arquitectónica con principios frente a la compresión post-hoc, haciendo que los vision transformers de alto rendimiento sean viables para dispositivos móviles y de borde donde la memoria y los FLOPs están estrictamente limitados. El trabajo sugiere que tales diseños ultra-compactos son particularmente efectivos para aplicaciones como la agricultura de precisión, donde la inferencia en tiempo real en hardware con recursos limitados es crítica. Se identifica como trabajo futuro la optimización consciente del hardware para microcontroladores y la extensión de la arquitectura a tareas de predicción densa como la detección de objetos y la segmentación semántica.