UtVAA: Ultra-tiny Vision Transformer with Affix Attention for Mobile Image Classification

Resumo Técnico: UtVAA: Ultra-tiny Vision Transformer com Affix Attention para Classificação de Imagens em Dispositivos Móveis

Declaração do Problema
Embora os Vision Transformers (ViTs) tenham demonstrado capacidades de representação superiores à classificação de imagens em comparação com as Redes Neurais Convolucionais (CNNs), sua implantação em dispositivos móveis e de borda (edge) com recursos limitados é dificultada pela complexidade quadrática da autoatenção e pelas grandes contagens de parâmetros. As arquiteturas leves existentes (ex: MobileNet, ShuffleNet) frequentemente lutam para realizar uma extração de características multiescala eficaz e manter uma alta precisão consistente em diversos cenários. Além disso, métodos de compressão não arquiteturais, como poda (pruning) e quantização, frequentemente degradam a representação de características. Existe uma lacuna crítica no design sistemático de modelos transformer "ultra-pequenos" (sub-milhão de parâmetros) que mantenham um forte desempenho discriminativo enquanto aderem a orçamentos computacionais rigorosos.

Metodologia
O artigo propõe o UtVAA (Ultra-tiny Vision Transformer with Affix Attention), uma arquitetura hierárquica projetada para equilibrar a modelagem de contexto global com a extração de características locais sob severas restrições de recursos. O framework integra três componentes principais:

1. Blocos de Gargalo Dilatado (Dilated Bottleneck Blocks): Para expandir o campo receptivo de forma eficiente sem aumentar a contagem de parâmetros, os autores introduzem duas variantes de blocos de Gargalo Dilatado (com e sem conexões residuais). Estes utilizam convoluções depthwise e pointwise dilatadas. A variante residual aborda especificamente a estabilidade da otimização e os problemas de desaparecimento do gradiente (vanishing gradient). Este design reduz a complexidade computacional em aproximadamente 8 a 9 vezes em comparação com convoluções padrão, preservando o contexto multiescala.
2. Bloco de Atenção Affix (Affix Attention Block): Este é o núcleo inovador da arquitetura, projetado para mitigar a perda de informação espacial comum na autoatenção linear. Ele emprega uma arquitetura paralela em vez de uma sequencial, consistindo em:
   • Bloco de Representação Local: Utiliza convoluções separáveis por profundidade (depthwise separable convolutions) para capturar características finas.
   • Bloco de Representação Global: Implementa uma formulação de transformer linear para modelar dependências de longo alcance com escalonamento linear em relação ao número de patches, evitando o custo quadrático da autoatenção padrão.
   • Atenção de Coordenadas (Coordinate Attention): Codifica dependências espaciais realizando o pooling global ao longo dos eixos de altura e largura separadamente, capturando informações direcionais.
   • Fusão Ternária: Uma estratégia leve que concatena as saídas do bloco global, da atenção de coordenadas e da conexão residual, seguida por uma convolução 1×1 para integrar as representações locais e globais.
3. Variantes Escaláveis: A arquitetura é instanciada em três tamanhos: Tiny (204,67K parâmetros), Medium (609,36K) e Large (858,13K), permitindo flexibilidade de implantação baseada em restrições específicas de hardware.

Principais Contribuições

1. Bloco de Atenção Affix: Um mecanismo de atenção inovador que codifica conjuntamente informações posicionais globais e locais usando autoatenção linear e atenção de coordenadas, integradas via uma estratégia de fusão ternária.
2. Blocos de Gargalo Dilatado: Dois designs de blocos eficientes que expandem o campo receptivo usando convoluções dilatadas, mantendo baixos FLOPs e otimização estável através de conexões residuais.
3. Arquitetura Ultra-pequena (Ultra-tiny): A integração sistemática destes componentes no UtVAA, alcançando uma precisão competitiva com menos de um milhão de parâmetros.
4. Validação Empírica: Avaliação abrangente em benchmarks padrão (CIFAR-10, CIFAR-100) e conjuntos de dados agrícolas do mundo real (PlantVillage-Tomato, SLIF-Tomato).

Resultados Experimentais
Os autores avaliaram o UtVAA contra CNNs leves de última geração (MobileNet-V2, ShuffleNet-V2, SqueezeNet) e ViTs (MobileViT, DeiT, PiT).

• Benchmarks CIFAR: O UtVAA-Large alcançou a maior precisão Top-1 tanto no CIFAR-10 (93,34%) quanto no CIFAR-100 (70,97%), superando todos os métodos comparados enquanto mantém uma contagem de parâmetros significativamente menor que os grandes ViTs. O UtVAA-Tiny alcançou 90,46% no CIFAR-10 com apenas 204,67K parâmetros e 53,95M FLOPs, demonstrando um trade-off superior entre precisão e complexidade.
• Conjuntos de Dados de Doenças de Plantas: No conjunto de dados PlantVillage-Tomato, o UtVAA-Tiny alcançou 99,61% de precisão Top-1, superando o MobileNet-V2 (99,45%) e o MobileViT (99,28%) com menos parâmetros. No mais desafiador conjunto de dados de campo SLIF-Tomato, alcançou 99,66% de precisão, superando todas as linhas de base (baselines).
• Eficiência: O UtVAA-Tiny demonstrou a menor latência de inferência (8,41ms no PlantVillage, 7,45ms no SLIF) entre todos os modelos testados, incluindo as baselines baseadas em transformer, confirmando sua adequação para implantação em tempo real na borda.
• Estudos de Ablação: A remoção do módulo de atenção de coordenadas resultou em uma queda notável na precisão (de 70,97% para 67,91% no CIFAR-100), validando sua contribuição para a representação de características espaciais.

Significância e Alegações
O artigo afirma que o UtVAA demonstra que modelos de visão baseados em transformer podem ser sistematicamente redesenhados em arquiteturas ultra-pequenas sem perda significativa de desempenho discriminativo. Ao substituir a autoatenção computacionalmente proibitiva pelo proposto Affix Attention e utilizar gargalos dilatados, o modelo alcança um equilíbrio entre modelagem de contexto global e eficiência computacional. Os autores afirmam que esta abordagem oferece uma alternativa arquitetural principista à compressão post-hoc, tornando os vision transformers de alto desempenho viáveis para dispositivos móveis e de borda onde memória e FLOPs são estritamente limitados. O trabalho sugere que tais designs ultra-compactos são particularmente eficazes para aplicações como agricultura de precisão, onde a inferência em tempo real em hardware com recursos limitados é crítica. O trabalho futuro é identificado com foco na otimização consciente de hardware para microcontroladores e na extensão da arquitetura para tarefas de predição densa, como detecção de objetos e segmentação semântica.