A Study on Inference Latency for Vision Transformers on Mobile Devices

Este estudo analisa quantitativamente a latência de inferência de Vision Transformers em dispositivos móveis, comparando-os com redes neurais convolucionais para identificar fatores de desempenho e desenvolver um modelo preditivo preciso baseado em um extenso conjunto de dados sintéticos e reais.

O essencial

Imagine que você tem um celular moderno e quer rodar aplicativos de inteligência artificial incríveis, como reconhecimento de rostos em tempo real ou realidade aumentada, diretamente no seu bolso, sem precisar de internet. Para fazer isso, os desenvolvedores usam dois tipos de "cérebros" digitais: os antigos e confiáveis CNNs (Redes Neurais Convolucionais) e os novos e poderosos ViTs (Transformers de Visão).

Este estudo é como um teste de estrada feito por pesquisadores da Universidade do Sul da Califórnia. Eles queriam descobrir: "Os novos cérebros (ViTs) são rápidos o suficiente para o nosso celular, ou eles vão deixar o app travando?"

Aqui está o resumo da história, explicado de forma simples:

1. O Dilema: O "Super-Herói" vs. O "Trabalhador"

• Os CNNs (O Trabalhador): Eles são como um operário de construção muito eficiente. Eles olham para uma foto, peça por peça (como tijolos), e montam a imagem. Eles são rápidos e gastam pouca energia no celular.
• Os ViTs (O Super-Herói): Eles são mais inteligentes e conseguem ver a "foto inteira" de uma vez, entendendo como todas as partes se relacionam (como um detetive que vê o crime inteiro, não apenas uma pista). Isso os torna muito precisos, mas... eles são muito exigentes.

A Descoberta: Os pesquisadores descobriram que, embora os ViTs sejam mais inteligentes, eles são como um carro de Fórmula 1 tentando andar no trânsito de São Paulo. Eles consomem muita memória e demoram mais para processar do que os CNNs, mesmo quando têm a mesma "força bruta" teórica.

2. Por que os ViTs travam no celular? (Os 3 Vilões)

O estudo apontou três motivos principais para essa lentidão:

• A Memória é o Gargalo: Imagine que o ViT precisa ler um livro inteiro para entender uma frase, enquanto o CNN apenas lê uma linha. No celular, a memória (RAM) é pequena. Os ViTs precisam "viajar" muito mais dados pela memória do que os CNNs, o que cansa o dispositivo.
• A "Dança" dos Dados (Formato de Memória): Para processar uma imagem, o ViT precisa mudar a forma como os dados estão organizados na memória (como mudar de uma pilha de pratos para uma fileira de pratos). Essa troca constante gasta tempo. O estudo mostrou que, se você organizar os dados de um jeito específico (como "último canal" em vez de "primeiro canal"), o ViT fica muito mais rápido, como se tivesse encontrado um atalho na estrada.
• O "GELU" e o Framework: Os ViTs usam uma função matemática chamada GELU para tomar decisões. O problema é que, dependendo do número que entra nessa função, ela pode demorar muito mais para calcular (é como se a calculadora do celular ficasse lenta para números específicos). Além disso, diferentes "fábricas" de software (como PyTorch e TensorFlow) tratam esses cálculos de formas diferentes, e uma pode ser muito mais eficiente que a outra no celular.

3. A Solução: O "Oráculo" de Latência

Sabendo que testar cada novo modelo de ViT no celular é demorado e caro (como testar cada novo carro em uma pista real antes de vender), os pesquisadores criaram algo genial:

• O Laboratório Sintético: Eles criaram 1.000 "ViTs de mentira" (sintéticos) com peças variadas para ver como cada combinação se comportava.
• O Oráculo (Preditor): Eles treinaram uma inteligência artificial simples para aprender com esses testes. Agora, se um desenvolvedor quiser criar um novo ViT, ele pode perguntar ao "Oráculo": "Se eu fizer meu modelo assim, quanto tempo ele vai demorar no meu iPhone ou Samsung?".

O Resultado: O Oráculo acerta com mais de 95% de precisão! Isso significa que os desenvolvedores podem projetar apps mais rápidos e eficientes sem precisar testar fisicamente cada um deles em dezenas de celulares diferentes.

4. Por que isso importa para você?

• Apps mais rápidos: Você terá apps de câmera, tradução e realidade aumentada que funcionam perfeitamente no seu celular, sem travar.
• Economia de Bateria: Ao escolher a arquitetura certa (nem sempre a mais inteligente, mas a mais eficiente), o celular gasta menos energia.
• Privacidade: Com modelos mais rápidos, tudo pode ser processado no seu celular, sem precisar enviar suas fotos para a nuvem.

Em resumo: Os pesquisadores provaram que os novos "cérebros" de IA (ViTs) são poderosos, mas precisam de uma "engenharia fina" para funcionar bem no celular. Eles criaram um mapa (o dataset e o preditor) para ajudar os desenvolvedores a navegar por esse terreno difícil e entregar apps incríveis para nós, usuários comuns.

Resumo técnico

1. Problema e Motivação

O avanço das técnicas de aprendizado de máquina (ML) em dispositivos móveis permitiu a execução de tarefas complexas de visão computacional (CV) diretamente no dispositivo (on-device). Os Vision Transformers (ViTs) revolucionaram o campo, superando as Redes Neurais Convolucionais (CNNs) tradicionais em precisão. No entanto, o mecanismo de auto-atenção utilizado pelos ViTs é computacionalmente intensivo e possui complexidade quadrática em relação ao número de tokens (patches da imagem).

O problema central abordado é a latência de inferência desses modelos em dispositivos móveis, que possuem recursos limitados de memória e processamento. A literatura existente foca frequentemente em:

• Treinamento em GPUs de nuvem (não representativo para inferência móvel).
• Apenas CNNs ou Transformers de NLP.
• Um único framework de ML (geralmente TensorFlow Lite).

Há uma lacuna significativa no entendimento de como os ViTs modernos (com arquiteturas híbridas e eficientes) se comportam em CPUs heterogêneas de celulares, como a latência é afetada por formatos de memória, funções de ativação e diferentes frameworks (PyTorch Mobile vs. TFLite).

2. Metodologia

Os autores adotaram uma abordagem quantitativa e sistemática dividida em três fases principais:

A. Avaliação de ViTs do Mundo Real

• Coleta de Dados: Foram analisados 190 ViTs reais (obtidos de Timm e HuggingFace) e comparados com 102 CNNs reais.
• Plataformas: Os modelos foram implantados em 6 plataformas móveis diferentes (incluindo Google Pixel 4, Samsung Galaxy S10/A03s, Motorola One Fusion, iPhone 12 e XS) cobrindo uma variedade de SoCs (Snapdragon, Exynos, Helio, Apple Silicon).
• Frameworks: Avaliação realizada principalmente no PyTorch Mobile (devido à falta de suporte para certas operações em GPUs móveis) e comparada com o TensorFlow Lite (TFLite).
• Variáveis: Medição de latência em diferentes combinações de núcleos de CPU (heterogêneos: grandes, médios e pequenos), resoluções de entrada e estados de quantização (Int8 vs. Float).

B. Análise de Insights e Gargalos

Os autores identificaram fatores críticos que diferenciam ViTs de CNNs:

1. Gargalo de Memória: ViTs são mais propensos a serem limitados pela largura de banda de memória (memory-bound) do que CNNs. Aumentos na frequência de memória impactam ViTs mais do que o aumento da frequência da CPU.
2. Formato de Memória: A necessidade de transpor tensores entre formatos channel-first (NCHW, usado em convoluções) e channel-last (NHWC, usado em atenção) gera overhead significativo. O formato NHWC mostrou-se até 2.21x mais rápido em convoluções no PyTorch Mobile.
3. Funções de Ativação (GELU): A latência da função GELU não é linear e depende dos valores de entrada (devido a aproximações na biblioteca libm), tornando a estimativa baseada apenas em FLOPs imprecisa.
4. Impacto do Framework: Implementações diferentes (XNNPACK vs. QNNPACK) causam variações drásticas. Por exemplo, a quantização no PyTorch Mobile pode degradar o desempenho em núcleos grandes devido à troca de bibliotecas de cálculo, enquanto no TFLite melhora o desempenho.

C. Construção de Dataset Sintético e Predição

• Espaço de Busca: Criaram um espaço de busca para gerar 1000 ViTs sintéticos com blocos representativos de arquiteturas state-of-the-art (SOTA), variando tamanhos de patch, taxas de expansão, tipos de normalização e misturadores de tokens (SepConv ou Attention).
• Medição: Coletaram latências desses 1000 modelos sintéticos + 190 reais nas mesmas 6 plataformas e 2 frameworks.
• Modelos de Predição: Treinaram preditores de latência usando algoritmos de ML (Lasso, Random Forest e Gradient Boosted Decision Trees - GBDT) para estimar a latência com base nas configurações da arquitetura.

3. Principais Contribuições

1. Análise Comparativa Quantitativa: O primeiro estudo abrangente comparando 190 ViTs e 102 CNNs em dispositivos móveis, revelando que ViTs com FLOPs similares às CNNs frequentemente apresentam latências maiores e maiores requisitos de memória.
2. Dataset de Latência ViT: Liberação de um dataset público contendo perfis de latência de 1190 modelos (190 reais + 1000 sintéticos) cobrindo múltiplos dispositivos, frameworks e configurações de hardware.
3. Insights de Otimização: Identificação de que o formato de memória (NHWC vs NCHW) e a escolha da função de ativação são tão críticos quanto a complexidade computacional para a latência móvel.
4. Preditores de Alta Precisão: Demonstração de que preditores baseados em ML (especificamente GBDT) treinados em dados sintéticos podem prever com alta precisão a latência de ViTs reais e sintéticos, facilitando tarefas como Neural Architecture Search (NAS) e inferência colaborativa.

4. Resultados Chave

• Latência vs. FLOPs: ViTs são consistentemente mais lentos que CNNs com FLOPs comparáveis. Por exemplo, um ViT de 5.0 GFLOPs teve 1.75x mais latência que uma CNN de 4.95 GFLOPs.
• Gargalo de Memória: 75% dos ViTs mostraram aceleração superior a 3.40x ao aumentar a frequência de memória, contra apenas 28% das CNNs.
• Precisão de Predição:
  • ViTs Sintéticos: Erros médios (MAPE) de 4.4% (PyTorch Mobile) e 4.8% (TFLite) em CPUs móveis.
  • ViTs Reais: Erros de 8.2% (PyTorch Mobile) e 6.1% (TFLite) em CPUs móveis.
  • GPUs Móveis: Precisão ainda maior em PyTorch Mobile (2.1% de erro), embora limitada por suporte de operações.
• Impacto da Quantização: A quantização (Int8) melhorou o desempenho em núcleos pequenos, mas degradou o desempenho em núcleos grandes no PyTorch Mobile devido à ineficiência da biblioteca QNNPACK para operações lineares em comparação com a XNNPACK (Float).
• Tamanho do Dataset de Treino: O modelo GBDT manteve alta precisão mesmo com conjuntos de treino pequenos (30 ViTs), sendo viável para uso em NAS onde o custo de perfilagem é alto.

5. Significado e Impacto

Este trabalho é fundamental para a comunidade de ML móvel por:

• Desmistificar a viabilidade dos ViTs: Mostra que, com arquiteturas eficientes (como EfficientViT), os ViTs podem superar CNNs em latência em cenários específicos, desafiando o consenso anterior de que ViTs são "muito caros" para móveis.
• Habilitar NAS Eficiente: Fornecer preditores precisos permite que algoritmos de busca de arquitetura (NAS) otimizem modelos para latência sem precisar implantar e testar fisicamente cada candidato em dispositivos reais, economizando tempo e recursos.
• Guiar Desenvolvedores: Os insights sobre formatos de memória e bibliotecas de cálculo fornecem diretrizes práticas para engenheiros que otimizam modelos para deployment em dispositivos com recursos restritos.
• Inferência Colaborativa: A capacidade de prever latência com precisão facilita a divisão ótima de modelos entre dispositivo e nuvem, equilibrando privacidade e desempenho.

Em suma, o artigo estabelece uma base empírica sólida para entender e otimizar a execução de Vision Transformers na próxima geração de dispositivos móveis inteligentes.