Beyond MACs: Hardware Efficient Architecture Design for Vision Backbones

Título: Além dos MACs: Design de Arquitetura Eficiente em Hardware para Backbones de Visão

1. O Problema

As redes de backbone de visão computacional são componentes centrais para aplicações modernas, desde robótica até veículos autônomos. A eficiência dessas redes é crucial para a implantação em dispositivos de borda (edge devices) e móveis.

• Limitação das Métricas Atuais: A comunidade de pesquisa tradicionalmente utiliza o número de MACs (Multiplicações e Acumulações) como o principal preditor de tempo de execução e eficiência.
• A Discrepância: O artigo demonstra que a contagem de MACs não se correlaciona linearmente com o tempo de execução real (latência) em hardware específico. Fatores como custos de acesso à memória e o grau de paralelismo do hardware têm um impacto maior na velocidade final do que a quantidade total de operações matemáticas.
• Ineficiência de Design: Arquiteturas comuns, como blocos Mobile Inverted Bottleneck (MBConv) que usam convoluções depthwise, e mecanismos de atenção padrão (MHSA) em altas resoluções, podem ser ineficientes em termos de hardware, mesmo tendo poucos MACs.

2. Metodologia e Análise Experimental

Os autores realizaram uma análise exaustiva comparando a contagem de MACs com o tempo de execução real (latência e throughput) em uma variedade de dispositivos:

• Dispositivos Testados: Nvidia A40 (GPU de servidor), Nvidia Titan RTX (GPU desktop), Nvidia Jetson TX2 (dispositivo de borda), iPhone 13 (NPU/GPU móvel) e Raspberry Pi 5 (CPU ARM).
• Análise de Componentes Chave:
  1. Convoluções Depthwise vs. Ungrouped: Demonstraram que, embora as convoluções depthwise tenham menos MACs, elas frequentemente sofrem de baixa eficiência de hardware devido a custos de acesso à memória, sendo mais lentas em GPUs desktop e dispositivos de borda do que convoluções padrão (ungrouped) com mais MACs.
  2. Fusão de Blocos MBConv: Analisaram a fusão de convoluções depthwise e pointwise em uma única convolução ungrouped. Concluíram que a fusão é mais eficiente em estágios iniciais (baixa dimensão de canais), enquanto o bloco original é preferível em estágios tardios (alta dimensão de canais).
  3. Resolução vs. Dimensão de Canais: Mostraram que operar com alta resolução e poucos canais é menos eficiente do que baixa resolução e muitos canais para a mesma quantidade de MACs.
  4. Otimização de Atenção (MHSA): Investigaram a ineficiência quadrática do Multi-Head Self-Attention (MHSA) em altas resoluções. Propuseram duas otimizações: compressão de canais e redução de resolução antes da operação de atenção.

3. Contribuições Principais: LowFormer

Com base nas descobertas acima, os autores propõem a família de modelos LowFormer, projetada para minimizar o tempo de execução em vez de apenas os MACs.

• Micro-Design: Lowtention:
  • Uma adaptação leve do MHSA.
  • Compressão de Canais: Reduz a dimensão dos canais (Q, K, V) pela metade antes da atenção e restaura após.
  • Redução de Resolução: Downsampling da resolução dos mapas de características antes da atenção e upsampling após.
  • Resultado: Reduz drasticamente a latência sem sacrificar a precisão, especialmente em resoluções de entrada altas.
• Macro-Design:
  • Arquitetura de 5 estágios inspirada em EfficientViT e MobileViT.
  • Uso de MBConvs fundidos (fused) nos estágios iniciais (canais < 256) e MBConvs originais nos estágios tardios.
  • Concentração de camadas nos estágios finais (baixa resolução), evitando camadas excessivas em alta resolução.
• Variações para Edge GPU (LowFormer-E1/E2/E3):
  • Variantes específicas para GPUs de borda (como Jetson TX2) que removem camadas de MLP (que são limitadas por memória em GPUs) e reduzem a profundidade do modelo para maximizar o paralelismo.

4. Resultados

Os modelos LowFormer foram avaliados em diversas tarefas e hardware, superando o estado da arte (SOTA) em eficiência:

• Classificação ImageNet-1K:
  • Os modelos base (B0-B3) alcançam um melhor compromisso speed-accuracy (trade-off) do que modelos concorrentes como EfficientMod, MobileOne e RepViT.
  • Exemplo: O LowFormer-B0 tem 78.4% de acurácia, com o dobro do throughput de GPU e metade da latência no Jetson TX2 em comparação ao EfficientMod-xs.
• Eficiência em Hardware:
  • Jetson TX2: As variantes Edge (E1-E3) oferecem reduções de latência significativas (até 3x mais rápido que modelos base similares) em comparação com os melhores concorrentes.
  • GPU Desktop: Alta taxa de processamento (throughput).
• Tarefas de Downstream:
  • Detecção de Objetos (COCO): Superou backbones como PVTv2 e FAT em mAP e velocidade.
  • Segmentação Semântica (ADE20K): Melhorou o mIoU mantendo baixa latência.
  • Recuperação de Imagens (GPR1200): Superioridade em throughput e precisão.
  • Rastreamento de Objetos (SMAT): A adaptação LowFormer-Track superou o baseline SMAT em todas as métricas de precisão e AUC, mantendo a mesma velocidade de quadros (FPS).
• Consumo de Energia: No Jetson TX2, os modelos LowFormer demonstraram consumo de energia competitivo, muitas vezes menor que concorrentes com acurácia similar.

5. Significância e Conclusão

O artigo é fundamental porque desafia a métrica padrão da indústria (MACs) e fornece diretrizes práticas para o design de arquiteturas eficientes em hardware real.

• Mudança de Paradigma: Demonstra que otimizar para a latência e o paralelismo do hardware é mais importante do que minimizar apenas o número de operações matemáticas.
• Versatilidade: A arquitetura LowFormer é flexível, funcionando bem em CPUs, GPUs de desktop e dispositivos de borda, e adapta-se a múltiplas tarefas de visão computacional.
• Impacto Prático: Oferece modelos prontos para uso que permitem a implantação de sistemas de visão computacional de alta precisão em dispositivos com recursos limitados, acelerando o desenvolvimento de aplicações em tempo real.

Em resumo, o LowFormer representa um avanço significativo ao alinhar o design da arquitetura de rede neural com as características físicas do hardware de execução, resultando em modelos mais rápidos e eficientes sem perda de precisão.