Ask the Expert: Collaborative Inference for Vision Transformers with Near-Edge Accelerators

Título: Ask the Expert: Inferência Colaborativa para Vision Transformers com Aceleradores Near-Edge

1. O Problema

A implementação de Vision Transformers (ViTs) em dispositivos de borda (como Raspberry Pi) é extremamente desafiadora devido à sua alta complexidade computacional e número de parâmetros. Embora a execução local garanta baixa latência de comunicação, ela é frequentemente inviável para modelos grandes, resultando em tempos de inferência proibitivos. Por outro lado, o offloading completo para a nuvem introduz latências significativas devido ao tempo de ida e volta (RTT) de rede e consome muita largura de banda.

Existem aceleradores de hardware intermediários ("near-edge", como Nvidia Jetson Orin) que oferecem capacidade de processamento superior à borda, mas inferior à nuvem. O desafio central é criar um paradigma de inferência que:

1. Aproveite a proximidade dos dados na borda.
2. Utilize a capacidade computacional dos aceleradores near-edge.
3. Evite a sobrecarga de comunicação da nuvem e a lentidão da borda pura.
4. Supere as limitações de arquiteturas existentes (como Split Inference ou Early Exits), que não funcionam bem em ViTs devido à falta de "gargalos" naturais e dependências complexas de auto-atenção global.

2. Metodologia Proposta

Os autores propõem um framework de inferência colaborativa que orquestra um modelo ViT leve (generalista) na borda e múltiplos modelos ViT de tamanho médio (especialistas) em um acelerador near-edge.

A. Arquitetura do Sistema

• Borda: Executa um modelo ViT leve e rápido (ex: DeiT-3H).
• Near-Edge: Hospeda uma biblioteca de modelos especialistas (ex: DeiT-4H ou DeiT-6H), cada um treinado para ser altamente preciso em subconjuntos específicos de classes do dataset.

B. Mecanismo de Roteamento Top-k (Zero-Overhead)

Em vez de usar um classificador de dificuldade separado (o que adicionaria latência), o sistema utiliza as previsões do próprio modelo de borda:

1. O modelo de borda processa a entrada localmente.
2. Se a confiança (probabilidade máxima do softmax) for alta (acima de um limiar $\tau$), a previsão é finalizada localmente.
3. Se a confiança for baixa (amostra incerta), o sistema utiliza os índices das Top-k previsões do modelo de borda como sinal de roteamento.
4. Esses índices mapeiam diretamente para o especialista near-edge treinado especificamente para aquele subconjunto de classes. Isso elimina a necessidade de um roteador adicional, mantendo o custo computacional zero.

C. Estratégia de Treinamento de Especialista Progressivo

Para garantir que os especialistas sejam precisos em seus subconjuntos sem perder a capacidade de generalização, os autores propõem uma estratégia de Distilação Ponderada Progressiva:

• Divisão de Dados: O dataset é dividido em subconjuntos não sobrepostos.
• Treinamento Dinâmico: Durante o treinamento, o peso das amostras do subconjunto-alvo do especialista aumenta progressivamente ao longo das épocas.
• Objetivo: Inicialmente, o modelo aprende características globais de todo o dataset (via um modelo professor grande). Posteriormente, o foco desloca-se para o subconjunto específico, forçando a especialização sem degradar totalmente a representação global.
• Roteamento: O sistema garante que, para qualquer combinação de Top-k classes, exista um especialista correspondente treinado para aquele domínio.

3. Principais Contribuições

1. Framework Colaborativo ViT: Uma nova abordagem que desacopla o roteador dos especialistas, evitando a instabilidade de otimização comum em Misturas de Especialistas (MoE) tradicionais.
2. Roteamento Top-k Zero-Overhead: Utiliza as previsões existentes do modelo de borda para selecionar o especialista, eliminando a necessidade de componentes extras de roteamento.
3. Estratégia de Treinamento Progressivo: Um método inovador que equilibra a especialização em subconjuntos de dados com a manutenção da acurácia geral.
4. Validação em Testbed Real: Experimentos realizados com hardware real (Raspberry Pi 5, Jetson Orin Nano e Jetson AGX Orin) e dataset CIFAR-100.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset CIFAR-100, comparando o método proposto contra execução apenas na borda, apenas no near-edge (com modelos generalistas) e inferência colaborativa com modelos generalistas.

• Acurácia:
  • A estratégia de treinamento progressivo melhorou a acurácia de especialização em 4,12% nos subconjuntos-alvo em comparação com especialistas estáticos.
  • A acurácia geral do sistema aumentou 2,76% em relação a especialistas estáticos.
  • O método superou a inferência colaborativa com modelos generalistas em até 1,70% de acurácia.
• Latência:
  • Redução de latência de até 45% em comparação com a execução puramente na borda (especialmente para modelos maiores como DeiT-6H).
  • O sistema ocupa um "ponto ideal" (sweet spot), oferecendo melhor latência que a borda pura e menor latência que o offloading para a nuvem.
• Consumo de Energia:
  • Redução de consumo de energia de até 46% em comparação com o offloading completo para o near-edge (devido à redução drástica na quantidade de dados transmitidos).
  • O sistema alcança um equilíbrio "ganha-ganha" (redução simultânea de latência e energia) em cenários de confiança moderada.
• Eficiência (ROI):
  • O uso de especialistas de tamanho médio mostrou-se mais eficiente em termos de "Retorno sobre Investimento" (melhoria de acurácia por custo de latência/energia) do que o uso de modelos generalistas grandes no near-edge.

5. Significado e Impacto

Este trabalho demonstra que a colaboração entre borda e near-edge é uma solução viável e superior para a implantação de ViTs complexos em ambientes de IoT e cidades cognitivas.

• Viabilidade Econômica e Técnica: Permite o uso de hardware near-edge compartilhado, amortizando custos e reduzindo a dependência de datacenters de nuvem centralizados.
• Escalabilidade: A abordagem é particularmente eficaz em datasets maiores (como ImageNet), onde a lacuna entre a precisão Top-1 e Top-k do modelo leve é maior, oferecendo mais oportunidades para os especialistas corrigirem erros de "quase acerto".
• Sustentabilidade: Ao reduzir o consumo de energia e a latência, o framework contribui para uma IA mais sustentável e acessível em ambientes com recursos limitados ou infraestrutura precária.

Em resumo, o artigo propõe uma mudança de paradigma: em vez de tentar rodar um modelo gigante em um dispositivo pequeno ou enviar tudo para a nuvem, o sistema divide inteligentemente o trabalho, usando a borda para triagem rápida e o near-edge para refinamento especializado, maximizando eficiência e precisão.