Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment

Resumo Técnico: Inferência Adaptativa Distribuída de Transformers Orientada a Perfilamento em Implantação de Borda Embutida

Declaração do Problema
A implantação de modelos Transformer em dispositivos de borda embutidos, como o NVIDIA Jetson Orin Nano, é limitada por recursos de memória e computação restritos. Embora distribuir a inferência entre múltiplos dispositivos ofereça uma solução potencial, pesquisas anteriores baseadas em simulações falharam em contabilizar gargalos de hardware específicos inerentes às arquiteturas de Sistema em Chip (SoC) embutidos. Especificamente, a falta de caminhos PCIe ou NVLink em GPUs integradas impede o uso de backends de comunicação eficiente entre GPUs, como o NCCL. Consequentemente, a inferência distribuída deve depender do backend GLOO, o que força todo o dados inter-dispositivo a ser estagiado através da memória da CPU hospedeira. Este trabalho identifica que essa sobrecarga de estágio CPU–GPU, e não a largura de banda da rede, é o gargalo dominante. Para modelos de tamanho médio (por exemplo, ViT) operando em pequenos tamanhos de lote, o custo fixo de estagiar e sincronizar tensores intermediários completos torna as abordagens distribuídas padrão (como "Voltage") mais lentas e menos energeticamente eficientes do que a inferência em dispositivo único.

Metodologia
Os autores apresentam um estudo de protótipo de hardware utilizando dois dispositivos NVIDIA Jetson Orin Nano conectados via WiFi 6E. O estudo avalia um sistema chamado Prism, que emprega compressão por Médias de Segmentos (SM) para reduzir o volume de comunicação.

• Comunicação por Médias de Segmentos: Em vez de trocar vetores de características intermediários completos (como na partição por posição), os dispositivos trocam médias por coluna de segmentos de tokens não sobrepostos. Isso reduz o volume de comunicação por um fator controlado pela Taxa de Compressão (CR).
• Adaptação Orientada a Perfilamento: Reconhecendo que o modo de execução ótimo (local vs. distribuído) depende de fatores dinâmicos como tamanho de lote, largura de banda da rede e taxa de compressão, os autores propõem uma política adaptativa. Isso envolve uma fase de perfilamento offline onde o sistema percorre várias configurações (tamanhos de lote 1–32, valores de CR e larguras de banda de rede 200–900 Mbps) para construir um mapa de desempenho.
• Decisão em Tempo de Execução: Em tempo de execução, o dispositivo terminal consulta este mapa para selecionar o modo de execução (dispositivo único ou distribuído com a CR ótima) que minimize a latência ou o consumo de energia para as condições atuais da carga de trabalho.

Principais Contribuições

1. Protótipo de Hardware e Caracterização: Os autores desenvolveram um protótipo funcional instrumentado para decomposição de latência e medição de energia por amostra. Eles quantificaram a sobrecarga de estágio CPU–GPU imposta pelo backend GLOO, demonstrando que métodos de troca de tensores completos são contraproducentes no hardware Jetson em todos os tamanhos de lote testados.
2. Política de Inferência Adaptativa: Eles introduziram uma política leve, orientada a perfilamento, que alterna dinamicamente entre execução local e distribuída. Esta política identifica um "ponto de cruzamento" (tamanho de lote) abaixo do qual a execução local é preferida devido aos custos fixos de comunicação/estágio.
3. Análise de Sensibilidade à Largura de Banda: Experimentos revelaram que, enquanto a troca de tensores completos (Voltage) degrada severamente em larguras de banda mais baixas, a comunicação compacta por Médias de Segmentos do Prism mantém baixa latência em toda a faixa testada (200–900 Mbps), mitigando efetivamente o gargalo de estágio.

Resultados
Experimentos em modelos ViT com entradas CIFAR-10 produziram os seguintes resultados:

• Redução de Latência e Energia: Comparado a uma configuração distribuída estática usando troca de tensores completos (Voltage), a estratégia adaptativa Prism reduziu a latência em 65%–77% e o consumo de energia em 34%–52% em todos os tamanhos de lote.
• Domínio do Estágio: Para a linha de base Voltage, a transferência de I/O CPU–GPU dominou o orçamento de latência, frequentemente excedendo a latência total da inferência em dispositivo único mesmo no tamanho de lote 1. O Prism reduziu o volume de dados estagiados em aproximadamente 90%, deslocando o gargalo de volta para a computação.
• Compensações de Precisão: Em uma taxa de compressão alta (CR = 9,9), a precisão caiu de 98,01% para 95,64%, mas recuperou para 97,43% após ajuste fino. Taxas de compressão mais baixas (CR = 3,3) mantiveram 97,06% de precisão sem ajuste fino, mas ofereceram menos aceleração de comunicação.
• Ponto de Cruzamento: A política de perfilamento identificou corretamente que, para pequenos tamanhos de lote (1–4), a execução em dispositivo único é superior. A execução distribuída torna-se benéfica apenas em tamanhos de lote maiores (por exemplo, lote 8 e acima), onde o custo de comunicação é amortizado sobre mais amostras.

Significado e Alegações
O trabalho alega que a adaptação orientada a perfilamento é essencial para a inferência distribuída prática de Transformers em hardware embutido. Os autores afirmam que modelos teóricos ou simulações são insuficientes porque ignoram os custos específicos de estágio CPU–GPU de GPUs integradas. Ao demonstrar que uma simples varredura de perfilamento offline pode guiar decisões em tempo de execução, o trabalho fornece uma base prática para a implantação de modelos fundamentais na borda. O estudo conclui que, embora a compressão (Prism) mitigue significativamente o gargalo de estágio do GLOO, ela não o elimina; portanto, políticas adaptativas que retornam à execução local quando as sobrecargas são excessivamente altas são necessárias para implantações reais na borda. Os autores posicionam seu ambiente de teste e metodologia como uma caracterização rigorosa dos benefícios e limitações remanescentes da inferência distribuída baseada em GLOO.