Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices

Este artigo avalia modelos de detecção de objetos de última geração em diversos dispositivos de borda para analisar os compromissos entre precisão, velocidade de inferência e eficiência energética, fornecendo, em última análise, orientações práticas para a seleção de combinações ótimas de modelo e dispositivo para aplicações em tempo real.

O essencial

Imagine que você está tentando construir um sistema de câmeras de segurança para uma pequena loja, mas não pode conectá-lo a um servidor em nuvem massivo e caro. Em vez disso, você precisa que a câmera "pense" e identifique intrusos no local, usando um computador minúsculo e alimentado por bateria. Este é o mundo da Computação de Borda: realizar o trabalho pesado localmente, em vez de enviar dados para a nuvem.

Este artigo é como uma revisão de carro para computadores minúsculos, mas, em vez de testar quão rápido eles dirigem, os autores testaram quão bem eles conseguem "ver" e identificar objetos (como pessoas, carros ou animais) usando diferentes tipos de software de IA.

Aqui está a explicação do experimento deles em termos simples:

Os Concorrentes: Os "Cérebros" (Modelos de IA)

Os pesquisadores testaram três famílias diferentes de "cérebros" de IA projetados para detectar objetos. Pense neles como diferentes tipos de detetives:

1. YOLOv8 (You Only Look Once): Estes são os detetives de alto desempenho.
   • A versão "Média": Um detetive sênior que é incrivelmente preciso, mas leva muito tempo para pensar e cansa-se rapidamente (consome muita bateria).
   • As versões "Nano" e "Pequena": Detetives juniores que são mais rápidos e usam menos energia, mas podem perder alguns detalhes.
2. SSD (Single Shot Detector): Estes são os velocistas.
   • Eles são muito rápidos e usam muito pouca energia, mas não são tão bons em detectar objetos complicados ou pequenos. São como um guarda de segurança que faz uma patrulha rápida, mas pode perder um ladrão sorrateiro.
3. EfficientDet Lite: Estes são os detetives equilibrados. Eles tentam encontrar um meio-termo entre velocidade e precisão.

A Pista de Corrida: Os "Músculos" (Dispositivos de Borda)

Os autores testaram esses detetives em diferentes tipos de computadores minúsculos, que atuam como os corpos para os cérebros:

• Raspberry Pi (Modelos 3, 4 e 5): Estes são como as "Canivetes Suíços" do mundo da computação. São baratos, pequenos e populares. Os autores os testaram tanto sozinhos quanto com um stick USB especial conectado (chamado de TPU) que atua como um turbo para ajudá-los a pensar mais rápido.
• NVIDIA Jetson Orin Nano: Este é o "Carro Esportivo" do grupo. É mais caro e poderoso, projetado especificamente para tarefas pesadas de IA.

Os Resultados da Corrida: Velocidade, Bateria e Precisão

Os pesquisadores realizaram uma maratona onde pediram a cada computador para identificar objetos em milhares de fotos. Eles mediram três coisas:

1. Quanto tempo levou para detectar um objeto (Tempo de Inferência).
2. Quanta bateria foi usada por foto (Consumo de Energia).
3. Quantos objetos foram realmente encontrados corretamente (Precisão/mAP).

Aqui está o que eles descobriram:

• O Vencedor "Rápido e Econômico": Os modelos SSD foram os claros vencedores em velocidade e duração da bateria. Eram como um maratonista que come muito pouco e corre rápido, mas não eram os melhores em detectar cada detalhe.
• O Vencedor "Preciso, mas Faminto": O modelo YOLOv8 Médio foi o detetive mais preciso, encontrando o maior número de objetos corretamente. No entanto, era lento e consumia muita bateria, como um carro de luxo que tem baixo rendimento de combustível.
• O Efeito "Turbo": Quando adicionaram o acelerador TPU (o stick USB) aos Raspberry Pis, foi como dar um motor a jato a uma bicicleta.
  • Para os modelos SSD e EfficientDet, o TPU tornou-os incrivelmente rápidos e eficientes sem prejudicar sua precisão.
  • No entanto, para os modelos YOLOv8, o TPU forçou-os a encolher seu "cérebro" (comprimir o modelo) para caber. Isso tornou-os mais rápidos, mas menos precisos, como um detetive sênior forçado a usar uma venda para correr mais rápido.
• O Campeão "Carro Esportivo": O Jetson Orin Nano foi o campeão geral. Foi o mais rápido e energeticamente eficiente para os modelos pesados de YOLOv8. Conseguia lidar com os modelos grandes e precisos sem desacelerar ou drenar a bateria muito rápido.

A Grande Conclusão

Não há uma única escolha "perfeita". Depende do que você precisa:

• Se você precisa de velocidade máxima e duração da bateria (como um drone voando por horas), você deve escolher o modelo SSD em um Raspberry Pi com TPU.
• Se você precisa de precisão máxima (como um carro autônomo que deve ver cada pedestre) e tem um dispositivo poderoso, o Jetson Orin Nano executando YOLOv8 é a melhor aposta.
• Se você está com orçamento limitado e precisa de um equilíbrio, o Raspberry Pi 4 ou 5 com EfficientDet é um meio-termo sólido.

Em resumo, o artigo nos ensina que construir IA local inteligente é um ato de equilíbrio. Você precisa escolher entre quão rápido quer que o computador seja, quanta bateria ele pode economizar e quão inteligente ele precisa ser. Não há almoço grátis, mas conhecer essas compensações ajuda você a construir o sistema certo para o seu trabalho específico.

Resumo técnico

1. Declaração do Problema

Aplicações modernas, particularmente veículos autônomos e vigilância em tempo real, exigem a implantação de algoritmos de detecção de objetos por aprendizado profundo em dispositivos de borda com recursos limitados. Embora a computação em nuvem ofereça alto desempenho, ela introduz problemas de latência e dependência. A computação de borda resolve isso, mas apresenta desafios significativos:

• Restrições de Recursos: Dispositivos de borda (por exemplo, Raspberry Pi, Jetson) possuem poder limitado de CPU/GPU, memória e vida útil da bateria.
• O Dilema do Trade-off: Há uma falta de compreensão abrangente sobre os trade-offs entre precisão (mAP), velocidade de inferência (latência) e eficiência energética em diferentes modelos e configurações de hardware.
• Lacuna na Literatura: Estudos existentes frequentemente focam em modelos específicos ou carecem de avaliação simultânea do consumo de energia, tempo de inferência e precisão em uma ampla gama de modelos modernos (como YOLOv8) e hardware diversificado (incluindo TPUs e novos módulos Jetson).

2. Metodologia

Configuração Experimental

Os autores conduziram um estudo abrangente de benchmarking envolvendo:

• Dispositivos de Borda:
  • Série Raspberry Pi: Pi 3 Model B+, Pi 4 Model B e Pi 5.
  • Aceleradores: Aceleradores USB Google Coral (Edge TPU) conectados aos modelos Pi.
  • Borda de Alto Desempenho: NVIDIA Jetson Orin Nano (4 GB de RAM).
• Modelos de Detecção de Objetos:
  • YOLOv8: Variantes Nano, Small e Medium.
  • EfficientDet Lite: Lite0, Lite1 e Lite2.
  • SSD: SSD MobileNet V1 e SSDLite MobileDet.
• Frameworks e Implantação:
  • PyTorch: Utilizado para implantação nativa do YOLOv8 nos Pis.
  • TensorFlow Lite (TFLite): Utilizado para modelos nos Pis com TPUs (os modelos foram comprimidos de resolução de entrada 640x640 para 320x320 para atender às restrições da TPU).
  • TensorRT: Utilizado para otimizar modelos no Jetson Orin Nano.
  • Serviço Web: Os modelos foram implantados como serviços web Flask-API para simular o processamento de solicitações do mundo real.

Métricas de Avaliação

O estudo mediu três métricas críticas:

1. Tempo de Inferência: Tempo necessário para processar uma imagem (excluindo pré/pós-processamento), medido em milissegundos.
2. Consumo de Energia: Calculado como Energia por Solicitação (excluindo energia base).
   • Fórmula: $E_{excR} = \frac{TE - BE}{NR}$
   • Onde $TE$ é Energia Total, $BE$ é Energia Base (ociosa) e $NR$ é Número de Solicitações.
3. Precisão: Precisão Média (mAP) avaliada no conjunto de dados de validação COCO (5.000 imagens) usando a ferramenta FiftyOne.

Automação

• Locust: Utilizado para gerar solicitações HTTP automatizadas e sequenciais para os pontos de extremidade da API em intervalos de 5 minutos para medir a vazão e a energia.
• Medidor de Potência: Um medidor de potência USB UM25C com conectividade Bluetooth mediu o consumo de energia em tempo real.

3. Principais Contribuições

1. Benchmarking Abrangente: Uma avaliação única de modelos de última geração (YOLOv8, EfficientDet Lite, SSD) em um conjunto diversificado de hardware (Pi 3/4/5, TPUs, Jetson Orin Nano).
2. Métricas Holísticas: Medição simultânea de Precisão, Latência e Eficiência Energética (por solicitação), fornecendo uma visão multidimensional do desempenho.
3. Otimização de Frameworks: Demonstrou o impacto de diferentes frameworks de implantação (PyTorch, TFLite, TensorRT) e compressão de resolução de entrada no hardware TPU.
4. Orientação Prática: Forneceu insights acionáveis para profissionais na seleção do par modelo-dispositivo ideal com base em restrições específicas da aplicação (por exemplo, vida útil da bateria versus velocidade em tempo real).

4. Principais Resultados

Consumo de Energia

• Mais Eficiente: SSD MobileNet V1 consistentemente consumiu menos energia por solicitação em todos os dispositivos.
• Menos Eficiente: YOLOv8 Medium teve o maior consumo de energia.
• Desempenho do Dispositivo:
  • Jetson Orin Nano foi o dispositivo mais eficiente energeticamente para lidar com solicitações, apesar de ter o maior consumo de energia ociosa.
  • Impacto da TPU: Adicionar uma TPU reduziu o consumo de energia por solicitação para todos os modelos, mas aumentou o consumo de energia base ociosa do dispositivo (de 9% a 46%, dependendo do modelo Pi).
  • Lacuna Geracional: Pi 4 e Pi 5 foram mais eficientes energeticamente do que o Pi 3.

Tempo de Inferência (Velocidade)

• Modelos Mais Rápidos: SSD MobileNet V1 foi o modelo mais rápido em todas as plataformas.
• Modelos Mais Lentos: YOLOv8 Medium foi consistentemente o mais lento.
• Aceleração de Hardware:
  • TPUs: Reduziram significativamente os tempos de inferência (por exemplo, SSD_v1 no Pi 3+TPU caiu de 427ms para 61ms).
  • Jetson Orin Nano: Alcançou os menores tempos absolutos de inferência (por exemplo, YOLOv8 Nano em 16ms), superando até mesmo os Pis acelerados por TPU.

Precisão (mAP)

• Maior Precisão: YOLOv8 Medium alcançou a maior mAP (44 em Pis padrão).
• Menor Precisão: SSD MobileNet V1 teve a menor mAP (19).
• Impacto da TPU na Precisão:
  • EfficientDet & SSD: A precisão permaneceu estável quando implantada em TPUs.
  • YOLOv8: A precisão caiu significativamente em Pis com TPUs (por exemplo, YOLOv8 Nano caiu de 31 mAP para 16 mAP) devido à compressão necessária do modelo (redução da resolução de entrada de 640x640 para 320x320).
• Impacto do Jetson: Jetson Orin Nano manteve alta precisão para YOLOv8, mas mostrou uma leve diminuição na mAP para modelos SSD e EfficientDet em comparação com os Pis.

Análise de Trade-off (Frente de Pareto)

• Modelos SSD: Mostram uma correlação linear entre energia e tempo. Jetson Orin Nano e Pi 5+TPU formaram a "frente de Pareto" (melhor equilíbrio).
• YOLOv8: Jetson Orin Nano emergiu como a escolha superior, oferecendo o melhor equilíbrio de velocidade, energia e precisão sem a penalidade de precisão observada em TPUs.

5. Significado e Conclusão

O artigo conclui que não há uma única configuração "melhor"; a escolha depende dos requisitos específicos da aplicação:

• Para Precisão Máxima: YOLOv8 Medium em Jetson Orin Nano é a escolha ótima.
• Para Velocidade/Eficiência Energética Máxima: SSD MobileNet V1 em Jetson Orin Nano ou Pi 5 com TPU é preferido.
• Insight Crítico: Embora as TPUs de borda melhorem drasticamente a velocidade e reduzam a energia por solicitação, elas podem degradar severamente a precisão de modelos complexos como YOLOv8 devido às restrições de resolução de entrada. Portanto, para implantações de YOLOv8 de alta precisão, dispositivos de borda baseados em GPU (Jetson) são superiores a configurações baseadas em TPU.

Este estudo fornece uma referência vital para pesquisadores e engenheiros desenvolvendo soluções de IA de borda, destacando a necessidade de equilibrar capacidades de hardware, arquitetura de modelo e frameworks de implantação para atender a restrições do mundo real.