Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision

Imagine que você está tentando enviar uma mensagem de um cérebro (um modelo de deep learning) para uma mão robótica (uma máquina industrial) o mais rápido possível. No mundo da visão computacional industrial, velocidade é tudo. Se o robô for muito lento, ele perde um defeito em uma peça de carro ou falha ao separar uvas corretamente. Geralmente, enviar esses dados para um servidor gigante na nuvem é muito lento ou arriscado, então os engenheiros tentam rodar o "cérebro" diretamente no computador local do robô (a "borda" ou edge).

Mas aqui está a reviravolta: só porque você tem o cérebro, não significa que você tenha o serviço de entrega certo. Este artigo atua como uma enorme pista de corrida comparando quatro diferentes "caminhões de entrega" (frameworks de software) para ver qual deles leva a mensagem ao robô mais rápido. Os quatro caminhões são PyTorch (o padrão, confiável baseline), ONNX Runtime (o polivalente flexível), OpenVINO (o especialista para motores Intel) e TensorRT (o demônio da velocidade para motores NVIDIA).

Os pesquisadores não apenas adivinharam; eles realmente rodaram os mesmos três tipos de "cérebros" em quatro diferentes "chassis" (computadores) e cronometraram até o milissegundo. Aqui está o que a corrida revelou:

A Corrida de CPU: É Tudo Sobre a Marca do Motor

Quando os computadores usavam processadores Intel padrão (os tipos encontrados em muitos desktops), os resultados foram surpreendentemente consistentes. O OpenVINO foi o vencedor claro, agindo como um turbocompressor projetado especificamente para esse motor.

• Nos desktops Intel, o OpenVINO foi o mais rápido para cada modelo testado.
• Para o modelo YOLOv8 (um detector de objetos rápido), o OpenVino reduziu uma fatia massiva de tempo. No desktop Intel mais rápido (i9-9820X), ele terminou em apenas 10,9 ms, enquanto o PyTorch padrão levou 28,7 ms. Isso é um salto enorme!
• O ONNX Runtime geralmente ficava em segundo lugar, e o PyTorch era o mais lento.

No entanto, a corrida mudou completamente quando trocaram para um Jetson AGX Orin (um computador minúsculo e poderoso usado em robôs, que usa chips ARM, não Intel). De repente, o OpenVINO perdeu sua magia.

• Nesta máquina baseada em ARM, o ONNX Runtime levou a medalha de ouro.
• A diferença foi chocante para o modelo Grounding DINO (um modelo complexo que entende texto e imagens). No CPU do Jetson, o OpenVINO levou impressionantes 102.720 ms (mais de 100 segundos!), enquanto o ONNX Runtime terminou em apenas 13.580 ms. Isso é mais de sete vezes mais rápido! Isso sugere que usar o "caminhão de entrega" errado para o seu motor específico pode ser um desastre.

A Corrida de GPU: O Confronto CNN vs. Transformer

Quando os pesquisadores trocaram para poderosas placas de vídeo (GPUs) da NVIDIA, a história ficou ainda mais interessante. Eles testaram dois tipos de "cérebros":

1. CNNs (como YOLOv8 e UNet): Estas são as clássicas e confiáveis forças de trabalho da visão computacional.
2. Transformers (Grounding DINO): Estes são os modelos mais novos e chamativos que podem entender linguagem.

Para as clássicas forças de trabalho (YOLOv8 e UNet):
O TensorRT foi o campeão indiscutível. Era como ter um carro de Fórmula 1 em uma pista.

• Nos desktops com GPU, o TensorRT esmagou a competição. Para o YOLOv8 em uma RTX 2080 Ti, o TensorRT terminou em 2,100 ms, enquanto o PyTorch levou 5,270 ms.
• Mesmo no pequeno Jetson GPU, o TensorRT foi o mais rápido, terminando o YOLOv8 em 10,57 ms comparado aos 20,84 ms do PyTorch.
• O artigo sugere que, para esses tipos específicos de modelos, o TensorRT é a melhor escolha para hardware NVIDIA.

Para o novo modelo chamativo (Grounding DINO):
Aqui é onde o artigo lança uma reviravolta. O "demônio da velocidade" (TensorRT) não venceu.

• Nos GPUs NVIDIA de desktop, o PyTorch padrão foi, na verdade, o mais rápido, fornecendo o menor tempo de inferência em todos os casos testados.
• O TensorRT foi, na verdade, mais lento que o PyTorch, levando entre 1,6 e 2,1 vezes mais tempo para terminar o trabalho.
• Por exemplo, na RTX 6000, o PyTorch levou 7,780 ms, enquanto o TensorRT foi significativamente mais lento.
• A única exceção foi o Jetson GPU, onde o TensorRT venceu o PyTorch ligeiramente (1082,7 ms vs 1290,8 ms), mas ainda assim foi muito mais lento que os resultados de desktop.

A Grande Conclusão

A principal lição deste artigo é que não existe um único "melhor" software para todos. O artigo sugere que sua escolha depende inteiramente de duas coisas: que tipo de computador você tem e que tipo de modelo você está rodando.

• Se você tem um CPU Intel, use o OpenVINO.
• Se você tem um CPU ARM (como o Jetson), use o ONNX Runtime.
• Se você tem uma GPU NVIDIA e está rodando um modelo clássico (como YOLO ou UNet), use o TensorRT.
• MAS, se você tem uma GPU NVIDIA e está rodando um modelo de texto mais novo (como o Grounding DINO), o artigo sugere que você pode ser melhor se manter no PyTorch padrão em GPUs de desktop, porque as otimizações sofisticadas do TensorRT não ajudaram e, na verdade, atrasaram as coisas.

Os pesquisadores mediram esses tempos repetidas vezes (1.000 execuções por teste!) para ter certeza. Eles não apenas simularam os resultados; eles os rodaram em hardware real. Portanto, se você estiver construindo um robô industrial, não pegue apenas o software "mais rápido" que ouvir falar. Verifique seu motor e seu tipo de cérebro primeiro, ou você pode acabar com um robô que se move em câmera lenta!