Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision

Stellen Sie sich vor, Sie versuchen, eine Nachricht von einem Gehirn (einem Deep-Learning-Modell) an eine Roboterhand (eine Industriemaschine) so schnell wie möglich zu übermitteln. In der Welt der industriellen maschinellen Bildverarbeitung ist Geschwindigkeit alles. Wenn der Roboter zu langsam ist, übersieht er einen Defekt an einem Autoteil oder scheitert beim Sortieren von Weintrauben. Normalerweise ist das Senden dieser Daten an einen riesigen Cloud-Server zu langsam oder zu riskant, daher versuchen Ingenieure, das „Gehirn“ direkt auf dem lokalen Computer des Roboters (dem „Edge“) laufen zu lassen.

Aber hier kommt der Clou: Nur weil man das Gehirn hat, bedeutet das nicht, dass man auch den richtigen Lieferdienst besitzt. Dieses Paper fungiert wie ein massiver Rennstreckentest, bei dem vier verschiedene „Lieferwagen“ (Software-Frameworks) verglichen werden, um zu sehen, welcher die Nachricht am schnellsten zum Roboter bringt. Die vier Lastwagen sind PyTorch (der Standard, zuverlässige Baseline), ONNX Runtime (der flexible Allrounder), OpenVINO (der Spezialist für Intel-Engines) und TensorRT (der Geschwindigkeitsdämon für NVIDIA-Engines).

Die Forscher haben nicht nur geraten; sie haben tatsächlich dieselben drei Arten von „Gehirnen“ auf vier verschiedenen „Chassis“ (Computern) laufen lassen und sie bis auf die Millisekunde genau gemessen. Hier ist, was das Rennen enthüllte:

Das CPU-Rennen: Es kommt auf die Marken-Engine an

Wenn die Computer Standard-Intel-Prozessoren verwendeten (die Art, die in vielen Desktops zu finden ist), waren die Ergebnisse überraschend konsistent. OpenVINO war der klare Gewinner und wirkte wie ein Turbolader, der speziell für diesen Motor entwickelt wurde.

• Auf den Intel-Desktops war OpenVINO bei jedem getesteten Modell am schnellsten.
• Beim YOLOv8-Modell (einem schnellen Objektdetektor) sparte OpenVINO eine massive Menge Zeit ein. Auf dem schnellsten Intel-Desktop (i9-9820X) schloss es den Vorgang in nur 10,9 ms ab, während das Standard-PyTorch 28,7 ms benötigte. Das ist ein riesiger Sprung!
• ONNX Runtime belegte meist den zweiten Platz, und PyTorch war am langsamsten.

Das Rennen änderte sich jedoch komplett, als sie zu einem Jetson AGX Orin wechselten (einem winzigen, leistungsstarken Computer für Roboter, der ARM-Chips verwendet, keine Intel-Chips). Plötzlich verlor OpenVINO seinen Zauber.

• Auf dieser ARM-basierten Maschine holte ONNX Runtime die Goldmedaille.
• Der Unterschied war schockierend beim Grounding DINO-Modell (ein komplexes Modell, das Text und Bilder versteht). Auf der Jetson-CPU benötigte OpenVINO atemberaubende 102.720 ms (über 100 Sekunden!), während ONNX Runtime nur 13.580 ms brauchte. Das ist mehr als siebenmal schneller! Dies deutet darauf hin, dass die Verwendung des „falschen“ Lieferwagens für Ihren spezifischen Motor eine Katastrophe sein kann.

Das GPU-Rennen: Das CNN vs. Transformer Showdown

Als die Forscher zu leistungsstarken Grafikkarten (GPUs) von NVIDIA wechselten, wurde die Geschichte noch interessanter. Sie testeten zwei Arten von „Gehirnen“:

1. CNNs (wie YOLOv8 und UNet): Dies sind die klassischen, zuverlässigen Arbeitspferde der Computer Vision.
2. Transformers (Grounding DINO): Dies sind die neueren, auffälligeren Modelle, die Sprache verstehen können.

Für die klassischen Arbeitspferde (YOLOv8 und UNet):
TensorRT war der unangefochtene Champion. Es war, als hätte man ein Formel-1-Auto auf einer Rennstrecke.

• Auf den Desktop-GPUs zertrümmerte TensorRT die Konkurrenz. Für YOLOv8 auf einer RTX 2080 Ti schloss TensorRT den Vorgang in 2,100 ms ab, während PyTorch 5,270 ms benötigte.
• Selbst auf der winzigen Jetson-GPU war TensorRT am schnellsten und schloss YOLOv8 in 10,57 ms ab, im Vergleich zu PyTorchs 20,84 ms.
• Das Paper legt nahe, dass TensorRT für diese spezifischen Modelltypen die beste Wahl für NVIDIA-Hardware ist.

Für das auffällige neue Modell (Grounding DINO):
Hier wirft das Paper eine Kurve. Der „Geschwindigkeitsdämon“ (TensorRT) war nicht der Gewinner.

• Auf den Desktop-NVIDIA-GPUs war das Standard-PyTorch tatsächlich am schnellsten und lieferte in allen getesteten Fällen die niedrigste Inferenzzeit.
• TensorRT war tatsächlich langsamer als PyTorch und benötigte zwischen 1,6 und 2,1 Mal länger, um die Aufgabe zu erledigen.
• Beispielsweise benötigte PyTorch auf der RTX 6000 nur 7,780 ms, während TensorRT signifikant langsamer war.
• Die einzige Ausnahme war die Jetson-GPU, wo TensorRT PyTorch leicht schlug (1082,7 ms gegenüber 1290,8 ms), aber es war immer noch viel langsamer als die Desktop-Ergebnisse.

Das große Fazit

Die wichtigste Lehre aus diesem Paper ist, dass es nicht die eine „beste“ Software für alle gibt. Das Paper legt nahe, dass Ihre Wahl vollständig von zwei Dingen abhängt: welche Art von Computer Sie haben und welche Art von Modell Sie ausführen.

• Wenn Sie eine Intel-CPU haben, verwenden Sie OpenVINO.
• Wenn Sie eine ARM-CPU haben (wie Jetson), verwenden Sie ONNX Runtime.
• Wenn Sie eine NVIDIA-GPU haben und ein klassisches Modell (wie YOLO oder UNet) ausführen, verwenden Sie TensorRT.
• ABER, wenn Sie eine NVIDIA-GPU haben und ein neueres textbasiertes Modell (wie Grounding DINO) ausführen, legt das Paper nahe, dass Sie besser beim Standard-PyTorch auf Desktop-GPUs bleiben, da die fancy Optimierungen in TensorRT nicht geholfen und die Dinge sogar verlangsamt haben.

Die Forscher haben diese Zeiten immer wieder gemessen (1.000 Durchläufe pro Test!), um sicherzugehen! Sie haben die Ergebnisse nicht nur simuliert; sie haben sie auf echter Hardware laufen lassen. Wenn Sie also einen industriellen Roboter bauen, greifen Sie nicht einfach nach der „schnellsten“ Software, von der Sie gehört haben. Überprüfen Sie zuerst Ihren Motor und Ihren Gehirntyp, sonst endet Ihr Roboter vielleicht in Zeitlupe!