Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices

Dit artikel evalueert state-of-the-art objectdetectiemodellen op diverse randapparaten om de afwegingen tussen nauwkeurigheid, inferentiesnelheid en energie-efficiëntie te analyseren, en biedt uiteindelijk praktische richtlijnen voor het selecteren van optimale model-apparaatcombinaties voor real-time toepassingen.

De kern

Stel je voor dat je een beveiligingscamera-systeem wilt bouwen voor een kleine winkel, maar je kunt het niet aansluiten op een enorme, dure cloudserver. In plaats daarvan moet de camera ter plekke "nadenken" en indringers opsporen, met behulp van een klein, batterij-aangedreven computer. Dit is de wereld van Edge Computing: het zware werk lokaal doen in plaats van data naar de cloud te sturen.

Dit artikel is als een auto-review voor kleine computers, maar in plaats van te testen hoe snel ze rijden, hebben de auteurs getest hoe goed ze objecten (zoals mensen, auto's of dieren) kunnen "zien" en identificeren met verschillende soorten AI-software.

Hier is de uitleg van hun experiment in eenvoudige bewoordingen:

De Kandidaten: De "Hersenen" (AI-modellen)

De onderzoekers testten drie verschillende families van AI-"hersenen" die zijn ontworpen om objecten op te sporen. Denk hierbij aan verschillende soorten detectives:

1. YOLOv8 (You Only Look Once): Dit zijn de hoogpresterende detectives.
   • De "Medium"-versie: Een senior detective die ongelooflijk nauwkeurig is, maar lang nodig heeft om na te denken en snel moe wordt (veel batterij verbruikt).
   • De "Nano"- en "Small"-versies: Junior detectives die sneller zijn en minder energie verbruiken, maar misschien een paar details missen.
2. SSD (Single Shot Detector): Dit zijn de sprinters.
   • Ze zijn zeer snel en verbruiken zeer weinig energie, maar ze zijn niet zo goed in het opsporen van lastige of kleine objecten. Ze zijn als een bewaker die een snelle patrouille loopt, maar misschien een sluwe dief mist.
3. EfficientDet Lite: Dit zijn de gebalanceerde detectives. Ze proberen een middenweg te vinden tussen snelheid en nauwkeurigheid.

Het Racecircuit: De "Spieren" (Edge-apparaten)

De auteurs testten deze detectives op verschillende soorten kleine computers, die fungeren als het lichaam voor de hersenen:

• Raspberry Pi (Modellen 3, 4 en 5): Dit zijn de "Zweedse zakmessen" van de computwereld. Ze zijn goedkoop, klein en populair. De auteurs testten ze zowel alleen als met een speciale USB-stick aangesloten (een TPU genoemd) die fungeert als een turbocharger om hen sneller te laten denken.
• NVIDIA Jetson Orin Nano: Dit is de "Sportauto" van de groep. Het is duurder en krachtiger, en speciaal ontworpen voor zware AI-taken.

De Raceuitslagen: Snelheid, Batterij en Nauwkeurigheid

De onderzoekers liepen een marathon waarbij ze elke computer vroegen om objecten in duizenden foto's te identificeren. Ze maten drie dingen:

1. Hoe lang het duurde om een object te spotten (Inferenti Tijd).
2. Hoeveel batterij het per foto verbruikte (Energieverbruik).
3. Hoeveel objecten ze daadwerkelijk correct vonden (Nauwkeurigheid/mAP).

Hier is wat ze ontdekten:

• De "Snel & Zuinig"-winnaar: De SSD-modellen waren de duidelijke winnaars voor snelheid en batterijduur. Ze waren als een marathonloper die heel weinig eet en snel rent, maar ze waren niet de besten in het spotten van elk detail.
• De "Nauwkeurig maar Hongerig"-winnaar: Het YOLOv8 Medium-model was de meest nauwkeurige detective, die de meeste objecten correct vond. Het was echter traag en at veel batterij op, als een luxe auto met een slecht brandstofverbruik.
• Het "Turbocharger"-effect: Toen ze de TPU-versneller (de USB-stick) aan de Raspberry PIs toevoegden, was het alsof je een fiets een straalmotor gaf.
  • Voor de SSD- en EfficientDet-modellen maakte de TPU ze ongelooflijk snel en efficiënt zonder hun nauwkeurigheid te schaden.
  • Echter, voor de YOLOv8-modellen dwong de TPU hen om hun "hersenen" te verkleinen (het model te comprimeren) om te passen. Dit maakte ze sneller, maar ze werden minder nauwkeurig, als een senior detective die gedwongen wordt een blinddoek te dragen om sneller te rennen.
• De "Sportauto"-kampioen: De Jetson Orin Nano was de algehele kampioen. Het was het snelst en energiezuinigst voor de zware YOLOv8-modellen. Het kon de grote, nauwkeurige modellen aan zonder te vertragen of de batterij te snel leeg te trekken.

De Grote Les

Er is geen enkele "perfecte" keuze. Het hangt af van wat je nodig hebt:

• Als je maximale snelheid en batterijduur nodig hebt (zoals een drone die urenlang vliegt), moet je het SSD-model kiezen op een Raspberry Pi met een TPU.
• Als je maximale nauwkeurigheid nodig hebt (zoals een zelfrijdende auto die elke voetganger moet zien) en een krachtig apparaat hebt, is de Jetson Orin Nano die YOLOv8 draait de beste optie.
• Als je een begroting hebt en een balans nodig, is de Raspberry Pi 4 of 5 met EfficientDet een solide middenweg.

Kortom, het artikel leert ons dat het bouwen van slimme, lokale AI een evenwichtsoefening is. Je moet kiezen tussen hoe snel je wilt dat de computer is, hoeveel batterij het kan missen en hoe slim het moet zijn. Er is geen gratis lunch, maar het kennen van deze afwegingen helpt je het juiste systeem te bouwen voor je specifieke taak.

Technische samenvatting

1. Probleemstelling

Moderne toepassingen, met name autonome voertuigen en real-time bewaking, vereisen de implementatie van deep learning-objectdetectiealgoritmen op edge-apparaten met beperkte middelen. Hoewel cloud computing hoge prestaties biedt, introduceert het latentie- en afhankelijkheidsproblemen. Edge computing lost dit op, maar brengt aanzienlijke uitdagingen met zich mee:

• Beperkte middelen: Edge-apparaten (bijv. Raspberry Pi, Jetson) hebben beperkte CPU/GPU-prestaties, geheugen en batterijduur.
• Het afwegingsdilemma: Er is een gebrek aan een volledig begrip van de afwegingen tussen nauwkeurigheid (mAP), inference-snelheid (latentie) en energie-efficiëntie over verschillende modellen en hardwareconfiguraties.
• Gat in de literatuur: Bestaande studies richten zich vaak op specifieke modellen of missen een gelijktijdige evaluatie van energieverbruik, inferentietyd en nauwkeurigheid over een breed scala aan moderne modellen (zoals YOLOv8) en diverse hardware (inclusief TPUs en nieuwere Jetson-modules).

2. Methodologie

Experimentele Opstelling

De auteurs voerden een uitgebreide benchmarkstudie uit die het volgende omvatte:

• Edge-apparaten:
  • Raspberry Pi-serie: Pi 3 Model B+, Pi 4 Model B en Pi 5.
  • Acceleratoren: Google Coral USB-acceleratoren (Edge TPU) aangesloten op de Pi-modellen.
  • High-Performance Edge: NVIDIA Jetson Orin Nano (4 GB RAM).
• Objectdetectiemodellen:
  • YOLOv8: Nano-, Small- en Medium-varianten.
  • EfficientDet Lite: Lite0, Lite1 en Lite2.
  • SSD: SSD MobileNet V1 en SSDLite MobileDet.
• Frameworks en Implementatie:
  • PyTorch: Gebruikt voor native YOLOv8-implementatie op Pis.
  • TensorFlow Lite (TFLite): Gebruikt voor modellen op Pis met TPUs (modellen werden gecomprimeerd van 640x640 naar 320x320 invoeroplossing om te voldoen aan TPU-beperkingen).
  • TensorRT: Gebruikt voor het optimaliseren van modellen op de Jetson Orin Nano.
  • Webdienst: Modellen werden geïmplementeerd als Flask-API-webdiensten om real-world verzoekverwerking te simuleren.

Evaluatiemetrics

De studie mat drie kritieke metrics:

1. Inferentietyd: Tijd nodig om een afbeelding te verwerken (exclusief voor-/nascherming), gemeten in milliseconden.
2. Energieverbruik: Berekend als Energie per verzoek (exclusief basisenergie).
   • Formule: $E_{excR} = \frac{TE - BE}{NR}$
   • Waar $TE$ het Totale Energieverbruik is, $BE$ de Basisenergie (idle) en $NR$ het Aantal Verzoeken.
3. Nauwkeurigheid: Mean Average Precision (mAP) geëvalueerd op het COCO-validatiedataset (5.000 afbeeldingen) met behulp van de FiftyOne-tool.

Automatisering

• Locust: Gebruikt om geautomatiseerde, sequentiële HTTP-verzoeken naar de API-eindpunten te genereren gedurende intervallen van 5 minuten om doorvoer en energie te meten.
• Vermogensmeter: Een UM25C USB-energiemeter met Bluetooth-connectiviteit mat het real-time energieverbruik.

3. Belangrijkste Bijdragen

1. Uitgebreide Benchmarking: Een unieke evaluatie van state-of-the-art modellen (YOLOv8, EfficientDet Lite, SSD) over een diverse reeks hardware (Pi 3/4/5, TPUs, Jetson Orin Nano).
2. Holistische Metrics: Gelijktijdige meting van Nauwkeurigheid, Latentie en Energie-efficiëntie (per verzoek), waardoor een meerdimensionaal beeld van prestaties ontstaat.
3. Framework-optimalisatie: Gedemonstreerd de impact van verschillende implementatieframeworks (PyTorch, TFLite, TensorRT) en compressie van de invoeroplossing op TPU-hardware.
4. Praktische Richtlijnen: Actiegerichte inzichten geboden voor professionals bij het selecteren van het optimale model-apparaatpaar op basis van specifieke toepassingsbeperkingen (bijv. batterijduur versus real-time snelheid).

4. Belangrijkste Resultaten

Energieverbruik

• Meest Efficiënt: SSD MobileNet V1 verbruikte consistent de minste energie per verzoek over alle apparaten.
• Minder Efficiënt: YOLOv8 Medium had het hoogste energieverbruik.
• Apparaatprestaties:
  • Jetson Orin Nano was het meest energie-efficiënte apparaat voor het verwerken van verzoeken, ondanks het hoogste idle-vermogen.
  • TPU-impact: Het toevoegen van een TPU verlaagde het energieverbruik per verzoek voor alle modellen, maar verhoogde het basis-idle-energieverbruik van het apparaat (met 9% tot 46%, afhankelijk van het Pi-model).
  • Generatiekloof: Pi 4 en Pi 5 waren energie-efficiënter dan Pi 3.

Inferentietyd (Snelheid)

• Snelste Modellen: SSD MobileNet V1 was het snelste model op alle platformen.
• Langzaamste Modellen: YOLOv8 Medium was consistent het langzaamst.
• Hardware-versnelling:
  • TPUs: Verminderden de inferentietyden aanzienlijk (bijv. SSD_v1 op Pi 3+TPU daalde van 427ms naar 61ms).
  • Jetson Orin Nano: Bereikte de laagste absolute inferentietyden (bijv. YOLOv8 Nano op 16ms), en presteerde zelfs beter dan TPU-versnelde Pis.

Nauwkeurigheid (mAP)

• Hoogste Nauwkeurigheid: YOLOv8 Medium behaalde de hoogste mAP (44 op standaard Pis).
• Laagste Nauwkeurigheid: SSD MobileNet V1 had de laagste mAP (19).
• TPU-impact op Nauwkeurigheid:
  • EfficientDet & SSD: De nauwkeurigheid bleef stabiel bij implementatie op TPUs.
  • YOLOv8: De nauwkeurigheid daalde aanzienlijk op Pis met TPUs (bijv. YOLOv8 Nano daalde van 31 mAP naar 16 mAP) vanwege de vereiste modelcompressie (verlaging van de invoeroplossing van 640x640 naar 320x320).
• Jetson-impact: Jetson Orin Nano behield een hoge nauwkeurigheid voor YOLOv8, maar toonde een lichte daling in mAP voor SSD- en EfficientDet-modellen in vergelijking met Pis.

Afwegingsanalyse (Pareto-Front)

• SSD-modellen: Tonen een lineaire correlatie tussen energie en tijd. Jetson Orin Nano en Pi 5+TPU vormden de "Pareto-front" (beste balans).
• YOLOv8: Jetson Orin Nano bleek de superieure keuze, met de beste balans tussen snelheid, energie en nauwkeurigheid zonder de nauwkeurigheidsstraf die op TPUs werd waargenomen.

5. Betekenis en Conclusie

Het artikel concludeert dat er geen enkele "beste" configuratie is; de keuze hangt af van de specifieke toepassingsvereisten:

• Voor Maximale Nauwkeurigheid: YOLOv8 Medium op Jetson Orin Nano is de optimale keuze.
• Voor Maximale Snelheid/Energie-efficiëntie: SSD MobileNet V1 op Jetson Orin Nano of Pi 5 met TPU wordt geprefereerd.
• Kritiek Inzicht: Hoewel Edge TPUs de snelheid drastisch verbeteren en het energieverbruik per verzoek verlagen, kunnen ze de nauwkeurigheid van complexe modellen zoals YOLOv8 ernstig verslechteren vanwege beperkingen in de invoeroplossing. Daarom zijn voor implementaties van YOLOv8 met hoge nauwkeurigheid GPU-gebaseerde edge-apparaten (Jetson) superieur aan TPU-gebaseerde setups.

Deze studie biedt een essentiële referentie voor onderzoekers en ingenieurs die edge-AI-oplossingen ontwikkelen, met als kernpunt de noodzaak om hardwarecapaciteiten, modelarchitectuur en implementatieframeworks in evenwicht te brengen om aan real-world beperkingen te voldoen.