Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices

Ce document évalue les modèles de détection d'objets les plus avancés sur divers périphériques de bord afin d'analyser les compromis entre précision, vitesse d'inférence et efficacité énergétique, offrant ainsi des orientations pratiques pour sélectionner les combinaisons modèle-périphérique optimales pour les applications en temps réel.

L'essentiel

Imaginez que vous essayez de concevoir un système de caméra de sécurité pour une petite boutique, mais que vous ne pouvez pas le brancher à un serveur cloud massif et coûteux. Au lieu de cela, vous avez besoin que la caméra « réfléchisse » et repère les intrus sur place, en utilisant un ordinateur minuscule alimenté par batterie. C'est le monde du calcul en périphérie (Edge Computing) : faire le gros du travail localement plutôt que d'envoyer les données vers le cloud.

Ce papier est comme un test de voitures pour les ordinateurs minuscules, mais au lieu de tester leur vitesse de conduite, les auteurs ont évalué leur capacité à « voir » et à identifier des objets (comme des personnes, des voitures ou des animaux) en utilisant différents types de logiciels d'intelligence artificielle.

Voici le détail de leur expérience en termes simples :

Les Concurrents : Les « Cerveaux » (Modèles d'IA)

Les chercheurs ont testé trois familles différentes de « cerveaux » d'IA conçus pour repérer des objets. Imaginez-les comme différents types d'enquêteurs :

1. YOLOv8 (You Only Look Once) : Ce sont les enquêteurs haute performance.
   • La version « Medium » : Un enquêteur senior extrêmement précis, mais qui prend beaucoup de temps pour réfléchir et se fatigue rapidement (consomme beaucoup de batterie).
   • Les versions « Nano » et « Small » : Des enquêteurs juniors plus rapides et moins énergivores, mais qui pourraient manquer quelques détails.
2. SSD (Single Shot Detector) : Ce sont les sprinteurs.
   • Ils sont très rapides et consomment très peu d'énergie, mais ils ne sont pas aussi bons pour repérer des objets difficiles ou petits. Ils ressemblent à un gardien de sécurité qui fait une patrouille rapide mais qui pourrait manquer un voleur sournois.
3. EfficientDet Lite : Ce sont les enquêteurs équilibrés. Ils tentent de trouver un juste milieu entre rapidité et précision.

La Piste de Course : Les « Muscles » (Appareils de périphérie)

Les auteurs ont testé ces enquêteurs sur différents types d'ordinateurs minuscules, qui agissent comme les corps de ces cerveaux :

• Raspberry Pi (Modèles 3, 4 et 5) : Ce sont les « couteaux suisses » du monde informatique. Ils sont bon marché, petits et populaires. Les auteurs les ont testés seuls et avec un stick USB spécial connecté (appelé TPU) qui agit comme un turbocompresseur pour les aider à réfléchir plus vite.
• NVIDIA Jetson Orin Nano : C'est la « voiture de sport » du groupe. Il est plus cher et plus puissant, conçu spécifiquement pour les tâches lourdes d'IA.

Les Résultats de la Course : Vitesse, Batterie et Précision

Les chercheurs ont organisé un marathon où ils ont demandé à chaque ordinateur d'identifier des objets dans des milliers de photos. Ils ont mesuré trois choses :

1. Le temps nécessaire pour repérer un objet (Temps d'inférence).
2. La quantité de batterie consommée par photo (Consommation d'énergie).
3. Le nombre d'objets réellement trouvés correctement (Précision/mAP).

Voici ce qu'ils ont découvert :

• Le vainqueur « Rapide et Économe » : Les modèles SSD étaient les clairs gagnants en termes de vitesse et d'autonomie de la batterie. Ils ressemblaient à un coureur de marathon qui mange très peu et court vite, mais ils n'étaient pas les meilleurs pour repérer chaque détail.
• Le vainqueur « Précis mais Affamé » : Le modèle YOLOv8 Medium était l'enquêteur le plus précis, trouvant le plus d'objets correctement. Cependant, il était lent et consommait beaucoup de batterie, comme une voiture de luxe qui a une mauvaise consommation de carburant.
• L'effet « Turbocompresseur » : Lorsqu'ils ont ajouté l'accélérateur TPU (le stick USB) aux Raspberry Pi, c'était comme donner un moteur à réaction à un vélo.
  • Pour les modèles SSD et EfficientDet, le TPU les a rendus incroyablement rapides et efficaces sans nuire à leur précision.
  • Cependant, pour les modèles YOLOv8, le TPU les a forcés à rétrécir leur « cerveau » (compresser le modèle) pour s'adapter. Cela les a rendus plus rapides, mais ils sont devenus moins précis, comme un enquêteur senior forcé de porter un bandeau pour courir plus vite.
• Le champion « Voiture de sport » : Le Jetson Orin Nano était le champion global. Il était le plus rapide et le plus économe en énergie pour les modèles lourds YOLOv8. Il pouvait gérer les gros modèles précis sans ralentir ni vider la batterie trop vite.

La Grande Conclusion

Il n'y a pas de choix « parfait » unique. Cela dépend de ce dont vous avez besoin :

• Si vous avez besoin de vitesse et d'autonomie maximales (comme un drone volant pendant des heures), vous devriez choisir le modèle SSD sur un Raspberry Pi avec un TPU.
• Si vous avez besoin de précision maximale (comme une voiture autonome qui doit voir chaque piéton) et que vous disposez d'un appareil puissant, le Jetson Orin Nano exécutant YOLOv8 est le meilleur choix.
• Si vous avez un budget limité et que vous avez besoin d'un équilibre, le Raspberry Pi 4 ou 5 avec EfficientDet est un bon compromis.

En résumé, ce papier nous apprend que la création d'une IA locale intelligente est un exercice d'équilibre. Vous devez choisir entre la vitesse souhaitée de l'ordinateur, la quantité de batterie qu'il peut économiser et le niveau d'intelligence requis. Il n'y a pas de repas gratuit, mais connaître ces compromis vous aide à construire le bon système pour votre tâche spécifique.

Résumé technique

1. Énoncé du problème

Les applications modernes, en particulier les véhicules autonomes et la surveillance en temps réel, nécessitent le déploiement d'algorithmes de détection d'objets par apprentissage profond sur des dispositifs périphériques aux ressources limitées. Bien que le cloud computing offre des performances élevées, il introduit des problèmes de latence et de dépendance. L'informatique en périphérie résout ce problème mais présente des défis significatifs :

• Contraintes de ressources : Les dispositifs périphériques (par exemple, Raspberry Pi, Jetson) disposent d'une puissance CPU/GPU, d'une mémoire et d'une autonomie de batterie limitées.
• Le dilemme du compromis : Il existe un manque de compréhension globale concernant les compromis entre la précision (mAP), la vitesse d'inférence (latence) et l'efficacité énergétique à travers différents modèles et configurations matérielles.
• Lacune dans la littérature : Les études existantes se concentrent souvent sur des modèles spécifiques ou manquent d'une évaluation simultanée de la consommation d'énergie, du temps d'inférence et de la précision sur un large éventail de modèles modernes (comme YOLOv8) et de matériels divers (incluant les TPU et les nouveaux modules Jetson).

2. Méthodologie

Configuration expérimentale

Les auteurs ont mené une étude de benchmarking complète impliquant :

• Dispositifs périphériques :
  • Série Raspberry Pi : Pi 3 Model B+, Pi 4 Model B et Pi 5.
  • Accélérateurs : Accélérateurs USB Google Coral (Edge TPU) connectés aux modèles Pi.
  • Périphérie haute performance : NVIDIA Jetson Orin Nano (4 Go de RAM).
• Modèles de détection d'objets :
  • YOLOv8 : Variantes Nano, Small et Medium.
  • EfficientDet Lite : Lite0, Lite1 et Lite2.
  • SSD : SSD MobileNet V1 et SSDLite MobileDet.
• Frameworks et déploiement :
  • PyTorch : Utilisé pour le déploiement natif de YOLOv8 sur les Pis.
  • TensorFlow Lite (TFLite) : Utilisé pour les modèles sur les Pis avec TPU (les modèles ont été compressés d'une résolution d'entrée de 640x640 à 320x320 pour respecter les contraintes TPU).
  • TensorRT : Utilisé pour l'optimisation des modèles sur le Jetson Orin Nano.
  • Service Web : Les modèles ont été déployés sous forme de services web Flask-API pour simuler la gestion des requêtes en conditions réelles.

Métriques d'évaluation

L'étude a mesuré trois métriques critiques :

1. Temps d'inférence : Temps nécessaire pour traiter une image (hors pré/post-traitement), mesuré en millisecondes.
2. Consommation d'énergie : Calculée comme Énergie par requête (hors énergie de base).
   • Formule : $E_{excR} = \frac{TE - BE}{NR}$
   • Où $TE$ est l'Énergie Totale, $BE$ est l'Énergie de base (au repos) et $NR$ est le Nombre de requêtes.
3. Précision : Précision moyenne moyenne (mAP) évaluée sur l'ensemble de données de validation COCO (5 000 images) à l'aide de l'outil FiftyOne.

Automatisation

• Locust : Utilisé pour générer des requêtes HTTP automatisées et séquentielles vers les points de terminaison de l'API pendant des intervalles de 5 minutes afin de mesurer le débit et l'énergie.
• Compteur de puissance : Un compteur de puissance USB UM25C avec connectivité Bluetooth a mesuré la consommation d'énergie en temps réel.

3. Contributions clés

1. Benchmarking complet : Une évaluation unique des modèles de pointe (YOLOv8, EfficientDet Lite, SSD) sur un ensemble diversifié de matériels (Pi 3/4/5, TPU, Jetson Orin Nano).
2. Métriques holistiques : Mesure simultanée de la Précision, de la Latence et de l'Efficacité énergétique (par requête), offrant une vue multidimensionnelle des performances.
3. Optimisation des frameworks : Démonstration de l'impact des différents frameworks de déploiement (PyTorch, TFLite, TensorRT) et de la compression de la résolution d'entrée sur le matériel TPU.
4. Conseils pratiques : Fourniture d'informations exploitables pour les praticiens sur le choix de la paire modèle-dispositif optimale basée sur les contraintes spécifiques de l'application (par exemple, autonomie de la batterie vs vitesse en temps réel).

4. Résultats clés

Consommation d'énergie

• Le plus efficace : SSD MobileNet V1 a constamment consommé le moins d'énergie par requête sur tous les dispositifs.
• Le moins efficace : YOLOv8 Medium a eu la consommation d'énergie la plus élevée.
• Performance des dispositifs :
  • Jetson Orin Nano était le dispositif le plus économe en énergie pour la gestion des requêtes, malgré sa consommation de puissance au repos la plus élevée.
  • Impact TPU : L'ajout d'un TPU a réduit la consommation d'énergie par requête pour tous les modèles, mais a augmenté la consommation d'énergie de base au repos du dispositif (de 9 % à 46 % selon le modèle Pi).
  • Écart générationnel : Les Pi 4 et Pi 5 étaient plus économes en énergie que le Pi 3.

Temps d'inférence (Vitesse)

• Modèles les plus rapides : SSD MobileNet V1 était le modèle le plus rapide sur toutes les plateformes.
• Modèles les plus lents : YOLOv8 Medium était constamment le plus lent.
• Accélération matérielle :
  • TPU : Ont considérablement réduit les temps d'inférence (par exemple, SSD_v1 sur Pi 3+TPU est passé de 427 ms à 61 ms).
  • Jetson Orin Nano : A atteint les temps d'inférence absolus les plus bas (par exemple, YOLOv8 Nano à 16 ms), surpassant même les Pis accélérés par TPU.

Précision (mAP)

• Précision la plus élevée : YOLOv8 Medium a atteint la mAP la plus élevée (44 sur les Pis standards).
• Précision la plus faible : SSD MobileNet V1 avait la mAP la plus faible (19).
• Impact TPU sur la précision :
  • EfficientDet & SSD : La précision est restée stable lors du déploiement sur les TPU.
  • YOLOv8 : La précision a chuté de manière significative sur les Pis avec TPU (par exemple, YOLOv8 Nano est passé de 31 mAP à 16 mAP) en raison de la compression requise du modèle (réduction de la résolution d'entrée de 640x640 à 320x320).
• Impact Jetson : Le Jetson Orin Nano a maintenu une haute précision pour YOLOv8 mais a montré une légère diminution de la mAP pour les modèles SSD et EfficientDet par rapport aux Pis.

Analyse des compromis (Front de Pareto)

• Modèles SSD : Montrent une corrélation linéaire entre l'énergie et le temps. Le Jetson Orin Nano et le Pi 5+TPU formaient le « front de Pareto » (meilleur équilibre).
• YOLOv8 : Le Jetson Orin Nano s'est imposé comme le choix supérieur, offrant le meilleur équilibre entre vitesse, énergie et précision sans la pénalité de précision observée sur les TPU.

5. Importance et conclusion

L'article conclut qu'il n'existe pas de configuration « meilleure » unique ; le choix dépend des exigences spécifiques de l'application :

• Pour une précision maximale : YOLOv8 Medium sur Jetson Orin Nano est le choix optimal.
• Pour une vitesse/efficacité énergétique maximale : SSD MobileNet V1 sur Jetson Orin Nano ou Pi 5 avec TPU est préféré.
• Insight critique : Bien que les TPU périphériques améliorent considérablement la vitesse et réduisent l'énergie par requête, ils peuvent dégrader sévèrement la précision de modèles complexes comme YOLOv8 en raison des contraintes de résolution d'entrée. Par conséquent, pour les déploiements YOLOv8 à haute précision, les dispositifs périphériques basés sur GPU (Jetson) sont supérieurs aux configurations basées sur TPU.

Cette étude fournit une référence vitale pour les chercheurs et les ingénieurs développant des solutions d'IA en périphérie, soulignant la nécessité d'équilibrer les capacités matérielles, l'architecture du modèle et les frameworks de déploiement pour répondre aux contraintes du monde réel.