Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review

Cette étude comparative analyse les architectures de traitement IA ultra-basse consommation, notamment les SoCs hétérogènes et les processeurs en capteur, en mettant en évidence, grâce à des benchmarks sur GAP9, STM32N6 et IMX500, la supériorité émergente du traitement en capteur en termes d'efficacité énergétique et de productivité.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans bagage technique.

🌍 Le Grand Déplacement : Du Nuage vers la Boîte

Imaginez que votre smartphone ou votre montre connectée est comme un chef cuisinier.

• L'ancienne méthode (Cloud) : Le chef goûte un ingrédient, l'envoie par la poste à un grand restaurant à l'autre bout du monde (le "Cloud"), attend que le chef là-bas le cuisine, et reçoit la réponse. C'est lent, ça coûte cher en énergie (le voyage), et ce n'est pas très privé.
• La nouvelle méthode (Edge AI) : Le chef cuisine tout directement dans sa propre cuisine. C'est rapide, privé et économe.

Le problème ? La cuisine du chef (la puce électronique) est petite et fonctionne sur une pile de montre. Elle ne peut pas faire de gros plats complexes (comme les réseaux de neurones modernes) sans épuiser la pile ou surchauffer.

🔍 L'Enquête : Qui cuisine le mieux ?

Les auteurs de ce papier ont voulu comparer trois types de "cuisiniers" (processeurs) différents pour voir qui arrive à préparer le même plat complexe (une image à analyser) le mieux, le plus vite et avec le moins d'énergie.

Ils ont testé trois candidats très différents :

1. Le Couteau Suisse (GAP9)

• C'est quoi ? Un processeur avec plusieurs petits bras (cœurs) qui travaillent ensemble. C'est comme une équipe de 8 petits assistants très efficaces.
• Le style : Ils sont très économes en énergie. Ils ne font pas de gros mouvements inutiles.
• Résultat : C'est le champion de l'économie d'énergie. Si vous voulez que votre appareil fonctionne pendant des années sur une petite pile, c'est le meilleur choix. Mais il est un peu lent, comme une équipe qui travaille calmement.

2. Le Super-Héros de Vitesse (STM32N6)

• C'est quoi ? Un processeur moderne avec un moteur très puissant et une machine à café dédiée (accélérateur IA).
• Le style : Il va très vite, comme une Ferrari. Il finit le travail en un éclair.
• Résultat : C'est le plus rapide (le plat est prêt en 13 secondes !). Mais attention : il consomme beaucoup de carburant (énergie). C'est comme une Ferrari qui vide son réservoir très vite. Idéal si vous avez besoin de réactivité immédiate et que l'énergie n'est pas un problème.

3. Le Magicien Intégré (Sony IMX500)

• C'est quoi ? C'est la grande révolution du papier. Ici, le "chef" (le processeur) est collé directement sur la "caméra" (le capteur). C'est ce qu'on appelle le calcul dans le capteur.
• Le style : Au lieu de prendre une photo, l'envoyer au processeur, puis de recevoir le résultat, le capteur lui-même comprend ce qu'il voit. C'est comme si l'œil voyait et comprenait en même temps, sans avoir à envoyer le message au cerveau.
• Résultat : C'est le grand gagnant global ! Il est très rapide, mais surtout, il est incroyablement économe. Il gaspille presque rien. C'est le champion de l'efficacité : il fait le plus de travail pour le moins d'énergie dépensée.

🏆 Le Verdict Final

Les chercheurs ont utilisé une mesure spéciale appelée EDP (qui combine la vitesse et l'énergie dépensée) pour départager les candidats.

• Le Super-Héros (STM32N6) est le plus rapide, mais il coûte cher en énergie.
• Le Couteau Suisse (GAP9) est très économe, mais un peu lent.
• Le Magicien (Sony IMX500) gagne sur presque tous les tableaux. Il montre que l'avenir de l'intelligence artificielle sur les petits appareils ne réside pas seulement dans des processeurs plus puissants, mais dans réorganiser la cuisine : mettre le cerveau directement dans l'œil.

💡 En résumé pour votre vie de tous les jours

Imaginez que vous voulez que votre montre détecte quand vous tombez pour appeler les secours.

• Avec l'ancienne méthode, la montre envoie chaque image de votre chute à un serveur, qui analyse, puis renvoie l'alerte. Ça prend du temps et vide la batterie.
• Avec la méthode IMX500 (le futur), la montre "voit" la chute et comprend immédiatement qu'il faut appeler, sans même avoir besoin de stocker l'image. C'est instantané et ça ne vide pas la batterie.

Ce papier nous dit que nous sommes à l'aube d'une nouvelle ère où nos appareils seront non seulement intelligents, mais aussi capables de "voir" et de "comprendre" directement, sans avoir besoin de tout envoyer au cloud. C'est la clé pour avoir des robots, des lunettes connectées et des capteurs médicaux qui fonctionnent des années sur une seule pile.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche intitulé « Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review », présenté à la conférence IEEE I2MTC 2026.

1. Problématique et Contexte

L'intelligence artificielle (IA) en périphérie de réseau (Edge AI) migre du cloud vers les dispositifs locaux pour répondre aux exigences de faible latence, de confidentialité des données et de traitement contextuel continu. Cependant, cette transition se heurte à des contraintes énergétiques et thermiques sévères, notamment pour les appareils alimentés par batterie ou par récupération d'énergie (IoT, wearables, micro-robots), où la puissance est souvent limitée à 200 mW.

Les architectures traditionnelles (comme les microcontrôleurs ARM Cortex-M4/M33) ne suffisent plus à exécuter des réseaux de neurones profonds (DNN) de manière efficace. Les défis majeurs incluent :

• La croissance exponentielle de la demande computationnelle des modèles d'IA par rapport aux progrès de la technologie des semi-conducteurs.
• La consommation d'énergie disproportionnée liée au transfert de données (mémoire, communication) par rapport au calcul lui-même.
• La nécessité de trouver un équilibre entre la latence, l'efficacité énergétique (MAC/Joule) et la densité de calcul.

2. Méthodologie

L'article adopte une approche hybride combinant une revue de littérature taxonomique et une évaluation empirique comparative.

• Taxonomie : Les auteurs classent les processeurs ultra-low-power en plusieurs catégories :
  • Microcontrôleurs (MCU) avec extensions ML (ex: ARM Cortex-M55/M85).
  • MCU avec accélérateurs ML dédiés (NPU).
  • Logique reconfigurable (FPGA).
  • Processeurs neuromorphiques.
  • Mémoire/Calcul en mémoire (PIM/CIM).
  • Calcul dans le capteur (In-Sensor) : où l'inférence est intégrée directement dans la chaîne de lecture du capteur.
• Benchmarking Expérimental : Pour valider ces architectures, les auteurs ont exécuté le même modèle de segmentation léger, PicoSAM2 (336 millions d'opérations MAC), sur trois plateformes représentatives couvrant des paradigmes différents :
  1. GAP9 (GreenWaves) : Une architecture SoC hétérogène basée sur RISC-V multi-cœur avec des accélérateurs matériels.
  2. STM32N6 (STMicroelectronics) : Un MCU ARM Cortex-M55 couplé à un accélérateur neuronal dédié (NPU Ethos-U).
  3. Sony IMX500 : Une plateforme de calcul in-sensor (capteur CMOS empilé 3D intégrant un DSP et un NPU).
• Métriques Évaluées :
  • Latence d'inférence (ms).
  • Efficacité de calcul (MAC/cycle).
  • Efficacité énergétique (MAC/Joule).
  • Produit Énergie-Délai (EDP).

3. Contributions Clés

• Analyse Comparative Unifiée : C'est l'une des premières études à comparer directement des architectures MCU classiques, des processeurs avec NPU et des capteurs intelligents in-sensor sur le même modèle de charge de travail complexe (segmentation).
• Validation du Paradigme In-Sensor : L'étude fournit des preuves empiriques solides démontrant que l'intégration du calcul dans le capteur réduit drastiquement les transferts de données, éliminant ainsi le goulot d'étranglement énergétique majeur des systèmes traditionnels.
• Optimisation pour la Segmentation : Le choix du modèle PicoSAM2 (qui maintient une haute résolution spatiale et utilise des connexions de saut) sert de test de stress rigoureux pour révéler les limitations hiérarchiques de la mémoire et les inefficacités des flux de données.

4. Résultats Principaux

Les résultats du benchmark mettent en évidence des compromis (trade-offs) nets entre les trois architectures :

• Sony IMX500 (Calcul In-Sensor) :

  • Performance : Obtient la meilleure efficacité de calcul (86,2 MAC/cycle), soit environ 3 fois plus que le STM32N6 et 4 fois plus que le GAP9.
  • Efficacité Énergétique : Domine largement avec 1359,6 MMAC/J, grâce à son architecture CMOS empilée qui minimise les mouvements de données.
  • EDP : Présente le produit Énergie-Délai le plus faible (3,4 mJ·s), indiquant un équilibre optimal entre rapidité et consommation.
  • Latence : 14,3 ms (malgré une fréquence de DSP plus basse de 262,5 MHz).

• STM32N6 (MCU + NPU) :

  • Latence : Offre la latence brute la plus basse (13,7 ms) grâce à une fréquence d'horloge élevée (800 MHz).
  • Coût : Cette performance se fait au prix d'une consommation énergétique élevée (0,8–1,2 W), résultant en une faible efficacité énergétique (21,5 MAC/J) et un EDP élevé (206,8 mJ·s).

• GAP9 (Multi-cœur RISC-V) :

  • Efficacité : Se positionne comme la solution la plus efficace dans les budgets de puissance des microcontrôleurs (182,15 MMAC/J).
  • Limites : Sa latence est plus élevée (42,1 ms) en raison d'une fréquence d'horloge plus basse (370 MHz), ce qui pénalise son EDP (74,88 mJ·s) par rapport à l'IMX500.

5. Signification et Conclusion

Cette étude démontre qu'il n'existe pas de solution universelle pour l'IA en périphérie. Le choix de l'architecture dépend strictement de la contrainte dominante de l'application :

• Pour les applications ultra-basse consommation et à durée de vie longue sur batterie, les architectures MCU optimisées (comme GAP9) restent pertinentes.
• Pour les applications où la latence est critique et l'énergie secondaire, les MCU haute performance avec NPU (STM32N6) sont adaptés.
• Pour les systèmes nécessitant un équilibre optimal entre réactivité, efficacité énergétique et traitement de flux vidéo continu, le paradigme In-Sensor (IMX500) représente l'avenir technologique, offrant une maturité significative et une supériorité en termes de densité de calcul et de réduction de la consommation globale du système.

L'article conclut que l'avenir de l'Edge AI réside dans la diversification des stratégies architecturales, avec une tendance forte vers l'intégration du calcul directement dans les capteurs pour surmonter les limites du modèle de Von Neumann.