Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review

Dit overzichtspaper analyseert de prestaties van ultra-low-power edge- en in-sensor AI-processoren door een theoretische vergelijking van architectuurparadigma's te combineren met empirische benchmarks van het PicoSAM2-model op de GAP9, STM32N6 en Sony IMX500, waarbij de IMX500 uitblinkt in energie-efficiëntie en in-sensor verwerking.

De kern

Titel: Wie is de slimste, snelste en zuinigste? Een vergelijking van slimme chips voor de toekomst

Stel je voor dat je een wereld vol slimme apparaten bouwt: horloges die je hartslag lezen, camera's die alleen oplichten als er iemand voorbij loopt, of drones die zelfstandig vliegen. Deze apparaten hebben allemaal één groot probleem: ze werken op batterijen en mogen niet te warm worden. Ze moeten dus "slim" zijn, maar ook extreem zuinig.

Deze paper is als een testcircuit voor auto's, maar dan voor de "hersenen" (de processors) van deze slimme apparaten. De auteurs kijken naar drie verschillende soorten "auto's" (chips) en testen ze op een zware rit: het herkennen van objecten in een foto (segmentatie).

Hier is wat ze hebben ontdekt, vertaald in alledaags taal:

1. De Drie Kandidaten

De onderzoekers hebben drie heel verschillende chips getest, elk met een eigen stijl:

• De GAP9 (De Slimme Zwerver):

  • Wat is het? Een chip met veel kleine werkplekken die samenwerken, gebaseerd op een open-source ontwerp (RISC-V).
  • Analogie: Denk aan een groepje fietsers die samen een vrachtje vervoeren. Ze zijn niet de snelste op de snelweg, maar ze zijn extreem zuinig. Ze verbruiken heel weinig energie, zelfs als ze langzaam gaan.
  • Sterk punt: Ze zijn het zuinigst. Als je batterij klein is, is dit je beste vriend.

• De STM32N6 (De Formule 1-auto):

  • Wat is het? Een krachtige chip van ARM met een speciale "neurale" versneller voor AI.
  • Analogie: Dit is een Formule 1-auto. Hij is razendsnel en kan de taak in een flits afhandelen. Maar hij heeft een enorme tank nodig en verbruikt veel benzine.
  • Sterk punt: Snelheid. Als je iets nu nodig hebt en energie is minder belangrijk, kies je deze.

• De Sony IMX500 (De Slimme Camera):

  • Wat is het? Een camera-chip waar de "hersenen" direct in de sensor zitten.
  • Analogie: Stel je een chef-kok voor die direct in de supermarkt werkt. Normaal gesproken moet je de groenten (data) eerst naar huis brengen, in de koelkast leggen, en dan koken. Deze chip kookt direct in de supermarkt. Er hoeft niets verplaatst te worden.
  • Sterk punt: Efficiëntie. Omdat er geen data hoeft te worden verplaatst, is hij zowel supersnel als superslim in energiegebruik.

2. De Proefrit: Het "PicoSAM2" Model

Om te testen wie het beste is, gaven ze alle drie dezelfde moeilijke opdracht: een foto van 96x96 pixels analyseren om te zien wat erop te zien is (zoals een hond of een boom). Dit is zwaar werk voor een kleine computer, net als het proberen te rennen met een rugzak vol stenen.

3. De Resultaten: Wie wint?

• De Snelheid (Latentie):
  De STM32N6 (de Formule 1) was het snelst. Hij deed de taak in 13,7 milliseconden. De Sony IMX500 was bijna net zo snel (14,3 ms), ondanks dat hij een "langzamere" motor had. De GAP9 (de fietsers) deed het langzaamst (42 ms), maar dat mag je verwachten van de zuinige optie.

• Het Energieverbruik (Efficiëntie):
  Hier wordt het interessant.

  • De GAP9 was heel zuinig, maar niet de winnaar.
  • De STM32N6 verbruikte enorm veel energie om zo snel te zijn.
  • De Sony IMX500 was de absolute kampioen! Hij deed de taak met 6 tot 7 keer minder energie dan de andere twee. Omdat hij direct in de camera rekent, hoeft hij geen energie te verspillen aan het transporteren van data.

• De Totale Score (EDP):
  De onderzoekers keken naar een combinatie van snelheid en energie (de "Energy-Delay Product").

  • De Sony IMX500 won met een ruime voorsprong. Hij is de meest gebalanceerde: snel én zuinig.
  • De STM32N6 scoort slecht omdat hij te veel energie verslikt.
  • De GAP9 zit er tussenin: hij is zuinig, maar te traag voor sommige snelle toepassingen.

Conclusie: Wat betekent dit voor ons?

De boodschap van dit onderzoek is dat er geen "één oplossing voor alles" is.

• Als je een apparaat hebt dat jaren op één knoopcelbatterij moet werken (zoals een temperatuursensor), kies je voor de GAP9-stijl (zuinigheid).
• Als je een apparaat hebt dat direct moet reageren en stroom niet zo'n probleem is (zoals een drone die snel moet manoeuvreren), kies je voor de STM32N6-stijl (snelheid).
• Maar voor de toekomst, vooral bij camera's en sensoren die continu aan staan, is de Sony IMX500-stijl (rekenen direct in de sensor) de toekomst. Het is alsof je de "verkeersfile" van data-overdracht volledig weghaalt.

Kortom: De technologie gaat van "rekenen in de cloud" naar "rekenen direct in de sensor", en dat maakt onze toekomstige gadgets slimmer, sneller en veel langer op batterij.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review", vertaald en samengevat in het Nederlands.

Titel: Prestatieanalyse van Edge- en In-Sensor AI-processors: Een vergelijkend overzicht

Auteurs: Luigi Capogrosso, Pietro Bonazzi, Michele Magno
Publicatie: IEEE International Instrumentation and Measurement Technology Conference (I2MTC), 2026

---

1. Het Probleem

Edge AI verschuift computationele taken van cloudservers naar apparaten die dicht bij de data-generatiebron opereren (bijv. wearables, IoT-nodes, autonome robots). Deze verschuiving wordt gedreven door behoeften aan lage latentie, privacy en continu contextbewustzijn. Echter, moderne Edge-systemen opereren onder strikte energie- en thermische beperkingen, vaak onder een plafond van 200 mW.

De uitdagingen zijn:

• Onbalans tussen vraag en aanbod: Deep Neural Networks (DNN's) groeien sneller dan de proces technologie kan compenseren, waardoor on-device inferentie een bottleneck wordt.
• Energieverbruik: Energie wordt niet alleen verbruikt door berekening, maar ook door sensoren, signaalconditie en communicatie. In batterijgedreven systemen moet de totale systeem-efficiëntie optimaal zijn.
• Beperkingen van traditionele MCU's: Klassieke microcontroller-cores (zoals ARM Cortex-M4/M33) zijn niet langer toereikend voor aanhoudende inferentie van AI-modellen.
• Gebrek aan vergelijkende data: Er is een gebrek aan empirisch onderbouwde vergelijkingen tussen verschillende architecturale paradigma's (MCU met versnellers, dedicated accelerators, en in-sensor computing) onder dezelfde werklast.

2. Methodologie

De auteurs hanteren een tweeledige aanpak: een uitgebreid literatuuronderzoek gevolgd door een kwantitatieve benchmark.

• Taxonomie en Overzicht: De auteurs classificeren bestaande en onderzoeksmatige platforms in categorieën zoals:
  • MCU's met ML-extensies (bijv. ARM Cortex-M55/M85).
  • MCU's met dedicated ML-accelerators (NPU's).
  • Herconfigureerbare logica (FPGA's).
  • Neuromorfe processors.
  • Processing-In-Memory (PIM) en Compute-In-Memory (CIM).
  • In-Sensor Computing: Waar inferentie direct in de sensor-leespijplijn gebeurt.
• Benchmark-Experiment: Om de architecturale claims te valideren, wordt een identiek werkload uitgevoerd op drie representatieve, heterogene platforms:
  1. GAP9: Een multi-core RISC-V SoC met hardware-accelerators (vertegenwoordigt de MCU-klasse).
  2. STM32N6: Een ARM Cortex-M55 core gekoppeld aan een dedicated Neural Architecture Accelerator (NPU).
  3. Sony IMX500: Een gestapelde CMOS-sensor met ingebouwde DSP en NPU (vertegenwoordigt in-sensor computing).
• Werklast: Het model PicoSAM2, een compacte segmentatiemodel (336 miljoen MAC's - Multiply-Accumulate operaties), gebaseerd op een U-Net architectuur. Segmentatie wordt gekozen omdat het een zware belasting legt op het geheugen en de dataflow (grote activatietensors, skip-connections).
• Evaluatiemetrics:
  • Latentie per inferentie (ms).
  • Inference-efficiëntie (MAC/cyclus).
  • Energie-efficiëntie (MAC/Joule).
  • Energy-Delay Product (EDP).

3. Belangrijkste Bijdragen

• Unificatie van het landschap: Het paper biedt een gestructureerd overzicht van de evolutie van ultra-low-power processors, van neuromorfe chips tot geïntegreerde in-sensor oplossingen.
• Empirische Validatie: In plaats van alleen theoretische specificaties (zoals piek-TOPS) te rapporteren, bieden de auteurs harde data uit een gecontroleerde benchmark op drie verschillende hardware-architecturen.
• Inzicht in Trade-offs: Het werk illustreert duidelijk de compromisrelaties tussen snelheid, energie-efficiëntie en architecturale complexiteit in de sub-200 mW-regio.

4. Resultaten

De benchmarkresultaten tonen een duidelijke divergentie in het hardware-gedrag:

• Sony IMX500 (In-Sensor):
  • Beste prestaties: Bereikt de hoogste inference-efficiëntie (86,2 MAC/cyclus) en de laagste Energy-Delay Product (EDP) (3,4 mJ·s).
  • Reden: De strak gekoppelde sensor-DSP-architectuur minimaliseert data-overdracht en hergebruikt ruimtelijke data efficiënt.
  • Energie-efficiëntie: 1359,6 MMAC/J, veruit het hoogst van de drie.
• STM32N6 (ARM + NPU):
  • Snelheid: Bereikt de laagste latentie (13,7 ms) dankzij een hoge kloksnelheid (800 MHz).
  • Nadeel: Dit gaat ten koste van het energieverbruik (0,8–1,2 W), wat resulteert in de slechtste energie-efficiëntie (21,5 MAC/J) en de hoogste EDP (206,8 mJ·s).
• GAP9 (RISC-V Manycore):
  • Balans: Biedt de beste energie-efficiëntie binnen de traditionele MCU-klasse (182,15 MMAC/J), maar heeft de hoogste latentie (42,1 ms) door een lagere kloksnelheid (370 MHz).
  • Toepassing: Ideaal voor batterijgedreven scenario's waar energiebesparing prioriteit heeft boven extreem lage latentie.

Conclusie van de benchmark: Er is geen "one-size-fits-all" oplossing. De IMX500 toont aan dat in-sensor computing de technologische volwassenheid heeft bereikt om data-overdrachtskosten drastisch te reduceren, terwijl traditionele MCU's en NPU's nog steeds hun plek hebben afhankelijk van de specifieke eisen (snelheid vs. batterijduur).

5. Betekenis en Impact

Dit paper is significant voor ontwerpers van Edge-AI-systemen omdat het:

1. De waarde van In-Sensor Computing bevestigt: Het toont aan dat het verplaatsen van rekenkracht naar de sensor zelf (IMX500) de meest efficiënte route is voor real-time, altijd-aan sensoren, vooral bij taken die veel geheugenbandbreedte vereisen.
2. Ontwerprichtlijnen biedt: Het helpt systeemontwerpers bij het kiezen van de juiste architectuur op basis van de primaire beperking:
   • Kies IMX500 voor maximale energie-efficiëntie en lage EDP bij visuele taken.
   • Kies STM32N6 voor toepassingen waar minimale latentie cruciaal is en energie minder belangrijk is.
   • Kies GAP9 voor flexibele, batterijgedreven toepassingen met een strikt vermogensbudget.
3. Toekomstperspectief: Het markeert een verschuiving van puur software-optimalisatie naar hardware-architecturale innovatie (zoals CIM en in-sensor processing) als de enige manier om de groeiende eisen van AI-modellen te kunnen blijven voldoen binnen de fysieke beperkingen van Edge-apparaten.