Energy-Aware Multi-Exit TinyML for Smart Zero-Energy Devices

Probleemstelling

De opkomst van slimme, autonome systemen vereist dat intelligentie direct op randapparaten (edge devices) wordt uitgevoerd. Dit is echter extreem uitdagend voor Zero-Energy Devices (ZEDs). Deze apparaten werken zonder batterijen en halen hun energie uit de omgeving (bijv. zonne-energie). Hierdoor staan ze voor drie fundamentele beperkingen die gelijktijdig moeten worden opgelost:

1. Strikte energiebeperkingen: De energie is variabel, intermittend en vaak schaars.
2. Beperkt geheugen: De microcontrollers (MCU's) hebben zeer weinig RAM en flash-geheugen.
3. Behoud van nauwkeurigheid: Ondanks de beperkingen moet de detectienauwkeurigheid hoog blijven.

Bestaande oplossingen hebben vaak te kampen met een van de volgende nadelen: ze vereisen meerdere modellen (wat te veel geheugen kost), lossen energieproblemen op door taken te schorsen (wat leidt tot onderbenutting), of gebruiken energie-inefficiënte methoden zoals het verzenden van ruwe data naar de cloud. Er is een gebrek aan een geïntegreerde aanpak die nauwkeurigheid, geheugengebruik en energieverbruik gelijktijdig optimaliseert voor ZEDs.

Methodologie

De auteurs stellen een unificerend raamwerk voor dat een multi-exit TinyML-model combineert met energiebewuste hardware- en softwarestrategieën.

1. Multi-Exit TinyML Architectuur

In plaats van één enkel model dat voor elke invoer dezelfde hoeveelheid rekenkracht verbruikt, gebruiken de auteurs een model met meerdere "uitgangen" (exits):

• Architectuur: Gebaseerd op MobileNet V1 met twee uitgangspunten (EX1 en EX2).
• Werking:
  • Eenvoudige gevallen: Als het model bij het eerste uitgangspunt (EX1, na een deel van de lagen) een hoge zekerheid (confidence) heeft, wordt de inferentie daar beëindigd. Dit kost weinig energie.
  • Moeilijke gevallen: Als de zekerheid laag is, gaat het model verder naar het tweede uitgangspunt (EX2, dieper in het netwerk) voor een nauwkeurigere, maar energie-intensievere berekening.
• Training: Het model wordt getraind met een gewogen som van verliezen (loss) voor beide uitgangen, zodat het zowel snel als nauwkeurig leert zijn.

2. Energiebewuste Uitvoeringsbeleid (Runtime Policy)

Om te voorkomen dat het apparaat uitvalt door energietekort, wordt een dynamisch beleid toegepast:

• Confidentie-gated beleid: Het systeem meet de capacitorspanning (beschikbare energie) voordat het begint.
• Adaptieve beslissing:
  • Als EX1 een duidelijke voorspelling geeft, wordt deze direct gebruikt.
  • Als EX1 onzeker is (in een "twijfelzone"), meet het systeem opnieuw of er genoeg energie is om naar EX2 te escaleren.
  • Als er onvoldoende energie is voor EX2, wordt een fallback-oplossing gebruikt op basis van de EX1-voorspelling, zelfs als deze minder zeker is, om een energiefalen te voorkomen.
• Dit beleid garandeert dat de energieconsumptie nooit de beschikbare energie overschrijdt.

3. Hardware-Optimalisatie

• Stroombeheer: Er wordt een speciaal MOSFET-gebaseerd schakelcircuit ontworpen om de camera en andere subsystemen volledig van de voeding te koppelen (power-gating) wanneer ze niet worden gebruikt. Dit is energiezuiniger dan eerdere methoden met load switches.
• Energieopslag: Een supercondensator slaat de geoogste energie op, geregeld door een Power Management Unit (PMU).
• Modelcompressie: Om het model op de beperkte MCU te laten passen, wordt pruning (het verwijderen van overbodige gewichten) en quantization (het verlagen van de precisie van de getallen, bv. van 32-bit naar 8-bit) toegepast.

Belangrijkste Bijdragen

1. Eerste Energiebewuste Multi-Exit TinyML: De auteurs presenteren de eerste implementatie van een multi-exit model specifiek voor ZEDs, wat een betere afweging biedt tussen energie en nauwkeurigheid dan bestaande single-exit modellen.
2. Geheugen-efficiëntie: In tegenstelling tot eerdere hybride benaderingen die meerdere modellen opslaan (wat veel geheugen kost), slaat dit systeem slechts één model op met minimale extra geheugenoverhead voor de extra uitgangen.
3. Nieuwe Hardware-ontwerp: Een energiezuiniger MOSFET-based power-gating schakeling die het energieverbruik van de camera aanzienlijk verlaagt ten opzichte van bestaande load-switch oplossingen.
4. Volledige Implementatie: Een werkend prototype dat op een Arduino Nano 33 BLE Sense draait en mensdetectie uitvoert onder realistische omstandigheden met zonne-energie.

Resultaten

Het prototype werd getest met een mensdetectietoepassing (gebaseerd op de COCO/Visual Wake Words dataset) onder gecontroleerde lichtomstandigheden.

• Energiebesparing: De voorgestelde methode reduceerde het energieverbruik met ongeveer 29,6% vergeleken met de state-of-the-art single-exit TinyML-aanpak (werk [2] in het artikel).
• Hardware-efficiëntie: De nieuwe MOSFET-based power-gating voor de camera verlaagde het energieverbruik tijdens het vastleggen en voorbewerken van beelden met ongeveer 34% ten opzichte van de load-switch methode.
• Aantal Voltooide Taken: Door het energiebewuste beleid en de adaptieve starttijden kon het apparaat bij gelijke energie-oogstcondities een hoger aantal inferenties voltooien voordat de energie op was, vergeleken met eerdere methoden.
• Nauwkeurigheid: Hoewel er een lichte afname in nauwkeurigheid was bij zeer strikte energie-instellingen, bleef de algehele detectienauwkeurigheid acceptabel en vaak beter dan enkelvoudige modellen die gedwongen worden om te stoppen bij lage energie.

Significantie

Dit onderzoek is significant omdat het een praktische oplossing biedt voor het "drie-eenheid"-probleem (nauwkeurigheid, geheugen, energie) in Zero-Energy Devices.

• Het bewijst dat on-device intelligentie haalbaar is zonder batterijen, zelfs voor complexe taken zoals beeldherkenning.
• Het introduceert een schaalbare aanpak: het systeem past automatisch zijn rekenkracht aan aan de moeilijkheid van de invoer én de beschikbare energie.
• Het biedt een blauwdruk voor toekomstige autonome sensoren in afgelegen gebieden of voor IoT-toepassingen waar onderhoud (batterijvervanging) onmogelijk of ongewenst is.

Kortom, de paper toont aan dat door slimme algoritmen (multi-exit) en slimme hardware (power-gating) te combineren, we echt autonome, zelfvoorzienende slimme apparaten kunnen realiseren.