🤖 machine learning

Split CNN Inference on Networked Microcontrollers

Dit artikel presenteert een fijnmazig gesplitst inferentiesysteem voor netwerkmicrocontrollers dat geheugenbeperkingen overwint door CNN-modellen op kern- en neuron-niveau te partitioneren over meerdere apparaten, waardoor de uitvoering van anderszins onuitvoerbare modellen mogelijk wordt terwijl een praktische latentie wordt behouden.

Oorspronkelijke auteurs: Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer moeilijk puzzel moet oplossen, maar je hebt slechts een klein bureau om op te werken. De puzzel is een "Deep Neural Network" (een complex AI-brein), en je bureau is een Microcontroller (MCU) – een klein, goedkoop computerchipje dat je overal terugvindt, van broodroosters tot slimme sensoren.

Het probleem is dat de puzzel te groot is voor je kleine bureau. Zelfs als de puzzelstukken (de "gewichten" van het model) in je zak passen, vereist het oplossen ervan dat je een enorme hoeveelheid tijdelijke notities (zogenaamde "intermediate activations") op je bureau verspreidt. Je bureau is te klein; de notities lopen over en de taak mislukt.

Dit artikel stelt een slimme oplossing voor: Probeer niet de hele puzzel op één bureau op te lossen. Haal in plaats daarvan een team van vrienden, elk met hun eigen kleine bureau, en los het samen op.

Hier is hoe de auteurs dit werkbaar maakten, eenvoudig uitgelegd:

1. De Oude Weg versus de Nieuwe Weg

De Oude Weg (Grof Verdelen): Stel je voor dat je probeert de puzzel te verdelen door één vriend de bovenste helft te geven en een andere vriend de onderste helft. Maar zelfs de "bovenste helft" is nog steeds te groot voor één klein bureau. Deze aanpak faalt omdat de stukken nog te grof zijn.
De Nieuwe Weg (Fijnmazig Verdelen): De auteurs realiseerden zich dat ze de puzzel in veel kleinere, hapklare stukken moesten snijden. In plaats van te verdelen per "laag" (grote secties), verdeelden ze per individuele neuron (de kleine puntjes binnen het netwerk).
- Analogie: Stel je een enorm muurschildering voor. In plaats van één kunstenaar een hele muur te geven om te beschilderen, geef je hen slechts één vierkante inch van de muur. Je geeft een andere kunstenaar een ander vierkantje. Samen schilderen ze de hele muurschildering, maar geen enkele kunstenaar hoeft ooit het hele schilderij tegelijk vast te houden.

2. De "Teamcaptain" (De Coördinator)

Omdat de vrienden (MCU's) werken aan kleine fragmenten, hebben ze een manager nodig om de dingen georganiseerd te houden.

De Coördinator: Dit is een centraal apparaat (zoals een pc of een speciaal chipje) dat fungeert als teamcaptain.
Wat het doet: Het doet niet het zware werk. In plaats daarvan houdt het de kaart vast. Het vertelt Vriend A: "Jij werkt aan deze specifieke pixels," en "Stuur je resultaat naar Vriend B." Het routeert de tijdelijke notities tussen de vrienden zodat iedereen precies heeft wat ze nodig hebben om hun kleine deel van de taak te doen.

3. De "Slimme Toewijzing" (Ressourcen-bewust)

Niet alle vrienden zijn hetzelfde. Sommigen hebben snellere bureaus (snellere processors), sommigen hebben grotere zakken (meer geheugen), en sommigen zijn trager in het doorgeven van notities (trager netwerk).

Het Probleem: Als je dezelfde hoeveelheid werk geeft aan een trage vriend en een snelle vriend, zal de snelle vriend daar gewoon op zitten wachten, waardoor tijd verloren gaat.
De Oplossing: De auteurs hebben een "Beoordelingssysteem" gemaakt. Ze meten hoe snel en capabel elke MCU is.
- De Analogie: Denk aan een estafettewedstrijd. Je geeft niet dezelfde afstand aan een sprinter en een wandelaar. Je geeft de sprinter een langere etappe van de race en de wandelaar een kortere, zodat iedereen ongeveer op hetzelfde moment finisht. Het systeem berekent automatisch wie hoeveel werk moet doen om het team efficiënt te houden.

4. De Resultaten

Het team testte dit op een echte opstelling met 8 kleine computers (Teensy 4.1 MCU's) en een populair AI-model genaamd MobileNetV2.

Het Resultaat: Een enkele computer kon dit AI-model helemaal niet draaien omdat het geheugen oprakte. Maar toen ze het werk verdeelden over 8 computers, draaide het model succesvol.
De Afweging: De totale tijd om de puzzel op te lossen werd iets langzamer omdat de vrienden tijd moesten besteden aan het heen en weer sturen van notities. Echter, het geheugengebruik op elke individuele computer daalde drastisch, waardoor de onmogelijke taak mogelijk werd.

Samenvatting

Dit artikel laat zien dat we door een complexe AI-taak op te breken in microscopisch kleine stukjes en deze te verdelen over een netwerk van kleine, goedkope computers, krachtige AI kunnen draaien op apparaten die te zwak zijn om het alleen aan te kunnen. Het is alsof je een enkele, overbelaste olifant omzet in een team van mieren dat samen een kruimel kan dragen.

Technische Samenvatting: Gesplitste CNN-inferentie op Netwerkgemicrocontrollerde Systemen

Probleemstelling

Het implementeren van Deep Learning (DL)-modellen op Microcontroller Units (MCU's) wordt ernstig beperkt door beperkte geheugenbronnen, met name Random Access Memory (RAM). Hoewel TinyML-technieken zoals kwantisatie, pruning en zoektochten naar neurale architecturen modelparameters en berekeningen effectief verminderen, falen ze in de praktijk vaak vanwege het piekgebruik van RAM tijdens inferentie. Dit piekgebruik wordt gedomineerd door tussentijdse activaties en tijdelijke buffers, die zelfs dan de beschikbare RAM van een enkele MCU kunnen overschrijden wanneer modelgewichten binnen het flashgeheugen passen. Bijgevolg blijven veel Convolutional Neural Network (CNN)-modellen onuitvoerbaar voor standalone MCU's.

Bestaande strategieën voor gesplitste inferentie, ontworpen voor GPU's of edge-cloudscenario's, vertrouwen op grofkorrelige partitionering op laaggrenzen. Deze benaderingen falen op MCU's omdat zelfs de tussentijdse feature maps van een enkele laag of de gewichten van kernels de geheugencapaciteit van een individueel apparaat kunnen overschrijden. Bovendien leidt naïeve verdeling over heterogene MCU's tot onbalans in de belasting en excessieve communicatie- overhead, wat de end-to-end latentie verslechtert.

Methodologie

De auteurs stellen een fijnkorrelig systeem voor gesplitste inferentie voor dat collaboratieve CNN-uitvoering mogelijk maakt over een netwerk van MCU's. Het systeem werkt onder een architectuur met coördinator en werknemers en maakt gebruik van drie kernmechanismen:

1. Fijnkorrelige Modelpartitionering

In tegenstelling tot traditionele splitsing op laagniveau, partitioneert dit systeem de berekening op sublaag-granulariteit:

Convolutionele Lagen: De output feature map wordt opgesplitst in fijnkorrelige patches. Convolutionele kernels worden toegewezen aan specifieke werknemers op basis van de output-neuronen die ze berekenen. Dit stelt verschillende MCU's in staat om verschillende subsets van de outputkanalen of ruimtelijke regio's te verwerken.
Lineaire Lagen: De gewichtsmatrix wordt kolomsgewijs gepartitioneerd, waarbij elke kolom overeenkomt met een output-neuron. Werknemers krijgen specifieke kolommen toegewezen, wat onafhankelijke berekening van output-neuronen mogelijk maakt.
Modelherinterpretatie: Een voorverwerkingspijplijn interpreteert vooraf getrainde modellen opnieuw om expliciet neuron-niveau afhankelijkheden, receptieve velden en tensor-dimensies te extraheren. Deze metadata wordt geserialiseerd en gebruikt om gewichtsfragmenten en routing-kaarten te genereren.

2. Resource-bewuste Werklasttoewijzing

Om hardware-heterogeniteit (variaties in klokkfrequentie, geheugengrootte en communicatiebandbreedte) aan te pakken, wijst het systeem een capaciteitsclassificatie ( $R_i$ ) toe aan elke MCU. Deze classificatie is afgeleid van een model voor uitvoeringstijd dat rekening houdt met:

Berekeningstijd (gebaseerd op klokkfrequentie en werklast).
Communicatietijd (gebaseerd op datavolume, bandbreedte en latentie).

Werklasten worden evenredig toegewezen aan deze classificaties. Het systeem bevat een iteratief aanpassingsmechanisme om harde opslagbeperkingen aan te pakken: als een toegewezen gewichtsfragment van een werknemer zijn flashcapaciteit overschrijdt, wordt de overlopende classificatie herverdeeld naar andere werknemers met beschikbare ruimte.

3. Cross-Layer Activatiemap en Uitvoering

Een coördinator orchestreert de inferentiestroom:

Mapping: Het systeem construeert een Toewijzingsmapping (welke werknemer berekent welke output-neuronen) en een Activatie-routingmapping (welke werknemer moet welke input-activaties naar welke downstream-werknemer sturen).
Uitvoering: Inferentie verloopt laag-voor-laag. De coördinator stuurt vereiste input-activaties naar werknemers op basis van de routingkaart. Werknemers berekenen hun toegewezen neuron met lokale gewichtsfragmenten en geven partiële resultaten terug. De coördinator aggregeert deze resultaten om de input voor de volgende laag te vormen.
Optimalisaties: Het systeem maakt gebruik van laagfusie (combinatie van Conv-BN-ReLU), kwantisatie (32-bit float naar 8-bit int) en asynchrone communicatie om berekening en gegevensoverdracht te overlappen, waardoor stilstandstijd wordt geminimaliseerd.

Belangrijkste Bijdragen

Fijnkorrelige Gesplitste Inferentie: Een nieuwe benadering die CNN-modellen partitioneert op sublaagniveau (neuron/kern), waardoor de uitvoering van modellen mogelijk wordt die niet op een enkele MCU passen door zowel parameters als tussentijdse activaties te verdelen.
Resource-bewuste Coördinatie: Een op classificatie gebaseerd mechanisme voor werklasttoewijzing dat dynamisch de berekenings- en communicatielasten in evenwicht brengt over heterogene MCU's, waardoor knelpunten veroorzaakt door langzamere apparaten of links met hoge latentie worden voorkomen.
Systeemimplementatie en Evaluatie: Een praktische implementatie op een echte testopstelling met maximaal 8 Teensy 4.1 MCU's die MobileNetV2 draaien, wat haalbaarheid en schaalbaarheid aantoont.

Experimentele Resultaten

Het systeem werd geëvalueerd met MobileNetV2 op een testopstelling van 8 Teensy 4.1 MCU's (600 MHz, 1 MB RAM) en een simulator die opschalt tot 120 MCU's.

Haalbaarheid: Het systeem slaagde erin MobileNetV2 uit te voeren, een model dat op een enkele MCU tot out-of-memory-fouten leidt. Het piekgebruik van RAM per MCU werd teruggebracht tot binnen het budget van 1 MB.
Latentie en Efficiëntie:
- Heterogeniteit: In heterogene scenario's (variërende frequenties en communicatievertragingen) presteerde de op classificatie gebaseerde toewijzing aanzienlijk beter dan uniforme splitsing en splitsing op basis van frequentie alleen. Bijvoorbeeld, in een specifiek heterogeen geval reduceerde het geoptimaliseerde schema de totale latentie met 18,9% ten opzichte van een baseline.
- Schaalbaarheid: Naarmate het aantal MCU's toenam van 3 tot 8, nam de berekeningstijd monotoon af, terwijl de communicatietijd toenam. De totale inferentietijd toonde een afweging waarbij communicatie- overhead uiteindelijk de dominante kostenfactor werd.
- Geheugenschaalbaarheid: Simulatie-resultaten toonden aan dat het piekgebruik van geheugen per MCU significant daalt naarmate meer apparaten worden toegevoegd, met de grootste winsten binnen de eerste 10–20 apparaten. Boven dit punt worden afnemende meeropbrengsten waargenomen.

Betekenis en Claims

Het artikel stelt dat fijnkorrelige gesplitste inferentie een levensvatbaar alternatief is voor agressieve modelcompressie voor het implementeren van deep learning op resource-beperkte MCU's. Door het uitvoeringsparadigma te verschuiven van een enkele krachtige node naar een collaboratief netwerk van goedkope MCU's, overwint het systeem de piek-RAM-knelpunt dat TinyML momenteel beperkt.

De auteurs benadrukken dat hun aanpak geen zware besturingssystemen vereist en werkt op bare-metal of lichtgewicht runtimes. Ze concluderen dat hoewel communicatie- overhead een beperkende factor is voor grootschalige implementaties, het voorgestelde systeem succesvol de inferentie van complexe CNN's mogelijk maakt op netwerken van MCU's die anders onuitvoerbaar zouden zijn, en zo een fundament biedt voor toekomstig werk op het gebied van efficiënte communicatie en bredere modelklassen.