Rethinking Temporal Models for TinyML: LSTM versus 1D-CNN in Resource-Constrained Devices

Dit onderzoek toont aan dat 1D-CNN-modellen, in tegenstelling tot LSTM's, een meer praktische en efficiënte keuze zijn voor TinyML-toepassingen op beperkte apparaten, omdat ze vergelijkbare of hogere nauwkeurigheid bieden met aanzienlijk minder geheugen- en rekeneisen.

De kern

Stel je voor dat je een slim horloge of een fitnesstracker hebt die je hartslag meet of je bewegingen herkent. Vroeger moest dit apparaatje al die gegevens sturen naar een grote, krachtige computer in de 'cloud' (het internet) om ze te analyseren. Dat kostte veel energie, vertraging en je privacy was minder veilig.

De oplossing? TinyML: een manier om slimme software direct op het kleine chipje in je apparaatje te laten draaien. Maar hier zit een probleem: die chipjes zijn heel klein, hebben weinig geheugen en een kleine batterij.

In dit onderzoek kijken twee wetenschappers, Bidyut en Riya, naar twee verschillende manieren om tijd-gebaseerde data (zoals bewegingen of hartslagen) te begrijpen op zo'n klein chipje. Ze vergelijken twee bekende 'denkers':

1. De LSTM (De Geduldige Verteller):
   Stel je een LSTM voor als een zeer geduldige, maar zware verteller. Hij onthoudt alles wat er eerder is gebeurd om de context te begrijpen. Hij is heel goed in het zien van lange patronen, maar hij is ook erg zwaar. Hij heeft een enorme rugzak nodig (veel geheugen) en het kost hem eeuwen om een verhaal af te ronden (langzame snelheid). Op een klein chipje is hij als een olifant in een porseleinen winkel: hij past er niet en breekt alles.

2. De 1D-CNN (De Snelle Scherpslijper):
   De 1D-CNN is als een slimme, snelle scherpzinnige detective. Hij kijkt niet naar het hele verhaal van begin tot eind, maar scannt de data met een vergrootglas over kleine stukjes heen om direct patronen te herkennen. Hij is lichtgewicht, draagt een kleine rugzak en werkt razendsnel.

Wat hebben ze ontdekt?

De auteurs hebben deze twee 'denkers' getest op vijf verschillende taken, zoals het herkennen van wandelen, rennen of hartproblemen, en ze hebben ze allemaal op een klein chipje (een ESP32) laten draaien.

Hier zijn de resultaten, vertaald naar alledaagse termen:

• Snelheid (De race):
  De 1D-CNN was een sprinter. Hij had gemiddeld 27 milliseconden nodig om een beslissing te nemen. Dat is sneller dan je kunt knipperen.
  De LSTM was een slak. Hij had 2038 milliseconden (meer dan 2 seconden) nodig. In de wereld van real-time apps is dat als wachten tot de bus komt terwijl je al in de auto zit.
  Conclusie: De CNN is 70 keer sneller!

• Geheugen (De rugzak):
  De LSTM had een enorme rugzak nodig (veel RAM en Flash-geheugen).
  De 1D-CNN paste in een klein zakdoekje. Hij had 35% minder RAM en 25% minder Flash-geheugen nodig.
  Conclusie: De CNN is veel lichter en past beter in de kleine chip.

• Nauwkeurigheid (Het resultaat):
  Je zou denken dat de zware verteller (LSTM) beter is, maar nee! De 1D-CNN was juist nauwkeuriger (ongeveer 95% goed) dan de LSTM (ongeveer 89% goed).
  Zelfs toen ze de software 'verkleinde' om hem nog sneller te maken (een techniek genaamd quantization), bleef de CNN sterk, terwijl de LSTM veel fouten begon te maken.

Waarom is dit belangrijk?

Dit onderzoek zegt eigenlijk: "Stop met het proberen om zware, complexe modellen op kleine apparaten te forceren."

Voor apparaten die op batterijen lopen, zoals smartwatches, medische sensoren of slimme kleding, is de 1D-CNN de perfecte keuze. Hij is:

• Snel: Reageert direct.
• Licht: Duurt langer op de batterij.
• Privacy-vriendelijk: Alles gebeurt op je eigen apparaat, niets gaat naar de cloud.
• Slim: Hij is zelfs nauwkeuriger dan de 'zware' concurrent.

Kortom: Voor de toekomst van slimme, kleine apparaten is de snelle, lichte 1D-CNN de held, en de zware LSTM mag rustig op een grote server blijven slapen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Rethinking Temporal Models for TinyML: LSTM versus 1D-CNN in Resource-Constrained Devices" in het Nederlands.

Probleemstelling

Tijdsreeksclassificatie is fundamenteel voor toepassingen zoals menselijke activiteitsherkenning (HAR), gezondheidsmonitoring en gebaarherkenning binnen het IoT-domein. Hoewel Long Short-Term Memory (LSTM) netwerken de standaard zijn voor het modelleren van temporale afhankelijkheden, zijn ze vaak onpraktisch voor implementatie op microcontroller-eenheden (MCU's) met beperkte middelen. Deze apparaten hebben doorgaans slechts enkele honderden kilobytes SRAM en minder dan 1 MB flash-geheugen. De hoge reken- en geheugeneisen van LSTMs maken real-time inferentie onmogelijk zonder afhankelijk te zijn van cloud- of edge-computing, wat echter vertraging, hogere energieverbruik, kosten en privacyrisico's met zich meebrengt. Er is een dringende behoefte aan modellen die binnen de strikte beperkingen van TinyML (Tiny Machine Learning) kunnen opereren.

Methodologie

De auteurs voeren een hardware-bewuste, rechtstreekse vergelijking uit tussen twee architecturen voor tijdsreeksclassificatie:

1. 1D-Convolutional Neural Networks (1D-CNN): Specifiek een implementatie met dieptewijze scheidbare convoluties (depthwise separable convolutions) voor efficiëntie. Het model bestaat uit drie convolutielagen (32, 48 en 72 filters, kernelgrootte 3), gevolgd door max-pooling, globale gemiddelde pooling, een dichte laag (72 eenheden, ReLU), dropout en een softmax-uitgelaag.
2. Long Short-Term Memory (LSTM): Een gestapelde LSTM met 32, 48 en 72 eenheden om langetermijn-temporale afhankelijkheden te vangen, gevolgd door een vergelijkbare dichte laag en outputlaag.

Experimenteel Ontwerp:

• Datasets: Vijf benchmark-datasets werden gebruikt, waaronder UCI-HAR, PAMAP2 en WISDM (menselijke activiteiten) en MIT-BIH en PTB (ECG-gegevens uit de gezondheidszorg).
• Hardware: Alle tests werden uitgevoerd op een ESP32 MCU (240 MHz).
• Optimalisatie: Beide modellen werden getraind en vervolgens onderworpen aan INT8-post-training quantization (via TensorFlow Model Optimization Toolkit) om de grootte en rekenvereisten te verkleinen.
• Metingen: De prestaties werden gemeten op basis van nauwkeurigheid (Float32 vs. INT8), geheugengebruik (RAM en Flash in kB), en inferentielatentie (ms).

Belangrijkste Bijdragen

1. Hardware-bewuste Vergelijking: Een "apples-to-apples" analyse van LSTM versus 1D-CNN specifiek gericht op TinyML-implementaties.
2. Deployability Protocol: Een evaluatie die niet alleen kijkt naar nauwkeurigheid, maar ook naar de praktische haalbaarheid op MCU's (RAM/Flash-gebruik, latentie en het effect van kwantisatie).
3. Empirisch Bewijs: Gedetailleerde resultaten over vijf diverse datasets die aantonen dat 1D-CNNs superieur zijn in termen van efficiëntie en robuustheid onder kwantisatie.

Resultaten

De resultaten tonen een duidelijke superioriteit van de 1D-CNN ten opzichte van de LSTM in alle gemeten categorieën:

• Nauwkeurigheid: De 1D-CNN behaalde consistent een hogere of vergelijkbare nauwkeurigheid (gemiddeld ≈95,5% voor Float32 en ≈95,4% voor INT8) vergeleken met de LSTM (gemiddeld ≈89,5% voor Float32 en ≈85,5% voor INT8).
  • Opmerking: De LSTM onderging een significante daling in nauwkeurigheid bij INT8-kwantisatie, terwijl de 1D-CNN zeer robuust bleef met een verwaarloosbare daling.
• Geheugengebruik: De 1D-CNN vereiste aanzienlijk minder resources:
  • RAM: Ongeveer 35% minder (gemiddeld 19,85 kB vs. 30,29 kB voor LSTM).
  • Flash: Ongeveer 25% minder (gemiddeld 94,66 kB vs. 123,46 kB voor LSTM).
• Latentie (Snelheid): Dit is het meest opvallende verschil. De 1D-CNN voerde inferentie uit in gemiddeld 27,6 ms, wat real-time prestaties mogelijk maakt. De LSTM had daarentegen een gemiddelde latentie van 2038 ms (ruim 2 seconden), wat voor veel real-time toepassingen onacceptabel is.

Betekenis en Conclusie

Dit onderzoek concludeert dat 1D-CNNs een veel praktischer en efficiënter alternatief zijn dan LSTMs voor TinyML-toepassingen op resource-beperkte apparaten. Hoewel LSTMs theoretisch beter zijn voor het vangen van langetermijn-afhankelijkheden, is hun hoge overhead in de praktijk onhoudbaar op microcontrollers.

De 1D-CNN biedt een optimale balans tussen hoge nauwkeurigheid, lage geheugenvoetafdruk en extreem snelle inferentie. Dit maakt het de voorkeursarchitectuur voor draagbare technologieën (wearables), batterijgedreven systemen en andere IoT-applicaties waarbij onafhankelijkheid van de cloud, privacy en energie-efficiëntie cruciaal zijn. De studie onderstreept dat voor de meeste huidige TinyML-gebruiksscenario's de complexiteit van recurrente netwerken niet nodig is en dat convolutionele benaderingen de standaard moeten worden.