What changes after deployment? A survey on On-device Learning in TinyML

Technische Samenvatting: Wat verandert er na implementatie? Een onderzoek naar On-device Learning in TinyML

1. Probleemstelling

Machine learning-modellen die op microcontrollers (TinyML) zijn geïmplementeerd, worden geconfronteerd met een fundamentele uitdaging: distributieverandering na implementatie. Modellen die offline zijn getraind op gecureerde datasets, presteren vaak ondermaats wanneer ze worden blootgesteld aan realistische omstandigheden waarbij de datadistributies verschuiven na de implementatietijd. On-Device Learning (ODL) pakt dit aan door het leerproces direct op het apparaat uit te voeren, maar de bestaande literatuur mist een verenigde karakterisering van hoe distributieveranderingen optreden. Eerdere onderzoeken hebben niet expliciet onderscheid gemaakt tussen verschillende typen distributieveranderingsregimes, wat leidt tot een vermenging van oplossingen die opereren onder fundamenteel verschillende beperkingen en aannames. Bovendien bestaat er een hardnekkige kloof tussen methodologische benchmarks (vaak beeldgericht) en real-world implementatiescenario's (vaak sensorgebonden), wat de transfer van algoritmische vooruitgang naar praktische toepassingen belemmert.

2. Methodologie

Dit artikel presenteert een uitgebreid overzicht van ongeveer 70 ODL-werken binnen het TinyML-domein. Het onderzoek is gestructureerd rond een primair organiserend principe: het distributieveranderingsregime. De auteurs categoriseren de literatuur in drie afzonderlijke regimes op basis van de aard van het datagenererende proces ($P$) na de implementatietijd $T$:

1. Single-Change Regime: De distributie verschuift exact één keer bij implementatie ($p_{T-1} \neq p_T$) en blijft daarna stabiel. De uitdaging is snelle, efficiënte adaptatie aan nieuwe condities voor de resterende levensduur van het apparaat.
2. Concept Drift Regime: De distributie verandert meerdere keren continu en onvoorspelbaar ($p_{t-1} \neq p_t$). De focus ligt op het snel adapteren aan nieuwe condities terwijl irrelevante kennis uit het verleden wordt weggegooid of minder zwaar wordt meegewogen.
3. Continual Learning Regime: Nieuwe concepten worden incrementeel geïntroduceerd over de tijd. De oplossing moet nieuwe kennis accumuleren zonder vergeten van eerder geleerde informatie (het aanpakken van catastrofaal vergeten). Hoewel formeel vergelijkbaar met concept drift wat betreft distributieverandering, verschillen de aannames over de relevantie van kennis uit het verleden en de evaluatiecriteria aanzienlijk.

Voor elk regime analyseert het onderzoek de literatuur door drie complementaire lenzen:

• Application Lens (Toepassingslens): De real-world contexten en taken die worden aangepakt (bijv. keyword spotting, sensorcalibratie, brein-machine interfaces).
• Hardware Lens (Hardwarelens): De doelapparaten, variërend van extreem beperkte processoren (bijv. Cortex-M0, ISPU) tot standaard MCU's (Cortex-M4/M7) en parallel ultra-low-power (PULP) platforms.
• Solution Lens (Oplossingslens): De technische compositie van ODL-oplossingen, gedecomposed in vier componenten:
  • $R(\cdot)$: Dimensiereductie (bijv. bevroren CNN's, statistische feature extractors).
  • $B$: Databeheer (bufferingstrategieën, toelatings-/triggercondities).
  • $f_t(\cdot)$: Het ML-algoritme (bijv. DNN's, SVM's, KNN).
  • $L$: Het leermechanisme (bijv. backpropagation, forward-only updates, prototype generatie).

Het onderzoek formaliseert ook het ODL-probleem door beperkingen te definiëren voor geheugen ($M_D$), klokfrequentie ($F_D$), vermogen en executietijd ($E$), en stelt evaluatieprotocollen vast die specifiek zijn voor elk regime (bijv. prequential evaluatie voor concept drift, longitudinale evaluatie voor continual learning).

3. Belangrijkste Bijdragen

• Regime-Centrische Taxonomie: Dit is het eerste onderzoek dat de volledige ODL-literatuur organiseert rond het distributieveranderingsregime (Single-Change, Concept Drift, Continual Learning), met het argument dat oplossingen ontworpen voor één regime niet direct vergelijkbaar zijn met die in een ander regime vanwege de verschillende aannames over kennis uit het verleden en adaptatiedoelen.
• Omvattende Scope: Het onderzoek beslaat ~70 werken, wat een significante uitbreiding is ten opzichte van eerdere inspanningen (die ~10 werken onderzochten) en de substantiële hoeveelheid onderzoek die na 2023 is gepubliceerd, vangt.
• Multi-Lens Analyse: Door werken simultaan te analyseren via de toepassing-, hardware- en oplossingslenzen, onthult het onderzoek kruisende patronen, zoals de correlatie tussen hardwarecapaciteit en regimecomplexiteit, en de mismatch tussen methode-georiënteerd en applicatie-georiënteerd onderzoek.
• Identificatie van Structurele Gaten: Het artikel identificeert een disconnect tussen methodologische bijdragen (vaak gericht op backpropagation optimalisatie op standaard benchmarks) en applicatie-georiënteerde werken (die prioriteit geven aan label-efficiëntie en real-world beperkingen). Het benadrukt dat methodologische werken zelden de schaarste aan gelabelde data of de volledige pipeline-beperkingen (geheugen, latentie, vermogen) tegelijkertijd adresseren.

4. Belangrijkste Resultaten en Bevindingen

Toepassingsbevindingen

• Mismatch van Taken: Methode-georiënteerde werken gebruiken voornamelijk beeldclassificatie-benchmarks (CIFAR, MNIST) die vaak te rekenintensief zijn voor real-world TinyML. Daarentegen richten applicatie-georiënteerde werken zich op taken zoals Keyword Spotting (KWS), Human Activity Recognition (HAR) en sensorcalibratie, die een gebrek hebben aan gestandaardiseerde benchmarks.
• Strategieën voor Labelverwerving: Succesvolle applicatie-georiënteerde werken behandelen labelverwerving als een primaire ontwerpvereiste. Strategieën omvatten few-shot learning, self-supervised learning (met behulp van hulp-sensoren), unsupervised learning (voor anomaliedetectie) en impliciete labeling via gestructureerde stimuli.
• Regimeverdeling: Applicatie-georiënteerde werken zijn sterk geconcentreerd in het Single-Change regime (bijv. KWS personalisatie, sensorcalibratie). De Concept Drift en Continual Learning regimes worden gedomineerd door methode-georiënteerde werken, met zeer weinig gerapporteerde real-world applicatie-implementaties.

Hardwarebevindingen

• Hardware-Regime Correlatie: Er is een monotone relatie tussen hardwarecapaciteit en regimecomplexiteit.
  • Extreem beperkte processoren (Cortex-M0, ISPU) verschijnen bijna uitsluitend in het Single-Change regime vanwege strikte geheugen-/rekenlimieten.
  • Standaard MCU's (Cortex-M4/M7) bestrijken alle drie de regimes, maar zijn ondervertegenwoordigd in Continual Learning vanwege geheugenbeperkingen voor replay buffers.
  • PULP-platforms (multi-core, bijv. GAP9) domineren het Continual Learning regime, omdat zij de enige klasse zijn die momenteel in staat is om de hoge geheugen- en computationele eisen van continual learning algoritmen te ondersteunen.
• Rapportagegaten: De hardware-rapportage is inconsistent. Metrieken zoals piek RAM en energie worden vaak gerapporteerd per instantie, per batch of per epoch zonder standaardisatie, wat vergelijking tussen werken moeilijk maakt.

Oplossingsbevindingen

• Componentpatronen:
  • Dimensiereductie ($R$): Bevroren pre-trained CNN's zijn de dominante keuze voor beeld/audio inputs, terwijl identiteitsfuncties of statistische extractors worden gebruikt voor laag-dimensionale sensordata.
  • Databeheer ($B$): Volledig online operatie ($|\Delta|=1$) domineert de Single-Change en Concept Drift regimes. Expliciete buffering is structureel noodzakelijk in Continual Learning om catastrofaal vergeten te voorkomen.
  • Leermechanisme ($L$): Volledige backpropagation is de standaard voor Continual Learning (ondersteund door replay buffers). In Single-Change en Concept Drift zijn lichtere alternatieven (forward-only updates, prototype-gebaseerde classifiers, KNN) meer prevalent.
• Optimalisatiekloof: Methodologische werken optimaliseren zwaar op backpropagation (sparsificatie, kwantisatie), maar deze optimalisaties worden zelden overgenomen in applicatie-georiënteerde implementaties. Dit suggere than een disconnect waar algoritmische verbeteringen niet worden gevalideerd tegen de volledige pipeline-beperkingen (bijv. labeling strategie, databuffering kosten).

5. Betekenis en Claims

Het artikel claimt dat het distributieveranderingsregime de cruciale, maar voorheen over het hoofd geziene factor is die de haalbaarheid en het ontwerp van ODL-oplossingen bepaalt. Door expliciet onderscheid te maken tussen Single-Change, Concept Drift en Continual Learning, biedt het onderzoek een kader voor zinvolle vergelijking die de vorige literatuur miste.

De auteurs claimen bescheiden dat hun werk een structurele kloof in het veld belicht: algoritmische vooruitgang en applicatieontwikkeling vorderen parallel met beperkte kruisbestuiving. Zij stellen dat het veld behoefte heeft aan:

1. Gestandaardiseerde Evaluatieframeworks: Benchmarks die hardwarebudgetten, oplossingscomponenten en deployment-beperkingen (inclusief label-schaarste) vastleggen om eerlijke vergelijking mogelijk te maken.
2. End-to-End Ontwerptools: Softwareframeworks die de volledige ODL-pipeline ($R, B, f, L$) behandelen als gezamenlijk te optimaliseren objecten, in plaats van componenten in isolatie te optimaliseren.
3. Hardware voor ODL: Een verschuiving van het aanpassen van cloud-training architecturen naar het ontwerpen van hardware die speciferiek is voor ODL-beperkingen (schaarse labels, geen on-device validatie, strikte vermogensbudgetten).

Het onderzoek concludeert dat hoewel ODL de reikwijdte van TinyML-toepassingen vergroot, het realiseren van deze visie vereist dat de mismatch tussen methodologische benchmarks en real-world deployment-scenario's wordt aangepakt, met name met betrekking tot label-efficiëntie en de specifieke eisen van niet-stationaire leerregimes.