Gated Adaptation for Continual Learning in Human Activity Recognition

Dit artikel introduceert een parameter-efficiënt continu leerframework voor menselijke activiteitsherkenning dat door middel van kanaal-gewijze gatenmodulatie van bevroren pretrained representaties de balans tussen plasticiteit en stabiliteit verbetert, waardoor het vergeten van eerdere taken aanzienlijk wordt verminderd zonder dat er replay-buffers nodig zijn.

De kern

Stel je voor dat je een slimme horloge of een fitnesstracker draagt. Dit apparaat moet leren wat jij doet: lopen, rennen, slapen of trappen. Het probleem is dat als je een nieuwe persoon (bijvoorbeeld je opa) op hetzelfde apparaat zet, het apparaat vaak vergeet hoe jij liep. Dit heet in de tech-wereld "catastrophic forgetting" (catastrofaal vergeten). Het is alsof je een nieuwe taal leert, maar daardoor je moedertaal volledig vergeet.

De onderzoekers van dit paper hebben een slimme oplossing bedacht om dit op te lossen, speciaal voor draagbare apparaten die weinig geheugen en batterij hebben. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Vergetende Leerling

Stel je een student voor die heel goed is in wiskunde. Als je hem nu vraagt om ook muziek te leren spelen, begint hij zijn wiskundekennis te vergeten omdat hij zijn hersenen volledig op de muziek richt. In de wereld van AI (kunstmatige intelligentie) gebeurt dit ook: als een model leert om de bewegingen van persoon A te herkennen, en daarna leert het persoon B, dan wordt het slecht in het herkennen van persoon A.

2. De Oplossing: Een Onveranderlijk Sieradendoosje met Slimme Klemmen

De onderzoekers hebben een nieuwe manier bedacht om dit op te lossen. Ze gebruiken twee belangrijke ideeën:

Deel 1: Het Vaste Sieradendoosje (De "Frozen Backbone")
Stel je voor dat je een heel duur, perfect ingericht sieradendoosje hebt. Dit doosje is al jarenlang gevuld met de beste manieren om bewegingen te begrijpen. In plaats van het hele doosje te slopen en opnieuw in te richten elke keer dat een nieuwe persoon erbij komt (wat veel tijd en energie kost en leidt tot chaos), houden ze het doosje vast. Ze veranderen de basisstructuur niet. Dit zorgt voor stabiliteit: de oude kennis blijft veilig bewaard.

Deel 2: De Slimme Klemmen (De "Gated Adaptation")
Maar als je het doosje niet aanraakt, hoe leer je dan nieuwe mensen?
Hier komen de "gates" (klemmen of poortjes) om de hoek kijken.

• Hoe het werkt: In plaats van nieuwe, zware kasten te bouwen (wat veel ruimte kost), plaatsen ze kleine, lichte klemmen op de bestaande vakken in het doosje.
• De analogie: Stel je voor dat de vakken in het doosje verschillende soorten bewegingen zijn (zoals "lopen" of "rennen"). Bij elke nieuwe persoon (bijvoorbeeld iemand die langere benen heeft of anders loopt), passen ze alleen de grootte van de vakken aan met deze klemmen. Ze veranderen de richting van de kennis niet, ze veranderen alleen hoe hard of zacht bepaalde signalen worden.
• Waarom dit slim is: Het is alsof je een foto hebt van iemand. Als je een nieuwe foto maakt van dezelfde persoon, maar dan met een andere hoed, hoef je de hele foto niet opnieuw te tekenen. Je past alleen de kleur van de hoed aan. Dit kost heel weinig ruimte en energie.

3. Waarom is dit zo goed?

• Geen geheugen nodig: Andere methoden vragen om een "replay-buffer". Dat is alsof je elke oude foto van elke persoon die je ooit hebt gezien, opslaat op je telefoon om te herinneren hoe ze liepen. Dit kost veel geheugen en is een privacy-risico (je wilt je gezondheidsdata niet opslaan). Deze nieuwe methode heeft geen oude foto's nodig. Het leert direct en vergeet niet.
• Snel en zuinig: Omdat ze maar heel weinig dingen aanpassen (minder dan 2% van de totale "hersenen" van het apparaat), kan dit perfect werken op een slimme horloge met een kleine batterij.
• Resultaat: Op tests met echte data (zoals het PAMAP2-dataset) zag men dat de oude methoden de nauwkeurigheid op de eerste persoon lieten zakken van 85% naar 40% (een enorme daling). Met deze nieuwe methode bleef de nauwkeurigheid boven de 77%, terwijl ze tegelijkertijd de nieuwe persoon leerden herkennen.

Samenvattend

Stel je voor dat je een meester-kok bent die een receptenboek heeft.

• Oude methode: Elke keer dat je een nieuwe klant krijgt, herschrijf je het hele boek. Je vergeet de oude recepten en het kost je uren.
• Nieuwe methode: Je houdt het receptenboek vast. Je krijgt een nieuwe klant met een voorkeur voor "minder zout". Je plakt een klein, slim etiketje op het recept dat zegt: "Zet de zoutknop iets lager". Je verandert het recept niet, je past het alleen een beetje aan. Je vergeet de oude klanten niet, en het kost je maar een seconde.

Dit is precies wat deze onderzoekers hebben gedaan voor draagbare sensoren: ze hebben een manier gevonden om AI-apparaten te laten leren van nieuwe mensen zonder dat ze hun oude kennis verliezen, zonder dat ze veel geheugen nodig hebben, en zonder dat ze gevoelige data hoeven op te slaan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Gated Adaptation for Continual Learning in Human Activity Recognition" in het Nederlands.

Probleemstelling

Het artikel adresseert de uitdaging van catastrofaal vergeten (catastrophic forgetting) in systemen voor herkenning van menselijke activiteiten (HAR) die draaien op draagbare IoT-sensoren (zoals smartwatches).

• Context: HAR-systemen moeten continu leren van nieuwe gebruikers (taken) zonder de kennis van eerdere gebruikers te verliezen. Dit staat bekend als continual learning.
• De Dilemma: Er is een fundamenteel spanningsveld tussen plasticiteit (het vermogen om nieuwe taken te leren) en stabiliteit (het behoud van eerder geleerde kennis).
• Specifieke Uitdaging: In HAR verschilt de data-distributie per persoon (verschillende bewegingspatronen, sensorplaatsing, fysiologie), terwijl de labels (activiteiten zoals "lopen" of "zitten") hetzelfde blijven. Bestaande methoden zoals replay (het opslaan van oude data) zijn problematisch vanwege privacy- en geheugenbeperkingen op edge-apparaten. Methoden op basis van regularisatie of architecturale uitbreiding zijn vaak te zwaar of te conservatief.

Methodologie

De auteurs stellen een parameter-efficiënt continual learning framework voor dat gebaseerd is op gegateerde modulatie (gated modulation) toegepast op een bevroren voorgetrainde backbone.

1. Bevroren Backbone:

   • De kern van het neurale netwerk (een CNN met residual blokken) wordt vooraf getraind op een grote brondataset (WISDM) en vervolgens bevroren (niet meer bijgewerkt).
   • Dit garandeert inherent stabiliteit, omdat de gedeelde feature-extractor niet wordt "verpest" door updates voor nieuwe taken.

2. Kanaal-gewijze Gating (Channel-Wise Gating):

   • In plaats van de hele backbone aan te passen of zware adapter-lagen toe te voegen, worden er lichtgewicht gaten (gates) ingevoegd na elke residual block.
   • Mechanisme: Deze gates werken volgens het principe van Squeeze-and-Excitation Networks (SE-Nets). Ze berekenen een globale descriptor van de features (squeeze) en genereren vervolgens een vector van scalingsfactoren (excitation) via een klein MLP met een sigmoid-activatie.
   • Toepassing: De output van de gate ($g_\ell \in (0,1)$) wordt gebruikt om de kanalen van de feature-map te schalen via een diagonale operator: $H_\ell = D(g_\ell) \cdot U_\ell$.
   • Filosofie: Adaptatie gebeurt via feature-selectie (het veranderen van de relatieve belangrijkheid van bestaande features) in plaats van feature-generatie (het creëren van volledig nieuwe feature-ruimtes). Dit beperkt de drift in de representatie.

3. Gedeelde Classifier:

   • Er wordt één enkele lineaire classifier gebruikt die over alle taken wordt getraind. De model moet de identiteit van de gebruiker impliciet afleiden uit de input-statistieken via de gating-mechanismen.

4. Theoretische Analyse:

   • De auteurs bewijzen dat deze diagonale gating een begrensde diagonale operator implementeert.
   • Stabiliteit: De drift in features is begrensd door de verandering in de gate-waarden ($\delta < 1$), wat zorgt voor een veel kleinere drift dan bij onbeperkte lineaire transformaties.
   • Expressiviteit: Ze tonen aan dat bij HAR de variatie tussen gebruikers voornamelijk kanaal-gewijs is (bijv. amplitudeverschillen in versnellingsmeters), waardoor diagonale schaling voldoende is voor effectieve adaptatie zonder complexe kruis-kanaal interacties.

Belangrijkste Bijdragen

1. Framework: Een nieuw, parameter-efficiënt framework voor continual learning in HAR dat minder dan 2% van de modelparameters trainbaar maakt (alleen de gates en de classifier).
2. Theoretisch Bewijs: Een wiskundige analyse die aantoont dat gated adaptation representatiedrift begrenst, wat leidt tot theoretische garanties voor stabiliteit.
3. Empirische Validatie: Uitgebreide experimenten op drie HAR-benchmarks (PAMAP2, DSA, UCI-HAR) die aantonen dat de methode superieur is aan bestaande replay-vrije methoden (zoals EWC, LwF, HAT) en zelfs concurrerend is met replay-gebaseerde methoden, maar dan zonder het opslaan van gevoelige data.

Resultaten

De experimenten tonen aanzienlijke verbeteringen in de afweging tussen stabiliteit en plasticiteit:

• PAMAP2 Dataset (8 gebruikers):
  • Vergeetmaat (Forgetting Measure - FM): Verminderd van 39,7% (bij een volledig trainbare backbone) naar 16,2% met de voorgestelde methode.
  • Eindnauwkeurigheid (Final Accuracy - FA): Verbeterd van 56,7% naar 77,7%.
  • Vergelijking: De methode presteert beter dan EWC, LwF en HAT, en doet dit met een veel lagere variantie in resultaten afhankelijk van de volgorde van gebruikers.
• Efficiëntie:
  • Slechts 1,7% van de parameters wordt bijgewerkt per taak.
  • Geen noodzaak voor replay-buffers (opslag van oude data), wat cruciaal is voor privacy en geheugen op edge-apparaten.
• Ablatie Studies:
  • Het bevriezen van de backbone alone vermindert vergeten, maar de toevoeging van gates herstelt de plasticiteit die verloren ging door het bevriezen.
  • Het toevoegen van extra trainbare lagen (stacked layers) verhoogt de plasticiteit maar leidt tot meer vergeten; de gating-methode biedt een betere balans.
  • De methode kan worden gecombineerd met Experience Replay (Gates + DER) om nog hogere nauwkeurigheid te bereiken (84,3% FA), maar de auteurs benadrukken dat de replay-vrije versie de voorkeur heeft voor privacygevoelige toepassingen.

Betekenis en Toekomstperspectief

Dit onderzoek is significant voor de implementatie van AI op de rand (Edge AI) in de gezondheidszorg en IoT:

• Privacy: Het elimineert de noodzaak om gevoelige sensordata (bewegingspatronen) naar de cloud te sturen of lokaal op te slaan voor hertraining.
• Resource-efficiëntie: Het maakt continual learning mogelijk op apparaten met beperkt rekenvermogen en geheugen (smartwatches, fitnessbands).
• Praktische Toepassing: Het biedt een oplossing voor het probleem dat wearables zich moeten aanpassen aan nieuwe gebruikers zonder de prestaties voor bestaande gebruikers te laten verslechteren.

De auteurs concluderen dat gestructureerde, diagonale operatoren een effectief mechanisme zijn voor continual learning onder distributieveranderingen, en dat toekomstig werk zich kan richten op het automatisch bepalen van de optimale plaatsing van gates en het uitbreiden naar andere domeinen.