CLAD-Net: Continual Activity Recognition in Multi-Sensor Wearable Systems

In dit paper wordt CLAD-Net voorgesteld, een framework dat zelftoezichtende transformers en kennisdistillatie combineert om continue menselijke activiteitsherkenning op draagbare sensoren mogelijk te maken zonder dat er sprake is van catastrofisch vergeten, zelfs bij beperkte gelabelde data.

De kern

Het Probleem: De "Vergetelijke" AI

Stel je voor dat je een persoonlijke trainer hebt die een AI is. Deze AI is supergoed in het herkennen van wat jij doet: lopen, rennen, fietsen. Maar dan komt er een nieuwe klant, een oudere man met een andere loopstijl. De AI moet nu leren hoe hij loopt.

Het probleem is dat de AI, zodra hij de nieuwe man leert kennen, zijn oude kennis over jou volledig vergeet. Hij begint je loopstijl te verwarren met die van de nieuwe klant. In de wereld van kunstmatige intelligentie noemen we dit catastrophical forgetting (catastrofaal vergeten).

Dit is een groot probleem in de gezondheidszorg. Als een systeem voor ouderenverpleging of revalidatie elke nieuwe patiënt moet leren kennen, mag het niet vergeten hoe de vorige patiënten bewogen. En vaak hebben we ook niet genoeg "etiketten" (antwoorden van de patiënt: "dit was wandelen, dit was vallen") om alles perfect te leren.

De Oplossing: CLAD-Net

De onderzoekers hebben een slim systeem bedacht dat CLAD-Net heet. Ze vergelijken dit met hoe het menselijk brein werkt. Het brein heeft namelijk twee systemen die samenwerken:

1. Het langetermijngeheugen: Waar je algemene kennis bewaart (zoals "wat is lopen?").
2. Het kortetermijngeheugen: Waar je nieuwe, specifieke details opslaat (zoals "hoe loopt jij precies?").

CLAD-Net doet precies hetzelfde met twee onderdelen:

1. De "Algemene Waarnemer" (De Zelflerende Transformer)

Dit is het langetermijngeheugen.

• Hoe het werkt: Dit deel kijkt naar de sensordata (van horloges of armbanden) zonder te kijken naar de naam van de patiënt of wat er precies gebeurt. Het leert puur door te kijken naar patronen.
• De analogie: Stel je voor dat je een kind leert wat een "hond" is. Je laat het niet alleen foto's van jouw hond zien, maar je laat het ook zien hoe honden eruitzien in het park, in de sneeuw, of als ze rennen. Het kind leert het concept van een hond, niet alleen jouw specifieke hond.
• Het voordeel: Omdat het geen etiketten nodig heeft, kan het 24/7 leren van alle sensordata, zelfs als niemand zegt wat er gebeurt. Het bouwt een sterke basis van "wat is beweging?".

2. De "Specifieke Trainer" (De CNN met Kennisdistillatie)

Dit is het kortetermijngeheugen dat zich aanpast aan de nieuwe klant.

• Hoe het werkt: Dit deel is de eigenlijke "trainer" die moet zeggen: "Ah, dit is wandelen." Maar als hij een nieuwe patiënt leert, mag hij de oude kennis niet vergeten.
• De analogie: Stel je voor dat je een nieuwe taal leert (bijvoorbeeld Spaans). Je wilt niet dat je je vergeten Nederlands. De trainer gebruikt een truc genaamd kennisdistillatie. Hij houdt een "spiegel" van zijn oude zelf vast. Als hij iets nieuws leert, kijkt hij in de spiegel en zegt: "Oké, ik leer nu Spaans, maar ik moet mijn antwoorden op Nederlands vragen nog steeds hetzelfde houden als vroeger."
• Het voordeel: Hij kan zich aanpassen aan nieuwe mensen zonder de oude mensen te vergeten, en hij hoeft geen oude data op te slaan (wat belangrijk is voor privacy).

Waarom is dit zo slim?

1. Geen geheugenbank nodig: Veel andere systemen moeten oude data opslaan (zoals een fotoalbum) om niet te vergeten hoe de vorige patiënten liepen. Dat is lastig voor privacy en opslagruimte. CLAD-Net onthoudt het via zijn "spiegel" (de distillatie) en zijn "algemene kennis" (de transformer). Het heeft geen fotoalbum nodig.
2. Werkt met weinig etiketten: In het echt zeggen mensen vaak niet: "Ik ben nu aan het rennen." Ze vergeten het of doen het niet. Omdat het eerste deel van CLAD-Net (de transformer) geen etiketten nodig heeft, kan het toch blijven leren. Het is als een kind dat leert door te kijken, niet alleen door instructies te krijgen.
3. Cross-Attention (De "Blik over de schouder"): Het systeem kijkt niet alleen naar één sensor (bijv. op je pols), maar kijkt naar alle sensoren tegelijk (polss, borst, enkel) en vraagt zich af: "Wat doet mijn pols in relatie tot mijn enkel?" Dit helpt het systeem om de beweging beter te begrijpen, net zoals je beter begrijpt hoe iemand loopt als je naar zijn hele lichaam kijkt, niet alleen naar zijn voeten.

De Resultaten

De onderzoekers hebben dit getest op drie grote datasets met duizenden sensormetingen van verschillende mensen.

• Conclusie: CLAD-Net vergeet veel minder dan andere systemen.
• Privacy: Het is net zo goed als systemen die oude data opslaan, maar doet dit zonder die data op te slaan.
• Robuust: Zelfs als maar 10% van de data een etiket heeft (weinig instructies), werkt het nog steeds uitstekend.

Samenvattend

CLAD-Net is als een slimme, eeuwige leermeester die:

1. Altijd blijft kijken naar hoe mensen bewegen (zonder te hoeven vragen wat ze doen).
2. Een spiegel van zijn oude kennis vasthoudt zodat hij nooit vergeet hoe hij dingen eerder deed.
3. Zich aanpast aan elke nieuwe patiënt zonder de oude te vergeten.

Dit maakt het perfect voor toekomstige gezondheidsapps die jarenlang mee kunnen gaan met een patiënt, zonder dat de software "dwaas" wordt door nieuwe mensen te leren kennen.

Technische samenvatting

Probleemstelling

De paper adresseert een fundamenteel probleem in de menselijke activiteitsherkenning (HAR) met draagbare sensoren: catastrofaal vergeten (catastrophic forgetting) in continu leerscenario's.

• Distributieverandering: Bestaande methoden gaan vaak uit van een stationaire data-distributie. In de praktijk echter, wanneer een model wordt getraind op nieuwe patiënten (nieuwe taken), verschilt de data-distributie aanzienlijk door variaties in leeftijd, mobiliteit en bewegingspatronen.
• Verlies van kennis: Wanneer een model sequentieel wordt aangepast aan nieuwe gebruikers, degradeert de prestatie op eerder geleerde gebruikers drastisch.
• Privacy en Labels: Traditionele oplossingen zoals Experience Replay (ER) vereisen het opslaan van historische ruwe sensordata, wat in strijd is met privacyregels (zoals GDPR/HIPAA) in de gezondheidszorg. Bovendien is gelabelde data in real-world studies vaak schaars of inconsistent beschikbaar, omdat deelnemers hun acties niet altijd correct labelen.

Methodologie: CLAD-Net

De auteurs introduceren CLAD-Net (Continual Learning with Attention and Distillation), een tweeledig architectuur die is geïnspireerd op het menselijke complementaire leersysteem (kortetermijn- en langetermijngeheugen). Het systeem bestaat uit twee hoofdcomponenten die parallel werken:

1. Zelftoezichtende Transformer (Langetermijngeheugen):

   • Functie: Deze component leert algemene, generaliseerbare representaties van activiteitspatronen zonder afhankelijk te zijn van labels of specifieke gebruikersidentiteiten.
   • Architectuur: Een Transformer-encoder die cross-attention gebruikt tussen sensoren op verschillende lichaamsdelen (bijv. hand, borst, enkel). Dit stelt het model in staat om afhankelijkheden tussen verschillende sensorstromen te modelleren.
   • Training: Gebruikt Bootstrap Your Own Latent (BYOL), een zelftoezichtende leerstrategie. De transformer wordt getraind op versterkte weergaven van de data (bijv. via zero-masking) om invariante representaties te leren. Dit zorgt voor stabiliteit in het kenmerkruimte, ongeacht de gebruiker.

2. Supervised Convolutional Neural Network (CNN) (Klassificatie):

   • Functie: Deze component voert de daadwerkelijke activiteitsclassificatie uit en wordt specifiek aangepast aan de huidige gebruiker.
   • Training: De CNN wordt getraind met kennisdistillatie (Knowledge Distillation), geïnspireerd op Learning without Forgetting (LwF).
   • Mechanisme: Tijdens het trainen op een nieuwe gebruiker, wordt de output van het huidige model vergeleken met de output van een "bevroren" versie van het model van de vorige gebruiker. Een distillatieverlies (KL-divergentie) straft afwijkingen in de beslissingsgrenzen, waardoor het model de kennis van eerdere gebruikers behoudt zonder hun ruwe data op te slaan.
   • Fusie: De features van de transformer worden gecombineerd met de features van de CNN voordat de classificatie plaatsvindt.

Belangrijkste Bijdragen

1. Domain-Incremental Learning voor HAR: De paper positioneert HAR als een domain-incremental learning probleem, waarbij labels gelijk blijven maar de data-distributie per gebruiker verandert.
2. Novel Architectuur: De combinatie van een zelftoezichtende transformer (voor robuuste, label-vrije representaties) met een distillatie-gestuurde CNN (voor behoud van beslissingsgrenzen) biedt een oplossing voor zowel vergeten als label-schaarste.
3. Privacy-vriendelijk: Het systeem is "exemplar-free", wat betekent dat er geen historische data hoeft te worden opgeslagen, wat cruciaal is voor medische toepassingen.
4. Robuustheid: Het model presteert goed in semi-supervised scenario's (met slechts 10-20% gelabelde data), wat realistisch is voor klinische settingen.

Resultaten

CLAD-Net werd geëvalueerd op drie benchmark datasets: PAMAP2, DnSA (Daily and Sports Activities), en RealWorld HAR. De resultaten tonen aan dat CLAD-Net superieur is aan bestaande replay-vrije methoden en concurrerend is met replay-gebaseerde methoden zonder het privacyrisico.

• Prestaties op PAMAP2:
  • Eindnauwkeurigheid: 80,78%
  • Vergeten Maat (Forgetting Measure): 11,05%
  • Vergelijking: Beter dan LwF (77,02% nauwkeurigheid, 11,41% vergeten) en EWC.
• Prestaties op DnSA:
  • Eindnauwkeurigheid: 81,14%
  • Vergeten Maat: 8,68%
• Prestaties op RealWorld:
  • Eindnauwkeurigheid: 64,34%
  • Vergeten Maat: 24,34%

Ablatie Studies:

• Het verwijderen van de transformer leidt tot een significante toename in vergeten.
• Het verwijderen van kennisdistillatie vermindert de algehele prestatie.
• Cross-attention bleek effectiever dan zelf-attention (self-attention), wat aantoont dat het modelleren van relaties tussen verschillende lichaamsdelen essentieel is voor goede representaties.
• BYOL als verliesfunctie presteerde beter dan SimCLR en Barlow Twins.

Semi-supervised Setting:
In scenario's met slechts 10% of 20% gelabelde data behield CLAD-Net een lagere mate van vergeten dan alle basismethoden (inclusief DER++ en ER), wat de kracht van het zelftoezichtende onderdeel onderstreept.

Significantie

De paper biedt een praktische en ethisch verantwoorde oplossing voor het implementeren van HAR-systemen in de gezondheidszorg.

• Klinische Toepasbaarheid: Het maakt langdurige monitoring van patiënten mogelijk (bijv. revalidatie, valrisico bij ouderen) zonder dat het systeem "vergeet" hoe eerdere patiënten bewegen.
• Privacy: Door geen historische data op te slaan, omzeilt het systeem complexe privacyproblemen die vaak de implementatie van AI in de zorg blokkeren.
• Scalabiliteit: De methode is geschikt voor resource-beperkte draagbare apparaten en kan zich aanpassen aan een stroom van nieuwe gebruikers zonder volledige hertraining.

Samenvattend bewijst CLAD-Net dat de integratie van zelftoezichtend leren en kennisdistillatie een krachtige route is om het stabiliteit-plasticiteit compromis op te lossen in draagbare gezondheidsmonitoring.