Bio-Inspired Self-Supervised Learning for Wrist-worn IMU Signals

Deze paper introduceert een bio-geïnspireerde zelftoezicht-leerbenadering voor pols-IMU-signalen die, gebaseerd op de subbewegingstheorie, bewegingssegmenten als tokens gebruikt om robuuste representaties te leren die prestaties en data-efficiëntie bij menselijke activiteitsherkenning significant verbeteren.

De kern

Stel je voor dat je een slim horloge draagt dat de hele dag meedraait. Het voelt elke beweging van je pols: hoe je loopt, hoe je bakt, hoe je slaapt. Maar er is een groot probleem: om dit horloge echt slim te maken, moet je het eerst "leren" wat elke beweging betekent. En dat leren kost enorm veel tijd en geld, omdat mensen handmatig moeten uitleggen: "Dit is lopen, dit is slapen."

De onderzoekers van dit paper hebben een slimme oplossing bedacht. Ze zeggen: "Waarom proberen we niet te leren zoals ons eigen brein dat doet?"

Hier is het verhaal van hun ontdekking, vertaald in simpele taal:

1. Het oude probleem: Kijken naar de golfjes

Tot nu toe keken computers naar de beweging van je pols alsof het een lange, chaotische lijn was. Ze probeerden patronen te vinden in de golfjes van het signaal, net als iemand die probeert een boek te lezen door alleen naar de vorm van de letters te kijken, zonder te weten wat de letters zijn.

• Het probleem: Ze zagen de details, maar misten de betekenis. Het was alsof je een zin probeert te begrijpen door alleen naar de inktvlekken op het papier te staren, zonder te weten dat die vlekken woorden vormen.

2. De nieuwe aanpak: De "biologische" manier

De onderzoekers keken naar hoe mensen eigenlijk bewegen. In de wetenschap bestaat er een theorie die zegt dat elke complexe beweging (zoals het pakken van een kopje) eigenlijk opgebouwd is uit kleine, simpele stukjes. Ze noemen deze stukjes subbewegingen.

• De analogie: Denk aan een taal.
  • Een letter is een simpele beweging (een subbeweging).
  • Een woord is een zinnetje van bewegingen dat iets zinvols doet (een bewegingssegment).
  • Een zin is een hele activiteit (zoals "ontbijten").

De oude methoden probeerden zinnen te maken uit willekeurige stukjes papier. De onderzoekers zeggen: "Nee, we moeten eerst de letters groeperen tot echte woorden, en dan pas de zinnen maken."

3. De oplossing: Bio-PM (De slimme vertaler)

Ze hebben een nieuw systeem gebouwd, genaamd Bio-PM. Dit systeem doet drie dingen:

1. Het snijdt de beweging in "woorden": In plaats van de signaallijn in willekeurige stukjes te hakken, kijkt het naar de natuurlijke pieken en dalen van je beweging. Waar je pols stopt en weer begint, daar snijdt het. Zo krijgt het echte, betekenisvolle stukjes beweging (de "woorden").
2. Het leest de "zin": Het systeem gebruikt een slimme computer (een Transformer, net als bij ChatGPT) om te leren hoe deze "woorden" op elkaar volgen. Het leert dat "hand opheffen" gevolgd door "hand naar mond" iets anders betekent dan "hand opheffen" gevolgd door "hand laten zakken".
3. Het oefent met een blinddoek: Om te leren, krijgen ze een lange tekst (uren aan bewegingsdata) en worden willekeurige "woorden" zwart gemaakt. Het systeem moet de ontbrekende woorden raden op basis van de rest van de zin. Zo leert het de structuur van menselijke beweging zonder dat iemand hoeft te zeggen wat het is.

4. Waarom werkt dit zo goed?

Toen ze dit systeem testten op zes verschillende testcases (waarbij ze het systeem lieten werken met mensen die het systeem nooit had gezien), deed het het veel beter dan alle andere methoden.

• Minder data nodig: Omdat het systeem de structuur van beweging begrijpt (net als wij taal begrijpen), heeft het veel minder voorbeelden nodig om iets nieuws te leren. Het is alsof je een kind leert lezen: als het de letters en woorden begrijpt, hoeft het niet elke nieuwe zin letterlijk te oefenen.
• Beter begrip: Het systeem maakt minder fouten bij bewegingen die op elkaar lijken, maar in een andere volgorde gebeuren (bijvoorbeeld: eerst zitten, dan opstaan, versus eerst opstaan, dan zitten).

Samenvatting in één zin

In plaats van een computer te laten kijken naar een wirwar van golfjes, hebben de onderzoekers hem geleerd om de beweging van je pols te lezen als een verhaal van losse, betekenisvolle woorden, waardoor hij veel sneller en slimmer leert wat je doet.

Kortom: Ze hebben de computer niet alleen "slimmer" gemaakt, maar hem ook "menselijker" gemaakt door te kijken naar de biologische logica van onze eigen bewegingen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Bio-Inspired Self-Supervised Learning for Wrist-worn IMU Signals" in het Nederlands.

Probleemstelling

Draagbare versnellingssensoren (IMU's) bieden enorme kansen voor gezondheidsmonitoring, maar de ontwikkeling van robuuste modellen voor Menselijke Activiteitsherkenning (HAR) wordt beperkt door het gebrek aan gelabelde data. Bestaande zelftoezichthoudende leermethodes (Self-Supervised Learning of SSL) behandelen sensordata vaak als ongestructureerde tijdreeksen. Ze optimaliseren objectieven op willekeurige steekproefroosters (bijv. vaste venstergroottes) en negeren de onderliggende biologische structuur van menselijke beweging. De auteurs stellen dat dit leidt tot een focus op lokale golfvorm-morfologie in plaats van het leren van de systematische organisatie van beweging, wat de overdraagbaarheid (transfer) naar nieuwe taken beperkt.

Methodologie

De kern van de voorgestelde aanpak is een bio-geïnspireerde tokenisatiestrategie die is gebaseerd op de submovement-theorie uit de motorische controle.

1. Biologische Basis (Submovement Theory):

   • Menselijke beweging wordt gezien als een superpositie van elementaire eenheden genaamd "subbewegingen" (bell-shaped kinematic units).
   • In plaats van deze subbewegingen direct te gebruiken (wat computatie intensief is en weinig semantische waarde heeft als losse eenheid), definiëren de auteurs een "bewegingssegment" (movement segment) als het equivalent van een "woord" in natuurlijke taal.
   • Een bewegingssegment wordt gedefinieerd als het interval tussen opeenvolgende nul-doorgangen (zero-crossings) van de versnelling. Dit komt overeen met de pieken in snelheid en vormt een zinvolle eenheid van beweging.

2. Tokenisatieproces:

   • Het ruwe signaal wordt eerst gefilterd om de zwaartekrachtcomponent te verwijderen (hoge doorlaatfilter van 0,5 Hz) zodat alleen de lineaire versnelling (vrijwillige beweging) overblijft.
   • De token-grenzen worden bepaald door de nul-doorgangen in dit gefilterde signaal.
   • Elk segment wordt opgeschaald naar een vaste lengte (32 samples) en gecodeerd via een 1D-CNN.
   • De token-voorstelling omvat de CNN-embedding, een as-embedding (x, y, z) en de oorspronkelijke duur van het segment.

3. Zelftoezichthoudend Voorvertrouwen (Pretraining):

   • Een Transformer-encoder wordt voorgetraind op het grote NHANES-corpus (ongeveer 28.000 uur data van 11.000 deelnemers).
   • Doel: Gemaskerde reconstructie van bewegingssegmenten (Masked Movement-Segment Reconstruction).
   • Strategie: Een hybride masking-beleid wordt gebruikt (willekeurige masking en continue tijds-masking) om zowel lokale interpolatie als langetermijn-inferentie te stimuleren. Het model moet de gemaskerde golfvormen reconstrueren op basis van de context van de omliggende segmenten.
   • Positie-encoding: Omdat segmenten onregelmatige tijdsintervallen hebben, worden tijdsbewuste positie-embeddings gebruikt in plaats van standaard sinus/cosinus encoding.

4. Downstream Taken:

   • Voor HAR-taken wordt de voorgetrainde encoder "bevroren" en wordt er een eenvoudige lineaire regressie (logistische regressie) bovenop getraind (Linear Probing).
   • Voor de classificatie wordt de lage-frequentie component (zwaartekracht/oriëntatie) opnieuw toegevoegd aan de features om postuurinformatie te behouden.

Belangrijkste Bijdragen

1. Bio-geïnspireerde Tokenisatie: Een schaalbare strategie om continue versnellingssignalen op te delen in betekenisvolle bewegingseenheden, gebaseerd op motorische theorie.
2. Bio-PM Model: Een Transformer-encoder die is voorgetraind via gemaskerde reconstructie van bewegingssegmenten om de compositie-structuur van menselijke activiteit te modelleren.
3. Data-efficiëntie: Het aantonen dat segment-gebaseerde voorvertrouwen leidt tot betere prestaties met minder gelabelde data in vergelijking met bestaande SSL-baselines.

Resultaten

De auteurs evalueerden hun model (Bio-PM) op zes subject-disjuncte HAR-benchmarks (waaronder UMH, PAMAP, MHealth, WHARF) en vergeleken dit met sterke baselines zoals Contrastive Learning (TF-C), Augmentation Prediction en Naive Masked Reconstruction.

• Prestaties: Bio-PM behaalde de hoogste prestaties op alle zes benchmarks, met een gemiddelde verbetering van 6% in Macro-F1-score (bereik 4-12%) ten opzichte van de beste bestaande SSL-baselines.
• Ablatie-studies:
  • Het vervangen van de bewegingssegmenten door vaste, gelijke lengte-chunks ("naive tokenization") liet een daling zien van 0,18 in Macro-F1, wat aantoont dat de tokenisatiestrategie cruciaal is.
  • Het verwijderen van de lage-frequentie (zwaartekracht) component had ook een negatief effect, maar Bio-PM bleef zelfs zonder deze component superieur aan de baselines.
• Data-efficiëntie: Bio-PM presteerde consistent beter dan baselines bij een beperkt aantal gelabelde proefpersonen, wat aantoont dat het model effectiever leert van ongelabelde data.
• Generalisatie: Het model toonde een beter vermogen om onbekende overgangen tussen bewegingseenheden te voorspellen, wat suggereert dat het de temporale structuur en volgorde van bewegingen heeft geleerd, niet alleen lokale golfvormen.

Betekenis en Impact

Dit artikel introduceert een paradigmaverschuiving in de verwerking van IMU-data voor HAR. In plaats van sensordata als een continue, ongestructureerde stroom te behandelen, toont het aan dat het modelleren van data op basis van biologisch betekenisvolle eenheden (bewegingssegmenten) leidt tot robuustere en data-efficiëntere representaties.

De bevindingen suggereren dat tokenisatie een centrale ontwerpkeuze is in tijdreeksrepresentatielearning. De methode (Bio-PM) biedt een nieuwe weg voor het ontwikkelen van algemene modellen voor draagbare sensoren die minder afhankelijk zijn van dure gelabelde datasets, wat essentieel is voor de schaalbaarheid van gezondheidsapplicaties en persoonlijke geneeskunde. De code en voorgetrainde gewichten worden openbaar beschikbaar gesteld om reproduceerbaar onderzoek te bevorderen.