TransfHAR: Self-Supervised Wrist Representations for On-Demand Activity Recognition
TransfHAR is een zelfgesuperviseerd wrist IMU-framework dat pretraining op grove, ongelabelde activiteiten benut om nauwkeurige, on-demand fijnmazige activiteitsherkenning met minimale gelabelde data mogelijk te maken, waarbij het superieur presteert aan volledig gesuperviseerde baselines in zowel offline evaluaties als real-world smartwatch-toepassingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elke dag vertellen onze polsen een verhaal van beweging. Ze dragen ons door het ritme van een ochtendloop, het gestage tempo van wandelen naar het werk, en de stille rust van het zitten aan een bureau. Jarenlang hebben wetenschappers computers geleerd om deze brede, vloeiende bewegingen te herkennen met behulp van sensoren die aan de pols worden gedragen. Deze apparaten kunnen het verschil zien tussen een jog en een rustmoment, of tussen wandelen en autorijden. Maar de wereld van menselijke beweging is veel complexer dan deze brede categorieën. Het is gevuld met de kleine, specifieke gebaren die ons persoonlijke leven definiëren: de manier waarop een barista koffie roert, de precieze beweging van het knippen met vingers, of de delicate stappen bij het aanbrengen van lotion. Deze fijnmazige handelingen zijn precies de dingen die onze routines uniek maken, maar ze zijn onzichtbaar gebleven voor standaard smartwatch-software. De uitdaging was altijd dat het leren van een computer om een nieuwe, specifieke actie te herkennen, gewoon het verzamelen van uren aan gelabelde data vereiste voor elke persoon en elke taak; een proces dat traag, duur en onmogelijk schaalbaar is naar de oneindige variëteit van menselijke gewoonten.
Een team van onderzoekers heeft nu een manier gevonden om deze flessenhals te omzeilen. Ze ontwikkelde een systeem genaamd TransfHAR, waarmee een smartwatch nieuwe, gepersonaliseerde activiteiten kan leren van slechts enkele seconden demonstratie. In plaats van te proberen het apparaat elke mogelijke beweging vanaf nul te leren, hebben de onderzoekers het eerst de universele taal van polsbewegingen geleerd. Ze verzamelden enorme hoeveelheden ongelabelde data uit publieke datasets, waarbij duizenden uren aan mensen die wandelen, rennen, zitten en sporten werden vastgelegd. Met behulp van een self-supervised learning methode bestudeerde het systeem deze ruwe bewegingen zonder te worden verteld wat ze waren. Het leerde de onderliggende fysica te begrijpen van hoe een pols beweegt—hoe deze roteert, hoe deze versnelt, en hoe verschillende delen van de beweging in de loop van de tijd met elkaar verbonden zijn. Dit proces creëerde een diep, intern begrip van de structuur van beweging, een soort mentale kaart van hoe een pols zich in de fysieke wereld gedraagt.
Zodra dit fundament was gebouwd, bevroren de onderzoekers de kernkennis van het systeem en stelden ze een eenvoudige vraag: kon dit brede begrip van beweging helpen om specifieke, fijnmazige taken te herkennen die het nog nooit eerder had gezien? Om dit te testen, probeerden ze het systeem te leren complexe handelingen te identificeren zoals het roeren in een pan, schrijven met een pen, of het uitvoeren van een reeks stappen om een latte te maken. Deze taken waren volledig afwezig in de initiële trainingsdata. De resultaten waren opmerkelijk. Wanneer het systeem slechts enkele voorbeelden van deze nieuwe acties kreeg, kon het ze met een hoge nauwkeurigheid herkennen. In een studie met tien deelnemers, die elk zeven unieke activiteiten definieerden, bereikte het systeem een nauwkeurigheid van bijna negentig procent wanneer het getraind werd op slechts één minuut aan opnames per activiteit. Zelfs met slechts enkele seconden aan data presteerde het aanzienlijk beter dan traditionele methoden die een volledige hertraining van het model van scratch zouden vereisen.
De kracht van deze aanpak ligt in het vermogen om te generaliseren. Het systeem heeft niet de specifieke bewegingen van de mensen op wie het getraind is uit het hoofd geleerd; in plaats daarvan heeft het de fundamentele mechanica van de polsbeweging geleerd. Omdat de fysica van hoe een pols beweegt tijdens het roeren in een kopje gerelateerd is aan hoe deze beweegt tijdens het knippen met de vingers, kon het systeem zijn kennis overdragen van de brede, grove bewegingen van het dagelijs leven naar de fijne, specifieke gebaren van persoonlijke routines. Dit betekent dat een gebruiker nu zijn eigen activiteit kan definiëren, zoals een specifieke oefenstap of een uniek handgebaar, en de watch kan dit bijna onmiddellijk leren. Het systeem werkt door de ruwe sensordata te nemen, deze om te zetten in een compacte representatie met behulp van zijn vooraf getrainde brein, en vervolgens een zeer eenvoudige, lichte laag te gebruiken om die representatie aan het nieuwe label te koppelen. Dit maakt het mogelijk dat het hele proces direct op de watch plaatsvindt, zonder dat gegevens naar een cloudserver hoeven te worden verzonden of te wachten op een complexe update.
De onderzoekers hebben echter ook de grenzen van deze technologie geïdentificeerd. Het systeem blinkt uit in het herkennen van acties die een duidelijke, burst-achtige beweging of duidelijke rotatiepatronen hebben, zoals het schudden van een fles of het aandraaien van een schroef. Het heeft meer moeite met acties die voortdurend en met een lage amplitude zijn, zoals scrollen op een telefoon of schrijven met een pen, omdat deze bewegingen vaak erg lijken op de korte tijdsvensters die het systeem analyseert. Wanneer twee verschillende activiteiten bijna identieke polsdynamiek produceren, kan het systeem ze met elkaar verwarren, wat suggereert dat er nog steeds grenzen zijn aan wat een enkele snapshot van beweging kan onthullen. Ondanks deze beperkingen suggereren de bevindingen een nieuwe weg vooruit voor wearable technologie. Door te leren van de enorme, ongelabelde bewegingen van de wereld, kunnen smartwatches verder gaan dan een vaste lijst van vooraf geprogrammeerde activiteiten en echt adaptieve instrumenten worden die de unieke, evoluerende taal van menselijke beweging begrijpen. Deze verschuiving betekent dat onze apparaten in de toekomst niet alleen zullen bijhouden wat we doen, maar zullen leren begrijpen op welke specifieke manieren we ervoor kiezen om het te doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.