🤖 AI

Memory-Augmented LSTM Autoencoder for Unsupervised Activity Recognition with IMU Sensor Fusion

Dit artikel stelt een volledig ongesuperviseerd, geheugenversterkt LSTM-autoencoderframework voor dat hiërarchische statische en temporele kenmerken van multi-sensor IMU-data combineert om een hoge nauwkeurigheid in activiteitsherkenning in realistische scenario's te bereiken, waarbij het zowel gesuperviseerde baselines als bestaande ongesuperviseerde methoden op de DaLiAc- en PAMAP2-datasets overtreft.

Oorspronkelijke auteurs: Saeid Arabzadeh, Farshad Almasganj, Mohammad Mahdi Ahmadi

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saeid Arabzadeh, Farshad Almasganj, Mohammad Mahdi Ahmadi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren wat een persoon doet door alleen te kijken naar het schudden en draaien van hun lichaam. Normaal gesproken moet je een robot hiervoor trainen door het aan hem te tonen met duizenden video's waarin een mens elke beweging al heeft gelabeld: "Dit is lopen," "Dit is zitten," "Dit is vegen." Maar in de echte wereld hebben we niet altijd die labels, en soms is de data rommelig of wiebelen de sensoren alle kanten op.

Dit artikel stelt een slimme nieuwe manier voor om de robot te leren zonder die labels nodig te hebben. Het is alsof je een student leert een liedje te herkennen, niet door de bladmuziek te lezen, maar door te luisteren naar het ritme en hoe de noten in elkaar overvloeien.

Hier is de onderverdeling van hun methode met behulp van eenvoudige analogieën:

1. Het Probleem: De "Wazige Snapshot"

Stel je voor dat je een foto maakt van een persoon voor slechts één seconde. Als die persoon midden in het proces zit van opstaan uit een stoel, is die enkele foto verwarrend. Is het "zitten" of "staan"? Het is een wazige snapshot.

De Uitdaging: De meeste bestaande AI-modellen proberen naar deze korte, wazige snapshots te kijken en de activiteit te raden. Ze raken vaak in de war, vooral als de sensoren (zoals smartwatches of heupbanden) ruis bevatten of als de persoon tussen twee activiteiten in zit te gaan.
De Oplossing van het Papier: In plaats van alleen naar de snapshot te kijken, kijkt de AI naar het verhaal dat aan die snapshot voorafging. Het vraagt: "Wat was er een seconde geleden aan de hand?" om de huidige situatie beter te begrijpen.

2. De Oplossing: Een Tweestaps "Geheugensysteem"

De auteurs hebben een systeem gebouwd genaamd UTFF (Unsupervised Temporal Feature Fusion). Zie dit als een tweetraps detectiefase:

Fase A: De "Statische Detective" (Het HUF-model)

Eerst kijkt het systeem naar een enkel tijdsvenster (een snapshot) van meerdere sensoren (zo zoals versnellingsmeters en gyroscopen op de pols, borst en heup).

De Analogie: Stel je een team van kunstcritici voor. Elke criticus kijkt naar een ander deel van het schilderij (de een kijkt naar de pols, de ander naar de borst). Ze schrijven elk een gedetailleerd verslag van wat ze zien. Vervolgens combineert een "Hoofdcriticus" al deze verslagen tot één enkel, hoogwaardig samenvatting van wat het lichaam op dit moment doet.
Het Resultaat: Dit creëert een "statische feature"—een zeer goede beschrijving van het huidige moment, maar het weet nog steeds niet of de persoon net aan het zitten was of net aan het opstaan was.

Fase B: De "Geheugenbewaarder" (De LSTM-AE)

Dit is de belangrijkste innovatie van het papier. Het systeem neemt die "statische samenveningen" en voert ze in een Memory-Augmented Autoencoder.

De Analogie: Stel je een bibliothecaris voor die zojuist een samenvatting van een boekhoofdstuk heeft ontvangen. In plaats van het hoofdstuk op zichzelf te beoordelen, bladert de bibliothecaris terug door de vorige hoofdstukken in zijn geheugen. Hij zegt: "Ah, dit hoofdstuk is nu logisch omdat ik me herinner dat het personage in het vorige hoofdstuk aan het rennen was."
Hoe het werkt: De AI bekijkt de huidige samenvatting en combineert deze met de samenvattingen van de afgelopen paar seconden. Het gebruikt een speciale "geheugencel" (een LSTM) om de flow van de beweging te onthouden. Vervolgens probeert het de originele data te reconstrueren vanuit dit geheugen. Als het de data perfect kan reconstrueren, betekent dit dat het het patroon echt begrepen heeft.
De Magie: Door de AI te dwingen het verleden te onthouden om het heden te begrijpen, wordt het veel beter in het onderscheiden van vergelijkbare activiteiten (zoals "vegen" versus "lopen"), zelfs als de huidige snapshot kort en wazig is.

3. De "Real-World" Test

De meeste studies testen hun AI op perfecte, schone data waarbij elk venster slechts één activiteit bevat (bijvoorbeeld een venster dat voor 100% uit "lopen" bestaat).

De Twist van het Papier: De auteurs besloten hun model te testen in een rommelig, echt scenario. Ze gebruikten inter-class windowing.
De Analogie: In plaats van de bibliothecaris te testen op een boek waar elk hoofdstuk een nieuw hoofdstuk is, gaven ze hem een boek waar de hoofdstukken in elkaar overvloeien. Een enkel venster kan zowel het einde van "zitten" als het begin van "staan" bevatten.
Het Resultaat: Ze ontdekten dat deze rommelige aanpak de taak van de AI daadwerkelijk moeilijker maakte (de nauwkeurigheid daalde aanvankelijk met ongeveer 7%), maar dat het het model veel praktischer maakte voor de echte wereld.

4. De Resultaten: Korte Vensters, Grote Winsten

De meest indrukwekkende claim in het papier gaat over snelheid en efficiëntie.

Meestal heeft AI, om een hoge nauwkeurigheid te krijgen, een lang tijdsvenster nodig (zoals 5 seconden aan data) om zeker te weten wat er gebeurt.
Het model van de auteurs bereikte een nauwkeurigheid van 96,6% op de ene dataset en 98,4% op een andere, maar deed dit met extreem korte vensters (slechts 1 seconde).
De Metafoor: Het is alsof je een liedje herkent na het horen van slechts de eerste twee noten, terwijl andere systemen het hele refrein moeten horen. Door het "geheugen" van de vorige noten te gebruiken, had het model het hele refrein niet nodig om te weten welk liedje het was.

Samenvatting

Het papier introduceert een slimme, ongesuperviseerde AI die leert menselijke bewegingen te herkennen door:

Data van meerdere lichaamsensoren te fuseren om een helder beeld van het "nu" te krijgen.
Geheugen te gebruiken om naar het "net hiervoor" te kijken om het "nu" beter te begrijpen.
Zichzelf te trainen zonder menselijke labels nodig te hebben (ongesuperviseerd).
Te werken, zelfs wanneer de data rommelig is en de tijdsvensters erg kort zijn.

De auteurs beweren dat deze methode superieur is aan oudere modellen omdat het de rommelige realiteit van menselijke bewegingsovergangen afhandelt en dit alles doet zonder dat er een enorme bibliotheek aan gelabelde voorbeelden nodig is.

Technische Samenvatting: Geheugen-geaugmenteerde LSTM-Autoencoder voor Ongesuperviseerde Activiteitsherkenning

1. Probleemstelling

Menselijke activiteitsherkenning (Human Activity Recognition - HAR) met behulp van Inertial Measurement Unit (IMU) sensoren is cruciaal voor de gezondheidszorg, revalidatie en de diagnose van motorische stoornissen. Het vakgebied staat echter voor aanzienlijke hindernissen:

Datatekort en Labeling: Deep learning-modellen vereisen doorgaans grote hoeveelheden gelabelde data, wat moeilijk en kostbaar is om te verkrijgen.
Complexiteit van Sensorfusie: Het effectief fuseren van gegevens van meerdere sensoren (versnellingsmeters en gyroscopen) om zowel ruimtelijke als temporele afhankelijkheden vast te leggen, blijft een uitdaging.
Temporele en Ruimtelijke Afhankelijkheden: Bestaande ongesuperviseerde methoden slagen er vaak niet in om de complexe temporele dynamiek van diverse bewegingspatronen vast te leggen, vooral in korte tijdsvensters.
Real-world Beperkingen: Scenario's in de echte wereld bevatten ruisende data, overlappende activiteiten en ambigue overgangsgrenzen. De meeste bestaande studies gebruiken "intra-class" venstersegmentatie (waarbij een venster slechts één activiteit bevat), wat niet de continue, transitionele aard van menselijke beweging weerspieft.

2. Methodologie

De auteurs stellen een volledig ongesuperviseerd spatiotemporeel fusiekader voor, genaamd Unsupervised Temporal Feature Fusion (UTFF). De architectuur werkt in twee primaire fasen: statische extractie van kenmerken en dynamische temporele verbetering.

A. Statische Extractie van Kenmerken (Hierarchical Unsupervised Fusion - HUF)

Voordat de temporele modellering plaatsvindt, extraheert het systeem statische kenmerken uit kortstondige vensters van multi-sensor data via een hiërarchisch driestaps proces:

Data Representatie (DR-SAE): Een Stacked Autoencoder met Convolutionele Neurale Netwerken (CNN's) verwerkt individuele sensorassen (versnellingsmeter en gyroscoop) om ruwe signalen in kaart te brengen naar een hoogdimensionale feature space (256 kanalen).
Lokale Feature Fusie (LFF-AE): Kenmerken van de zes assen van een enkele sensor worden gefuseerd met behulp van een Local Feature Fusion Autoencoder. Deze fase bevat max-pooling om stabiliteit te bieden tegen bewegingsverstoringen en batch normalisatie.
Globale Feature Fusie (GFF-AE): Kenmerken van alle op het lichaam gedragen sensoren worden gefuseerd tot een enkele verenigde vector met behulp van een Global Feature Fusion Autoencoder. Dit produceert een statische kenmerkrepresentatie voor een enkel tijdsvenster.

B. Dynamische Temporele Verbetering (Memory-Augmented LSTM-AE)

Om de beperkingen van statische kenmerken aan te pakken, maakt het framework gebruik van een Sequence-to-Sequence (STS) Memory-Augmented Autoencoder gebaseerd op Long Short-Term Memory (LSTM) netwerken:

Sequentieconstructie: Statische feature vectoren van opeenvolgende vensters worden geconcateneerd om een temporele sequentie te vormen. Om het begin van een sequentie te verwerken, worden de initiële vectoren aangevuld met nullen (padding).
Encoder-Decoder Architectuur:
- De Encoder verwerkt een sequentie van $q$ vensters. Het maakt gebruik van LSTM-cellen om informatie van voorgaande tijdstappen te aggregeren.
- De Decoder probeert de oorspronkelijke inputsequentie te reconstrueren vanuit een gecomprimeerde representatie (de "code").
- Geheugenmechanisme: De laatste verborgen toestand van de encoder ( $h_q$ ) dient als de verbeterde dynamische feature vector. Deze toestand integreert de huidige input met de historische context van voorgaande vensters zonder dat daarvoor activiteitslabels nodig zijn.
Trainingsdoel: Het model wordt ongesuperviseerd getraind om de Mean Square Error (MSE) tussen de oorspronkelijke inputsequentie en de gereconstrueerde sequentie te minimaliseren.

C. Classificatie

Voor evaluatie worden de geëxtraheerde kenmerken (statisch, door LSTM verbeterd, of door LSTM-AE verbeterd) gevoed aan een Dense Layer Network (DLN) classifier. De studie vergelijkt drie configuraties:

Statische kenmerken (alleen HUF).
entitlements. 2. Kenmerken verbeterd door een eenvoudige LSTM (LSTM-CF).
Kenmerken verbeterd door de voorgestelde Memory-Augmented LSTM-AE.

3. Belangrijkste Bijdragen

Het artikel schetst vijf primaire bijdragen:

UTFF Framework: Een nieuw ongesuperviseerd framework dat zowel statische als dynamische extractie van kenmerken uitvoert. Het maakt gebruik van een hiërarchische structuur om kenmerken te fuseren van individuele sensorkanalen tot op het niveau van het volledige lichaam, waarbij statische kenmerken worden bijgewerkt met historische data zonder supervisie.
Geheugen-verbeterde Autoencoder: Een architectuur die de kenmerken van het huidige venster bijwerkt door relevante informatie van voorgaande vensters te incorporeren. Dit richt zich specif op de uitdaging van het trainen van modellen met veel activiteitsklassen op een ongesuperviseerde wijze met behulp van Recurrent Neural Networks (RNN's).
Aanpak van Transitie-onzekerheid: In tegenstelling tot eerdere werken is het model ontworpen voor inter-class windowing, waarbij vensters transities tussen activiteiten kunnen bevatten. Dit brengt het model in lijn met de realiteit van de echte wereld, waar activiteitsgrenzen onnauwkeurig zijn.
Hyperparameter Analyse: Een systematische beoordeling van hoe de sequentielengte ( $q$ ), de code-grootte en de encoder-decoder connectiviteit ( $m$ ) de scheidbaarheid van kenmerken beïnvloeden.
Realistische Segmentatiestrategie: De adoptie van continue inter-class segmentatie over de gehele signaallijn, waardoor meerdere activiteiten binnen een enkel venster kunnen voorkomen, wat zorgt voor een striktere evaluatie van de capaciteiten van de extractie van kenmerken.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee benchmark datasets: DaLiAc (19 deelnemers, 14 activiteiten, 4 sensoren) en PAMAP2 (9 deelnemers, 11 activiteiten, 3 sensoren).

Prestaties op DaLiAc:
- Bij het gebruik van een kort venster van 1 seconde ( $N=200$ samples), bereikte de voorgestelde LSTM-AE methode een classificatienauwkeurigheid van 96,6%.
- Dit presteerde aanzienlijk beter dan de statische HUF baseline (63%) en de eenvoudige LSTM-CF (73%).
- Zelfs met een langer venster van 2,56 seconden overtrof de LSTM-AE (91,6%) de statische baseline (86%).
- De methode slaagde er succesvol in om moeilijke klassen te onderscheiden (bijv. staan versus stofzuigen) die statische kenmerken niet konden scheiden.
Prestaties op PAMAP2:
- Het model bereikte een nauwkeurigheid van 98,4% met een venster van 1 seconde met inter-class segmentatie.
- Dit resultaat overtrof verschillende gesuperviseerde baselines en bestaande ongesuperviseerde benaderingen, ondanks het feit dat het aanzienlijk kortere temporele vensters gebruikte dan veel vergelijkende studies (die vaak vensters van 5s tot 10s gebruiken).
Impact van Inter-Class Segmentatie:
- De auteurs merkten op dat het overschakelen van intra-class naar inter-class segmentatie de classificatienauwkeurigheid voor statische modellen met ongeveer 7% verminderde. Echter, het voorgestelde LSTM-AE model herstelde en overtrof deze verliezen, wat de robuustheid in realistische transitiescenario's aantoont.
Inzichten in Hyperparameters:
- Optimale prestaties werden gevonden met een sequentielengte ( $q$ ) van 6 en een code-grootte van 1000.
- Het vergroten van het aantal encoder-decoder connectiecellen ( $m$ ) boven de 1 leidde tot een verslechtering van de prestaties, wat suggereert dat een strakkere bottleneck meer discriminerende kenmerken oplevert.
- Het vergroten van de encoder-diepte (van 1 naar 2 lagen) verbeterde de algehele nauwkeurigheid niet consistent, hoewel het hielp bij specifieke complexe activiteiten.

5. Betekenis en Claims

Het artikel beweert dat het voorgestelde UTFF-framework een belangrijke stap voorwaarts is in ongesuperviseerde HAR door zowel de uitdagingen van sensorfusie als temporele afhankelijkheid aan te pakken zonder gebruik te maken van gelabelde data.

Toepasbaarheid in de echte wereld: Door gebruik te maken van inter-class windowing en korte temporele vensters (1 seconde), is het model beter geschikt voor online, real-time toepassingen waarbij activiteitsovergangen frequent voorkomen en labeling niet beschikbaar is.
Efficiëntie: De methode bereikt state-of-the-art of superieure prestaties vergeleken met gesuperviseerde baselines, terwijl het opereert onder meer restrictieve en realistische daticondities (kortere vensters, geen labels, transitie-zware data).
Scheidbaarheid van Kenmerken: De studie toont aan dat geheugen-geaugmenteerd ongesuperviseerd leren de scheidbaarheid van kenmerken met wel 9% kan verbeteren ten opzichte van statische methoden, waardoor dynamische bewegingspatronen effectief worden gevangen die statische ruimtelijke kenmerken missen.
Trade-offs: De auteurs erkennen dat de STS-architectuur langere trainingstijden en krachtigere hardware vereist in vergelijking met eenvoudigere modellen, maar stellen dat dit een noodzakelijke afweging is om een hoge nauwkeurigheid te bereiken in ongesuperviseerde, real-world settings.

Concluderend stelt het paper dat ongesuperviseerde, geheugen-geaugmenteerde architecturen effectief de kloof kunnen overbruggen tussen gecontroleerde laboratoriumdatasets en de ruisende, continue aard van real-world menselijke activiteitsmonitoring.