Activity Recognition from Smart Insole Sensor Data Using a Circular Dilated CNN

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een paar slimme schoenen hebt die niet alleen je voetstappen tellen, maar ook precies weten wat je aan het doen bent: sta je, loop je, zit je, of sta je op één been? Dat is precies wat dit onderzoek doet.

Hier is een uitleg van het onderzoek in gewone taal, met een paar leuke vergelijkingen.

🦶 De Slimme Zool: Een Detective in je Schoen

De onderzoekers hebben zolen ontwikkeld met kleine sensoren erin. Deze sensoren zijn als een team van detectives:

Druksensoren: Deze voelen waar je voet op de grond drukt (alsof ze voelen waar je gewicht ligt).
Versnellingsmeters en Gyroscopen: Deze voelen hoe je voet beweegt, draait en schudt (alsof ze een kompas en een snelheidsmeter hebben).

Samen maken deze sensoren een continu filmpje van wat je voet doet, seconde voor seconde.

🧠 De "Denkende" Zool: De CDCNN

Nu hebben ze een computerprogramma nodig dat dit filmpje kan begrijpen. Ze hebben een speciaal brein bedacht, een neuraal netwerk (een soort kunstmatige intelligentie), dat ze een CDCNN noemen.

De Vergelijking: Stel je voor dat je een lange tekst moet lezen om te begrijpen wat er gebeurt. Een normaal programma zou misschien alleen naar één woord kijken. Dit slimme programma kijkt echter naar een heel zinnetje, en zelfs naar de context van de hele paragraaf, zonder de tekst te hoeven inkorten.
Het "Cirkel"-Trucje: Omdat de sensoren continu meten, maakt het programma geen scherpe snede in de tijd. Het behandelt de tijd alsof het een cirkel is (een ring). Als je aan het einde van de ring bent, springt het direct terug naar het begin. Dit zorgt ervoor dat het geen belangrijke bewegingen mist die precies op het randje van een meetmoment vallen.
De "Gaten" (Dilated): Het programma kijkt niet alleen naar het directe moment, maar ook naar wat er een paar seconden eerder gebeurde, alsof het door een vergrootglas kijkt dat steeds verder uitrekt. Zo ziet het het hele patroon van een stap, niet alleen het moment dat je voet de grond raakt.

🏆 De Wedstrijd: Slimme Zool vs. De "Lijstjes-Maker"

De onderzoekers wilden weten of hun slimme brein (de CDCNN) beter is dan een klassieke rekenmethode (een XGBoost-model).

De Uitslag: De klassieke methode deed het net iets beter (87,8% goed) dan het slimme brein (86,4% goed).
Waarom? De klassieke methode is als een ervaren chef die alle ingrediënten apart heeft opgeslagen en ze perfect combineert. Het slimme brein moet nog leren hoe het die ingrediënten het beste kan verwerken.
Maar... Het slimme brein heeft een groot voordeel: het is veel sneller en lichter. Het is als een racefiets in vergelijking met een zware vrachtwagen. Je kunt het makkelijk in je schoen stoppen en het werkt in real-time, terwijl de zware vrachtwagen (de klassieke methode) misschien te traag of te groot is voor zo'n klein apparaatje.

🔍 Wat is het belangrijkst?

De onderzoekers keken ook welke sensor het meest bijdroeg aan het succes.

De bevinding: De bewegingssensoren (versnellingsmeter en gyroscoop) waren de echte helden. Ze vertellen het systeem het meest over wat je doet.
De rol van de druk: De druksensoren (die voelen waar je staat) zijn ook belangrijk, vooral om te weten of je stil staat of loopt, maar de beweging zegt meer.
Vergelijking: Het is alsof je probeert te raden of iemand aan het dansen is. Je kunt kijken naar de muziek (de beweging), maar ook naar of de vloer trilt (de druk). De muziek geeft je het snelste antwoord, maar de trilling bevestigt het.

🚀 Waarom is dit cool?

Dit systeem is gemaakt om echt gebruikt te worden:

Privacy: Het kijkt niet naar jou via een camera (geen privacyprobleem), maar alleen naar je voet.
Altijd aan: Het werkt in je schoen, dus je kunt het de hele dag dragen, zelfs als je buiten loopt.
Toekomst: In de toekomst kunnen deze schoenen helpen bij het voorkomen van vallen bij ouderen, of sporters helpen hun prestaties te verbeteren.

Kortom: Ze hebben een slimme zool gemaakt die met een lichtgewicht brein in je schoen precies weet wat je doet, puur door te voelen hoe je voet beweegt en de grond raakt. Het is een stap in de richting van schoenen die echt "weten" wat je aan het doen bent.

Each language version is independently generated for its own context, not a direct translation.

Titel: Activiteitsherkenning uit Smart Insole-sensordata met behulp van een Circulaire Dilated CNN

Auteur: Yanhua Zhao

1. Probleemstelling

Smart insoles, uitgerust met druk sensoren, versnellingsmeters en gyroscopen, bieden een niet-invasieve manier om menselijke gang en houding te monitoren. Hoewel er reeds veel onderzoek is gedaan naar activiteitsherkenning met draagbare sensoren, blijven er enkele uitdagingen bestaan:

Datafusie: Bestaande methoden behandelen druk- en inertieel data (IMU) vaak los van elkaar of gebruiken handgemaakte kenmerken in plaats van end-to-end leren.
Beperkingen van alternatieven: Camera-systemen roepen privacykwesties op en zijn afhankelijk van lichtomstandigheden, terwijl radarsystemen vaak vaste infrastructuur vereisen.
Modelkeuze: Veel diepe leermodellen zijn zwaar of niet geoptimaliseerd voor de specifieke aard van tijdsreeksdata van insoles (160 frames, 24 kanalen), wat de implementatie op ingebouwde hardware (embedded systems) bemoeilijkt.

Het doel van dit werk is het ontwikkelen van een efficiënt systeem dat direct leert van de ruwe, multi-modale insolesignalen voor het classificeren van vier activiteiten: Staan, Wandelen, Zitten en Tandem-stand (een balansoefening).

2. Methodologie

Dataset en Preprocessing

Bron: De "STEP-Insole Dataset" bevat data van meerdere proefpersonen.
Input: Elke steekproef is een venster van 160 tijdstappen met 24 kanalen per frame:
- 18 druk sensoren (druk_0 tot druk_17).
- 3-assige versnellingsmeter (accel_x, y, z) in eenheden van g.
- 3-assige gyroscoop (gyro_x, y, z).
Splitsing: Om subject-onafhankelijkheid te garanderen, zijn de proefpersonen strikt gescheiden in trainings-, validatie- en testsets (geen overlap van personen tussen de sets).
- Train: 11 personen (14.047 vensters).
- Validatie: 2 personen (3.333 vensters).
- Test: 3 personen (3.689 vensters).

Architectuur: Circulaire Dilated CNN (CDCNN)

Het paper introduceert een speciaal ontworpen Convolutional Neural Network dat is geoptimaliseerd voor tijdsreeksdata:

Circulaire Padding: In plaats van standaard padding, wordt circulaire padding gebruikt om randartefacten aan het begin en einde van elk venster te voorkomen. Dit is cruciaal omdat activiteiten niet perfect met de venstergrenzen hoeven te aligneren.
Dilated Convolutions: Het model gebruikt dilated convoluties met een verdubbeling van de dilatie-factor ( $d = 2^i$ ) per laag (1, 2, 4, 8). Dit vergroot het effectieve tijdsreceptieveld exponentieel zonder het aantal parameters of de resolutie te verkleinen, waardoor zowel korte contactmomenten als langere gangpatronen kunnen worden vastgelegd.
Structuur:
1. Stacking van vier blokken met 1D convoluties (kernelgrootte 3), batch normalisatie, ReLU en dropout (0.2).
2. Global Average Pooling over de tijdsdimensie om een compacte representatie van 64 dimensies te genereren.
3. Een volledig verbonden laag voor classificatie in 4 klassen.
Training: Geoptimaliseerd met Adam (learning rate 0.01) en cross-entropy loss, met early stopping om overfitting te voorkomen.

Feature Importance Analyse

Om te begrijpen welke sensoren het meest bijdragen, wordt Permutation Feature Importance toegepast. Hierbij worden de waarden van één kanaal willekeurig door elkaar gehaald en wordt de daling in nauwkeurigheid gemeten. Een grotere daling betekent een grotere bijdrage van dat kanaal aan de prestaties.

3. Resultaten

Classificatieprestaties:
- De CDCNN bereikte een testnauwkeurigheid van 86,42% op de subject-onafhankelijke testset.
- Ter vergelijking: Een XGBoost-model (getraind op de vlakke, geflatteerde data) bereikte 87,83%.
- Analyse: De lichte achterstand van de CNN wordt toegeschreven aan het feit dat XGBoost complexe niet-lineaire interacties tussen alle tijdstapkenmerken in de vlakke vector kan benutten, terwijl de CNN beperkt is door lokale convolutiefilters en de dataset relatief klein is voor deep learning.
Feature Importance:
- De analyse toont aan dat inertieel sensoren (versnellingsmeter en gyroscoop) consistent een hogere bijdrage leveren aan de discriminatie dan individuele druksensoren.
- Druk sensoren in de hiel- en teenregio tonen wel een verhoogde belangrijkheid, wat aangeeft dat drukpatronen essentieel blijven voor het karakteriseren van houding en contact.
- De rangschikking van belangrijke kanalen is vergelijkbaar tussen CDCNN en XGBoost, maar XGBoost hecht iets meer waarde aan bepaalde druksensoren.
Efficiëntie: Het model convergeert snel (validatie >80% binnen enkele epochs) en heeft een lage inferentielatentie, wat het geschikt maakt voor real-time toepassing.

4. Belangrijkste Bijdragen

End-to-End Learning: Een nieuw paradigma voor smart insoles dat direct leert van ruwe multi-modale data zonder handgemaakte kenmerken.
CDCNN Architectuur: De introductie van een circulaire dilated CNN die specifiek is ontworpen om tijdsafhankelijkheden in insolesignalen vast te leggen zonder resolutieverlies of randartefacten.
Subject-Onafhankelijke Evaluatie: Een strenge evaluatie waarbij trainings- en testpersonen volledig gescheiden zijn, wat de generaliseerbaarheid naar nieuwe gebruikers beter weergeeft dan willekeurige splitsingen.
Interpretability: Een gedetailleerde analyse van welke sensoren (druk vs. inertieel) het meest bijdragen aan de beslissingen van het model.

5. Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat diepe leermodellen, specifiek CDCNN's, een competitief alternatief zijn voor gevestigde methoden zoals XGBoost voor activiteitsherkenning in draagbare systemen. Hoewel de nauwkeurigheid iets lager is dan bij XGBoost op deze specifieke dataset, biedt de CDCNN belangrijke voordelen:

Schaalbaarheid: Het model werkt direct op sequentiestructuur, wat uitbreiding naar variabele venstergroottes of online streaming mogelijk maakt zonder opnieuw te moeten "flattenen".
Interpreteerbaarheid: Tijdsafhankelijke feature maps kunnen worden geïnspecteerd (bijv. via attention mechanisms) om inzicht te geven in wanneer het model een activiteit herkent, wat lastiger is bij ensemble-methoden.
Implementatie: Het lage rekenverbruik maakt het model ideaal voor implementatie op embedded hardware binnen de insole zelf, wat real-time feedback in vrije leefomstandigheden mogelijk maakt.

Toekomstig werk richt zich op het verbeteren van de generalisatie (leave-one-subject-out), het uitbreiden naar fijnere activiteiten (bijv. trappen lopen, draaien) en het optimaliseren van het model voor nog beperktere hardware middels pruning.