Embedded Inter-Subject Variability in Adversarial Learning for Inertial Sensor-Based Human Activity Recognition

Deze paper introduceert een nieuw diep adversariaal raamwerk dat inter-subject variabiliteit expliciet integreert om subjectonafhankelijke kenmerkrepresentaties te leren, wat leidt tot verbeterde generalisatie en prestaties in menselijke activiteitsherkenning op basis van draagbare inertieel sensoren.

De kern

Stel je voor dat je een slimme horloge of een sensor in je kleding hebt die precies weet wat je doet: rennen, fietsen, traplopen of zwaaien. Dit noemen we Menselijke Activiteitsherkenning (of HAR). Het probleem is echter dat iedereen anders beweegt. Jij loopt misschien snel en strak, terwijl je buurman langzaam en slingerend loopt. Voor een computer is het alsof jij en je buurman twee totaal verschillende talen spreken, terwijl jullie eigenlijk hetzelfde woord zeggen.

De onderzoekers van dit paper hebben een slimme oplossing bedacht om deze "taalbarrière" tussen verschillende mensen op te lossen. Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Eén-Op-Maat" Valstrik

Stel je voor dat je een leraar hebt die alleen maar les heeft gegeven aan jou. Als je buurman dan een toets maakt, faalt de leraar omdat hij niet weet hoe jouw buurman denkt. In de wereld van sensoren betekent dit: als een computerprogramma alleen is getraind op jouw bewegingen, werkt het niet goed voor iemand anders. Dit noemen ze inter-subject variabiliteit: het verschil in hoe mensen hetzelfde doen.

2. De Oplossing: De "Twee-Ogen" Spel

De onderzoekers hebben een nieuw soort "trainingsprogramma" bedacht, gebaseerd op een adversariele leerstijl. Dat klinkt ingewikkeld, maar het is eigenlijk een slim spelletje tussen twee teams:

• Team A (De Vertaler): Probeer de bewegingen van iedereen om te zetten in een simpele, universele code die de computer begrijpt.
• Team B (De Detective): Kijkt naar die code en probeert te raden: "Komt deze code van persoon X of persoon Y?"

Het doel is dat Team A zo goed wordt dat Team B het helemaal niet meer kan raden. Als de detective niet meer kan zien wie de beweging maakt, betekent dit dat de code alleen nog maar over wat er gebeurt (bijv. "rennen") gaat, en niet meer over wie het doet.

3. Het Nieuwe Trucje: De "Dubbele Check"

Wat deze paper uniek maakt, is een nieuwe truc in het spel. In eerdere versies vroeg de detective alleen: "Zijn dit twee verschillende mensen?"

De onderzoekers hebben de vraag veranderd naar: "Zijn dit twee verschillende mensen die precies hetzelfde doen?"

Stel je voor dat de detective twee foto's krijgt:

1. Foto A: Jij die rent.
2. Foto B: Je buurman die rent.

De detective moet nu zeggen: "Zijn dit twee verschillende mensen die aan het rennen zijn?"

• Als het antwoord JA is (het is hetzelfde type activiteit, maar verschillende mensen), dan moet de Vertaler (Team A) de code zo aanpassen dat de detective denkt: "Oh, dit lijkt wel alsof het van dezelfde persoon komt!"

Door de Vertaler te dwingen om deze "verwarring" te creëren, leert hij de bewegingen van iedereen te zien als één groot, gemeenschappelijk patroon. Hij leert de "ruis" (jouw unieke loopstijl) weg te laten en zich te focussen op de kern (het rennen).

4. Waarom is dit zo goed?

• Minder Privacyrisico: Omdat het systeem leert om niet te herkennen wie je bent, is het eigenlijk veiliger voor je privacy. Het systeem weet alleen wat je doet, niet wie je bent.
• Beter voor Nieuwe Gebruikers: Als je dit systeem op een nieuwe persoon toepast die het nog nooit heeft gezien, werkt het direct goed. Het heeft geen extra tijd nodig om die persoon te "leren kennen".
• Minder Data nodig: Je hoeft niet duizenden uren aan data van elke individuele persoon te verzamelen. Het systeem is slim genoeg om de patronen te snappen.

Samenvattend

Stel je voor dat je een tolk hebt die niet alleen vertaalt wat je zegt, maar ook leert om de accenten van verschillende mensen te negeren, zodat de boodschap altijd helder overkomt, ongeacht wie er spreekt.

De onderzoekers hebben een slimme manier bedacht om deze "tolk" (de computer) te trainen door hem een spel te laten spelen waarbij hij moet vergeten wie de spreker is, zodat hij zich alleen maar kan focussen op de boodschap. Hierdoor werkt hun systeem veel beter voor iedereen, ook voor mensen die het systeem nog nooit heeft gezien.

Technische samenvatting

Technische Samenvatting

Titel: Embedded Inter-Subject Variability in Adversarial Learning for Inertial Sensor-Based Human Activity Recognition
Conferentie: IEEE International Workshop on Machine Learning for Signal Processing (MLSP) 2025

1. Het Probleem: Inter-Subject Variabiliteit

Het artikel adresseert een fundamentele uitdaging in de Menselijke Activiteitsherkenning (Human Activity Recognition - HAR) met draagbare inertiale sensoren: de generalisatie naar nieuwe, onbekende gebruikers.

• Oorzaak: Verschillende individuen voeren dezelfde activiteit op verschillende manieren uit (verschillende intensiteit, snelheid, bewegingspatronen) vanwege persoonlijke voorkeuren en fysieke kenmerken. Dit leidt tot een heterogene verdeling van de data (inter-subject variabiliteit).
• Gevolg: Modellen getraind op een specifieke groep gebruikers presteren vaak slecht op nieuwe gebruikers (een groot generalisatiekloof).
• Huidige beperkingen: Bestaande methoden, zoals multi-task learning (die ook de gebruiker probeert te herkennen) of eerdere adversarial learning-aanpakken, hebben vaak problemen met schaalbaarheid (het aantal klassen groeit met het aantal gebruikers) of privacy (gebruikersidentiteit wordt expliciet geleerd).

2. Methodologie: Een Nieuw Adversariaal Kader

De auteurs stellen een nieuw diep-adversariaal leerframework voor dat het concept van inter-subject variabiliteit direct integreert in de discriminatietaak. Het doel is het leren van subject-agnostische feature representaties.

Architectuur:
Het framework bestaat uit vier blokken:

1. Feature Extractor (F): Codeert sensorinvoer naar een latente ruimte.
2. Reconstructor (R): Decodeert de latente ruimte terug naar de invoerruimte (stabiliseert het trainingsproces via reconstructieverlies).
3. Activiteitsclassificator (C): Classificeert de activiteit vanuit de latente ruimte.
4. Discriminator (D): Een nieuw ontworpen component voor de adversariale taak.

De Innovatieve Discriminatietaak:
In tegenstelling tot eerdere werken die vragen "komt deze feature van gebruiker A of B?", stelt dit framework een binair classificatieprobleem voor dat rekening houdt met zowel de activiteit als de gebruiker:

• Input: Een paar feature-vectoren $(x_a, x_b)$ die dezelfde activiteit $y$ uitvoeren.
• Vraag aan de Discriminator: Behoren deze twee samples tot dezelfde persoon of tot verschillende personen?
• Label: $g=1$ (zelfde persoon) of $g=0$ (verschillende personen).
• Doel: De feature extractor $F$ wordt getraind om de discriminator te "bedriegen". De extractor moet features genereren voor verschillende personen die dezelfde activiteit uitvoeren, zodat ze voor de discriminator ononderscheidbaar lijken (alsof ze van dezelfde persoon komen). Dit dwingt het model om een gedeelde latente ruimte te vinden voor elke activiteit, waarbij gebruikersspecifieke cues worden verwijderd.

Trainingsproces (3 Stappen):

1. Pre-training: Trainen van $F$ en $R$ op reconstructieverlies.
2. Supervised Learning: Trainen van $F, R, C$ en $D$ simultaan met een gecombineerd verlies (reconstructie + classificatie + discriminatie).
3. Adversariaal Leren: Een iteratief proces (geïnspireerd door GANs):
   • $F$ wordt getraind om de discriminatie te minimaliseren (non-saturating GAN loss) terwijl het de classificatie en reconstructie behoudt.
   • $D$ wordt getraind om de paren zo goed mogelijk te onderscheiden.
   • Dit creëert een dynamiek waarbij $F$ leert features die robuust zijn voor variatie tussen gebruikers.

Verliesfunctie:
Een unieke gecombineerde lossfunctie wordt gebruikt:
$$L_{step3.1}^F = w_A L_A + w_R L_R + w_C L_C$$
Waarbij $L_A$ de adversariale loss is die specifiek gericht is op het "verwarren" van de discriminator voor paren van verschillende gebruikers die dezelfde activiteit doen.

3. Belangrijkste Bijdragen

1. Nieuw Adversariaal Framework: Integratie van inter-subject variabiliteit in de discriminatietaak, waarbij activiteitsinformatie wordt gecombineerd met de gebruiker-dimensie.
2. Schaalbaarheid: De discriminatietaak is een binair probleem (zelfde vs. verschillend persoon) en schaalt niet met het aantal gebruikers, in tegenstelling tot methoden die een gebruiker per klasse hebben.
3. Privacy: Door te leren om gebruikersspecifieke informatie te verwijderen, worden privacyrisico's verkleind.
4. Robuustheid: Het framework presteert beter dan state-of-the-art methoden onder strikte "Leave-One-Subject-Out" (LOSO) cross-validatie.

4. Experimentele Resultaten

De methode is geëvalueerd op drie standaard HAR-datasets: PAMAP2, MHEALTH en REALDISP.

• Prestatie: Het voorgestelde model overtreft bestaande methoden (zoals MCCNN, DCLSTM, METIER, UIDFE, DDLearn) significant in zowel Accuracy als Macro F1-Score onder LOSO-validatie.
  • Voorbeeld (PAMAP2): Accuracy van 87,03% (Ours) vs. 80,14% (UIDFE, de vorige beste).
  • Voorbeeld (REALDISP): Accuracy van 97,10% (Ours) vs. 94,50% (UIDFE).
• Reductie van Variabiliteit: Analyse met de Wasserstein-afstand toont aan dat de adversariale stap (Stap 3) de verdelingsafstand tussen trainings- en testdata voor dezelfde activiteit aanzienlijk verkleint. Dit bevestigt dat de methodiek effectief de inter-subject variabiliteit in de feature-ruimte reduceert.
• Ablatie Studies:
  • Het toevoegen van de reconstructie (Stap 2) verbetert de prestaties ten opzichte van puur supervised leren.
  • Het toevoegen van de adversariale stap (Stap 3) levert de grootste verbetering op, wat aantoont dat dit cruciaal is voor generalisatie.
• Vergelijking Discriminatietaken: De nieuwe binair-taak (zelfde/verschillend persoon) presteert beter dan eerdere discriminatietaken (zoals het identificeren van specifieke gebruikers of puur "zelfde gebruiker" detectie zonder activiteitscontext).

5. Betekenis en Conclusie

Dit artikel biedt een significante doorbraak in het maken van HAR-systemen die gebruiker-onafhankelijk werken zonder extra datacollectie per nieuwe gebruiker.

• Praktische Impact: De methode maakt het mogelijk om HAR-systemen te deployen in real-world scenario's (zoals gezondheidsmonitoring of robotica) waar nieuwe gebruikers direct kunnen worden ondersteund zonder lange calibratieperiodes.
• Technische Inzicht: Het bewijst dat het expliciet modelleren van inter-subject variabiliteit binnen een adversariaal kader, in plaats van het simpelweg proberen te negeren, leidt tot robuustere en schaalbare deep learning modellen.
• Privacy: De aanpak draagt bij aan privacy-preserving AI door gebruikersidentiteit inherent te verwijderen uit de feature representaties.

Kortom, de auteurs hebben een framework ontwikkeld dat de generalisatiekloof tussen gebruikers effectief dicht door het leren van een gedeelde, subject-neutrale representatie van menselijke bewegingen.