🤖 machine learning

VaCDA: Variational Contrastive Alignment-based Scalable Human Activity Recognition

Dit artikel stelt VaCDA voor, een multi-source domeinadaptatie-framework dat variationele autoencoders en contrastief leren integreert om een gedeelde latente ruimte te leren, waardoor gegevensheterogeniteit effectief wordt aangepakt en menselijke activiteitsherkenning over diverse apparaten, posities en gebruikers wordt verbeterd.

Oorspronkelijke auteurs: Soham Khisa, Avijoy Chakma

Gepubliceerd 2026-06-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Soham Khisa, Avijoy Chakma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om menselijke activiteiten zoals wandelen, rennen of zitten te herkennen. Je hebt veel data van mensen die smartwatches om hun pols dragen, maar je wilt dat de robot ook werkt voor mensen die sensoren om hun enkels dragen, of voor mensen die een ander merk telefoon gebruiken.

Het probleem is dat de data er heel anders uitziet, afhankelijk van waar het apparaat zit, wie het draagt, of wat voor apparaat het is. Het is alsof je een chef probeert te leren een "kipgerecht" te herkennen door hem alleen foto's van gefrituurde kip te laten zien, maar hem vervolgens vraagt om geroosterde kip, gegrilde kip en kippensoep te identificeren. De ingrediënten zijn hetzelfde, maar de presentatie is totaal anders. Dit wordt "domain shift" genoemd, en het zorgt er meestal voor dat de robot in de war raakt.

De auteurs van dit artikel, Soham Khisa en Avijoy Chakma, hebben een nieuw systeem gebouwd genaamd VaCDA om dit op te lossen. Dit is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Rommelige Kamer"

Stel je voor dat je verschillende kamers (datasets) hebt vol met speelgoed (activiteitsdata).

Kamer A heeft speelgoed dat verspreid over de vloer ligt.
Kamer B heeft hetzelfde speelgoed netjes op planken gestapeld.
Kamer C heeft het speelgoed dat in het water drijft.

Als je een robot traint om een "bal" te vinden in alleen Kamer A, zal hij in Kamer B of C hopeloos falen. Traditionele methoden proberen de kamers exact hetzelfde te laten lijken, maar dat is moeilijk als de kamers zo verschillend zijn.

2. De Oplossing: De "Universele Vertaler" (VAE)

Het eerste deel van hun oplossing is een Variational Autoencoder (VAE). Zie dit als een super slimme vertaler of een "compressiemachine".

In plaats van te proberen de rommelige vloer er precies uit te laten zien als de nette plank, neemt de VAE al het verschillende speelgoed uit alle verschillende kamers en vertaalt dit naar een enkele, universele taal (een "latent space").
In deze universele taal is een "bal" gewoon een "bal", ongeacht of deze op de vloer, op een plank of in het water lag.
Dit stelt het systeem in staat om de ruis (zoals het specifieke apparaat of de lichaamshouding) te negeren en zich te concentreren op de kernvorm van de activiteit.

3. De Verfijning: Het "Zoek de Verschillen"-spel (Contrastive Learning)

Er is een risico bij de vertaler: deze kan te goed worden in het generaliseren. De vertaler zou kunnen besluiten dat een "bal" en een "kubus" hetzelfde zijn omdat ze beide rondachtig zijn.

Om dit op te lossen, voegden de auteurs Contrastive Learning toe. Stel je een spel van "Zoek de Verschillen" voor of een strenge leraar:

Positieve Paren: De leraar laat de robot twee foto's van dezelfde activiteit zien (bijv. twee verschillende mensen die wandelen) en zegt: "Deze zijn hetzelfde! Houd ze in je gedachten dicht bij elkaar."
Negatieve Paren: De leraar laat een foto van wandelen en een foto van rennen zien en zegt: "Deze zijn totaal verschillend! Duw ze in je gedachten ver uit elkaar."

Door de Vertaler (VAE) te combineren met de Strenge Leraar (Contrastive Learning), leert het systeem om vergelijkbare activiteiten bij elkaar te groeperen, terwijl het verschillende activiteiten gescheiden houdt, zelfs als ze van verschillende apparaten of mensen komen.

4. Het Resultaat: Een Schaalbare Teamspeler

De meeste oude systemen konden slechts leren van één bron (bijv. de data van één persoon) om een andere te helpen. VaCDA is bijzonder omdat het schaalbaar is.

Stel je voor dat je een nieuwe taal probeert te leren. Oude methoden laten je misschien praten met één moedertaalspreker.
VaCDA laat je naar tien verschillende moedertaalsprekers tegelijk luisteren, die allemaal verschillende dialecten spreken, en het systeem ontdekt de gemeenschappelijke grammaticaregels die voor hen allemaal gelden.

Wat hebben ze gevonden?

De auteurs hebben dit systeem getest op vier echte datasets met betrekking tot smartwatches, smartphones en verschillende lichaamshoudingen.

Cross-Position: Wanneer een sensor van de pols naar de enkel werd verplaatst, was VaCDA veel beter in het herkennen van activiteiten dan eerdere methoden.
Cross-Device: Wanneer er werd overgeschakeld van een smartphone naar een smartwatch, presteerde VaCDA het best.
Cross-Person: Bij het aanpassen aan een nieuw persoon deed het erg goed, hoewel het in sommige specifieke gevallen iets achterbleef bij de beste bestaande methode.

Kortom: VaCDA is een nieuwe manier om computers te leren menselijke beweging te begrijpen door rommelige, verschillende data te vertalen naar een gemeenschappelijke taal en vervolgens een "zoek de verschillen"-spel te gebruiken om ervoor te zorgen dat ze niet in de war raken. Het werkt beter dan oudere methoden wanneer de data van verschillende plaatsen, mensen of apparaten komt.

Technische Samenvatting: VaCDA – Variational Contrastive Alignment-based Scalable Human Activity Recognition

1. Probleemstelling

De proliferatie van draagbare apparaten heeft enorme hoeveelheden ongelabelde sensordata gegenereerd voor Human Activity Recognition (HAR). Het trainen van robuuste modellen wordt echter gehinderd door twee primaire uitdagingen:

Labeltekort: Handmatige annotatie is arbeidsintensief en foutgevoelig, wat supervised learning bemoeilijkt.
Distributieheterogeniteit (Domain Shift): Datadistributies variëren aanzienlijk door apparaatplaatsing (bijv. pols versus been), apparaattype (smartphone versus smartwatch) en gebruikersgedrag (leeftijd, BMI, bewegingspatronen). Traditionele supervised modellen, die ervan uitgaan dat trainings- en testdata dezelfde distributie volgen, presteren suboptimaal wanneer ze worden toegepast op deze verschoven domeinen.

Hoewel Domain Adaptation (DA) deze verschuiving aanpakt, hebben bestaande methoden vaak moeite met Multi-Source Domain Adaptation (MSDA), waarbij meerdere gelabelde bron-domeinen moeten worden uitgelijnd met een ongelabeld doel-domein. Bovendien vertrouwen veel benaderingen op discriminatieve technieken (bijv. adversarial learning) die mogelijk niet de onderliggende generatieve structuur van de data volledig vastleggen, terwijl generatieve benaderingen zoals Variational Autoencoders (VAEs) het risico lopen om onderscheidende activiteiten te veel te generaliseren naar dezelfde latente ruimte.

2. Methodologie: Het VaCDA-framework

De auteurs stellen VaCDA (Variational Contrastive Domain Adaptation) voor, een schaalbaar MSDA-framework dat de kenmerk-generalisatiecapaciteiten van VAE's integreert met de discriminatieve kracht van contrastief leren. De architectuur werkt via twee afzonderlijke pipelines:

A. Pre-training Pipeline (Feature Alignment)

Deze pipeline lijnt kenmerken over alle domeinen uit (meerdere bronnen en het doel) om een gedeelde, laagdimensionale latente ruimte te leren. Het combineert drie verliesfuncties:

Variational Autoencoder (VAE) Loss: Het model leert een gedeelde distributie $D$ $D$ door de Evidence Lower Bound (ELBO) te minimaliseren. Dit omvat:
- Reconstructieverlies: Zorgen dat de decoder de inputsignalen uit latente variabelen kan reconstrueren.
- KL Divergentie: Het regulariseren van de geleerde latente distributie om te voldoen aan een standaard normale prior, wat het model dwingt om te generaliseren over verschillende bron- en doeldistributies.
Self-Supervised Contrastive Loss: Geïnspireerd door SimCLR, deze loss brengt versterkte views van hetzelfde monster (positieve paren) dichter bij elkaar en duwt verschillende monsters (negatieve paren) uit elkaar in de latente ruimte. Dit helpt het model om domein-invariante kenmerken te leren.
Supervised Contrastive Loss: Toegepast op gelabelde brongegevens, moedigt deze loss monsters met hetzelfde klasse-label aan om dichter bij elkaar te liggen in de latente ruimte, terwijl verschillende klassen worden gescheiden. Dit zorgt ervoor dat het model zijn discriminatieve kracht behoudt voor specifieke activiteiten, waardoor voorkomt dat de VAE onderscheidende activiteiten te veel generaliseert.

B. Classifier Pipeline

Zodra de encoder is voorgetraind, wordt deze bevroren. Een aparte classifier (een softmax-gebaseerd neuraal netwerk) wordt getraind met behulp van de latente representaties uit de gelabelde bron-domeinen. De classifier wordt geoptimaliseerd met Cross-Entropy Loss op zowel de originele als de versterkte bron-inputs. Tijdens de inferentie wordt de doel-domein data door de bevroren encoder en de getrainde classifier geleid om activiteitslabels te voorspellen.

Schaalbaarheid

Een belangrijk ontwerpkenmerk is dat het framework geen afzonderlijke pipelines voor elk domein vereist. Door gebruik te maken van het vermogen van de VAE om een arbitraal aantal bron-domeinen in een gedeelde latente ruimte te mappen, kan VaCDA een willekeurig aantal bronnen afhandelen zonder architecturale wijzigingen.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Nieuw Probabilistisch Framework: De voorstel van VaCDA, dat uniek VAE's combineert voor distributie-generalisatie met contrastief leren voor kenmerk-discriminatie.
Schaalbare MSDA-oplossing: Een methode die in staat is om een arbitraal aantal bron-domeinen te verwerken, waardoor de noodzaak voor domeinspecifieke pipelines wordt geëlimineerd en de complexiteit van real-world multi-source scenario's wordt aangepakt.
Uitgebreide Empirische Evaluatie: Validatie over vier publieke datasets (DSADS, OPPORTUNITY, PAMAP2, WISDM) onder drie heterogeniteitsscenario's: cross-position, cross-person en cross-device.

4. Experimentele Resultaten

De auteurs evalueerden VaCDA tegenover zes baselines: STranGAN, CoDATS, Deep CORAL, DAN, CALDA, en CrossHAR. De prestaties werden gemeten met de Micro F1-score.

Cross-Position Heterogeniteit: VaCDA presteerde beter dan alle baselines op de DSADS-dataset (69,13% vs. 66,02% voor de op één na beste, CALDA) en de PAMAP2-dataset (45,75% vs. 32,44% voor CrossHAR). De auteurs merkten een significante prestatieverbetering op (ongeveer 13%) op PAMAP2 op, hoewel ze erkenden dat alle modellen op deze dataset moeite hadden, mogelijk door data-misalignment problemen.
Cross-Person Heterogeniteit: VaCDA toonde competitieve prestaties. Hoewel het niet de beste baselines (CALDA en CoDTs) overtrof op DSADS en OPPORTUNITY, behaalde het een verbetering van 6% ten opzicht van de baselines op de WISDM-dataset.
Cross-Device Heterogeniteit: In de WISDM smartphone-naar-smartwatch adaptatie-taak presteerde VaCDA marginaal beter dan alle baselines (49,67% vs. 44,86% voor CALDA).
Ablatieonderzoek: Het verwijderen van contrastief leren resulteerde in een prestatiedaling over alle datasets. De meest significante winst werd waargenomen in het WISDM cross-person scenario (+18,19%), wat de cruciale rol van contrastief leren benadrukt bij het omgaan met gebruikersspecifieke variabiliteit.

5. Betekenis en Claims

Het artikel positioneert VaCDA als een robuuste oplossing voor de specifieke uitdagingen van wearable HAR, waarbij heterogeniteit van data inherent is.

Mitigatie van Heterogeniteit: Het framework pakt de "domain shift" effectief aan die wordt veroorzaakt door apparaatplaatsing, type en gebruikersgedrag door een gedeelde latente ruimte te leren.
Schaalbaarheid: Het lost het schaalbaarheidsprobleem van multi-source adaptatie op, waardoor het systeem kan adapteren aan nieuwe domeinen zonder de gehele architectuur vanaf nul opnieuw te trainen.
Bescheiden Claims: De auteurs zijn voorzichtig in hun conclusies. Ze erkennen dat hoewel VaCDA uitblinkt in cross-position en cross-device scenario's, het niet strikt superieur is aan de state-of-the-art baselines in het cross-person scenario, hoewel het wel competitief blijft. Ze schrijven de onderprestatie van sommige baselines (bijv. STranGAN) toe aan het gebruik van custom feature extractors die oorspronelijk niet ontworig voor IMU-data waren.

De auteurs concluderen dat VaCDA een belangrijke stap voorwaarts biedt bij het bouwen van schaalbare, robuuste HAR-systemen voor real-world implementatie, waarbij toekomstig werk gepland is om open-set domain adaptation en novel category recognition aan te pakken.