Technische Samenvatting: Auto-Augmentatie Contrastief Leren voor Wearable-gebaseerde Human Activity Recognition

Probleemstelling

Human Activity Recognition (HAR) met behulp van draagbare sensoren (bijv. IMU's) leunt traditioneel op supervised learning, wat een zware last van handmatige annotatie met zich meebrengt en een gebrek aan robuustheid vertoont wanneer het wordt toegepast op nieuwe taken, sensortypes of posities. Self-supervised learning (SSL), in het bijzonder Contrastive Learning (CL), is naar voren gekomen als een hoogwaardig alternatief om representaties te leren zonder labels. Echter, huidige CL-benaderingen kampen met een kritieke bottleneck: ze zijn sterk afhankelijk van handmatige data-augmentatiestrategieën om positieve steekproefparen te construeren.

In de context van wearable HAR bezitten sensorsignalen minder semantische informatie vergeleken met afbeeldingen. Daarom is het selecteren van effectieve augmentatiestrategieën (bijv. jittering, scaling, permutatie) niet intuïtief en sterk taakafhankelijk. De optimale strategie varieert op basis van het aantal sensoren, de bemonsteringsfrequenties en modaliteiten, waardoor bestaande CL-methoden een gebrek aan generaliseerbaarheid en flexibiliteit vertonen. Er is behoefte aan een end-to-end methode die de handmatige last van het ontwerpen van augmentatiestrategieën voor laag-semantische sensordata elimineert.

Methodologie: AutoCL

De auteurs stellen AutoCL voor, een end-to-end auto-augmentatie contrastief leerframework dat specifiek is ontworpen voor wearable-gebaseerde HAR. De kerninnovatie is een generator die binnen het netwerk is ingebed en leert om geaugmenteerde views direct uit de data te produceren, in plaats van te vertrouwen op vooraf gedefinieerde handmatige transformaties.

Architectuur

AutoCL maakt gebruik van een Siamese netwerkarchitectuur met een gedeelde backbone en een ingebedde generator:

1. Encoder ($f_\theta$) & Projector ($p_\theta$): Een 3-laagse Fully Convolutional Network (FCN) dient als backbone om feature embeddings te extraheren uit ruwe sensor tijdreeksdata. Een Multi-Layer Perceptron (MLP) projecteert deze embeddings in een latente ruimte.
2. Generator ($g_\xi$): In tegenstelling tot standaard CL waar augmentatie wordt toegepast op de ruwe inputs, neemt de AutoCL-generator de feature embeddings ($y_\theta$) van de backbone als input. Deze ontwerpkeuze wordt gemotiveerd door de noodzaak om de impact van ruis en redundante informatie die inherent is aan ruwe sensorsignalen te verminderen. De generator gebruikt een 3-laagse bidirectionele Gated Recurrent Unit (BiGRU) gevolgd door een 1-D group convolutional layer om een auto-geaugmenteerde steekproef ($x'_{\theta, \xi}$) te produceren.
3. Trainingsdoelstelling: Het model maximaliseert de paarwijze overeenkomst tussen de projectie van de originele steekproef en de projectie van de auto-geaugmenteerde steekproef met behulp van de NT-Xent loss.

Belangrijke Technische Strategieën

Om ervoor te zorgen dat de generator betekenisvolle augmentaties leert in plaats van te convergeren naar een identity mapping (wat de contrastieve moeilijkheid zou verminderen), introduceren de auteurs twee specifieke mechanismen:

• Correlatiereductie: Een regularisatieterm wordt toegevoegd aan de loss-functie om de diversiteit tussen de originele en de geaugmenteerde steekproeven te maximaliseren. Dit voorkomt dat de generator simpelweg de input kopieert (het benaderen van een auto-encoder) en stimuleert het leren van onderscheidende, semantisch consistente variaties.
• Stop-Gradient: Een stop-gradient operatie wordt toegepast op de projectie van de originele steekproef ($y_\theta$) tijdens de update van de generator. Dit zorgt ervoor dat de generator leert te augmenteren op basis van de huidige feature representatie zonder de trainingsdynamiek van de encoder te destabiliseren via backpropagation loops.

Belangrijkste Bijdragen

1. Eerste End-to-End Auto-Augmentatie voor Wearable HAR: Het artikel presenteert de eerste studie die end-to-end auto-augmentatie contrastief leren uitvoert voor wearable sensordata, waardoor de noodzaak voor handmatige constructie van augmentatiestrategieën wordt geëlimineerd.
2. Nieuw Architectuurontwerp: De auteurs ontwerpen een framework waarbij een generator auto-augmentatie leert van latente feature embeddings in plaats van ruwe data. Deze aanpak blijkt empirisch superieur aan het genereren van augmentaties direct uit ruwe signalen, omdat het ruis en redundantie filtert.
3. Verbeterde Representatie-lering: De integratie van stop-gradient en correlatiereductie strategieën wordt voorgesteld om de representatie-lerende capaciteiten van de encoder te verbeteren, wat overfitting voorkomt en ervoor zorgt dat de contrastieve taak uitdagend blijft.
4. Data-gedreven Flexibiliteit: De studie toont aan dat de ruimte van data-gedreven augmentatie-operaties die door het model worden geleerd veel uitgebreider is dan door mensen gespecificeerde strategieën, wat een betere adaptiviteit biedt aan diverse HAR-scenario's.

Experimentele Resultaten

De AutoCL-methode werd geëvalueerd op vier breed gebruikte HAR-datasets: PAMAP2, UCIHAR, UTD-MHAD en DSADS. De evaluatie volgde een standaard SSL-protocol: pre-training op ongelabelde data gevolgd door few-shot classificatie (fine-tuning op 20% gelabelde data).

• Prestaties: AutoCL behaalde State-of-the-Art (SOTA) prestaties over alle vier de datasets, waarbij het bestaande CL-baselines (SimCLR, SimSiam, BYOL, NNCLR) die vertrouwden op diverse combinaties van handmatige augmentatiestrategieën (Jittering, Scaling, Permutation) significant overtrof.
  • Voorbeeld: Op de DSADS-dataset behaalde AutoCL een nauwkeurigheid van 96,05%, waarmee het de beste handmatige augmentatie-baseline (BYOL met S+J) die 95,77% bereikte, overtrof.
• Ablatie-studies: Het verwijderen van de Stop-Gradient (SG) of Correlation Reduction (CR) strategieën resulteerde in prestatieverlies, wat hun noodzaak bevestigt voor de stabiliteit en effectiviteit van het auto-augmentatieproces.
• Architectuur Empirische Studie: Het vergelijken van AutoCL (gebaseerd op feature embeddings) met een variant die augmentaties genereert vanuit ruwe data (AutoCL-D) toonde aan dat de embedding-gebaseerde aanpak (AutoCL-E) consequent betere resultaten opleverde, met name op datasets met hoge ruis of continue activiteitsvariaties.
• Visualisatie: t-SNE visualisaties van de geleerde representaties toonden aan dat AutoCL meer onderscheidbare en goed gescheiden clusters produceert vergeleken met de baselines. Bovendien onthulde de visualisatie van de gegenereerde steekproeven dat het model diverse operaties leert (scaling, reversing, cropping) die verder gaan dan eenvoudige door mensen gedefinieerde regels.

Betekenis en Claims

Het artikel claimt dat AutoCL een fundamentele beperking aanpakt bij het toepassen van contrastief leren op wearable HAR: de afhankelijkheid van handmatige, niet-generaliseerbare augmentatiestrategieën. Door het augmentatieproces te verschuiven naar een leerbaar, data-gedreven component die opereert in de latente ruimte, bereikt de methode het volgende:

• Vermindert de handmatige last van het ontwerpen van augmentatie-pipelines voor laag-semantische sensordata.
• Verbetert de robuustheid door te leren te augmenteren op basis van feature representaties, waardoor sensorruis wordt gemitigeerd.
• Demonstreert superieure generaliseerbaarheid, aangezien de geleerde augmentatiestrategie zich aanpast aan de specifieke kenmerken van de dataset zonder menselijke interventie.

De auteurs concluderen dat voor laag-semantische data een data-gedreven geautomatiseerde augmentatie-aanpak een groter potentieel heeft voor semantische consistentie en prestaties dan handmatig geïmplementeerde strategieën, wat een veelbelovende richting biedt voor toekomstige generieke modellen in wearable computing.