🤖 AI

Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts

Dit artikel introduceert TRI-HAR, een rotatie-invariant raamwerk dat door het gebruik van een SO(3)-equivariante backbone en invariante featurefusie structureel robuustheid waarborgt tegen onafhankelijke oriëntatieverschuivingen van de IMU per locatie in multi-sensor menselijke activiteitsherkenning, waardoor het traditionele rotatie-augmentatiemethoden overtreft zonder dat expliciete kalibratie of augmentatie vereist is.

Oorspronkelijke auteurs: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Menselijke activiteitsherkenning is de wetenschap van het aanleren aan computers om te begrijpen wat een persoon aan het doen is door te luisteren naar de kleine bewegingen van hun lichaam. Deze technologie vertrouwt op kleine sensoren, vaak inertiële meeteenheden genoemd, die aan de pols, borst of enkel worden bevestigd om versnelling en rotatie te registreren. Deze apparaten zijn de stille observeerders achter thuisrevalidatieprogramma's, fitnessregistratie en medische monitoring, waarbij ze ruwe fysieke beweging vertalen naar digitale labels zoals "wandelen", "rennen" of "zitten". Echter, een hardnekkig probleem heeft deze systemen lang geplaagd: de sensoren worden zelden op exact dezelfde manier bevestigd als de vorige keer. Wanneer een patiënt een sensor voor een tweede keer om zijn pols doet, of wanneer een ander persoon hetzelfde apparaat draagt, verschuift de oriëntatie. De sensor kan iets naar links gekanteld zijn of naar voren gedraaid, waardoor dezelfde fysieke beweging een compleet andere reeks getallen genereert. Jarenlang hadden computers moeite om te herkennen dat een "loop" geregistreerd met een gekantelde sensor dezelfde activiteit was als een "loop" geregistreerd met een rechte sensor, en faalden ze vaak wanneer het apparaat zelfs maar licht werd verplaatst.

Een team van onderzoekers van Korea University en het Massachusetts Institute of Technology heeft een nieuwe aanpak ontwikkeld om dit specifieke probleem op te lossen, waarbij ze een systeem hebben gecreëerd dat nauwkeurig blijft, zelfs wanneer sensoren in willekeurige oriëntaties worden bevestigd. Hun werk, gepresenteerd als het TRI-HAR-framework, adresseert een scenario dat gebruikelijk is bij zelfgestuurde gezondheidsmonitoring waarbij meerdere sensoren tegelijkertijd op verschillende lichaamsdelen worden gebruikt. In dergelijke omgevingen kan elke sensor onafhankelijk van de andere gedraaid of gedraaid zijn, een situatie die standaard computermodellen in verwarring brengt. De onderzoekers ontdekten dat door de gegevens van elke sensorlocatie te behandelen als een afzonderlijke driedimensionale vector en deze te verwerken via een gespecialiseerde wiskundige structuur, ze de verwarring veroorzaakt door rotatie konden wegnemen. Dit stelt het systeem in staat om zich puur te concentreren op de vorm van de beweging zelf, ongeacht hoe het apparaat werd vastgehouden.

De kern van hun ontdekking ligt in de manier waarop ze de gegevens verwerken voordat ze worden gecombineerd. Traditionele methoden proberen vaak de juiste oriëntatie van een sensor te raden of vertrouwen op het trainen van de computer met duizenden kunstmatig gedraaide voorbeelden, in de hoop dat het het patroon leert herkennen. De onderzoekers voerden aan dat deze methoden fragiel zijn; als de computer een rotatie ziet waar hij niet op getraind is, faalt hij. In plaats daarvan bouwden zij een systeem waarbij de wiskundige regels zelf voorkomen dat de rotatie het uiteindelijke antwoord verandert. Ze ontwierpen de software zodat deze eerst de gegevens van elke lichaamslocatie — zoals de borst of de dij — afzonderlijk bekijkt. Voor elke locatie zet het systeem de ruwe sensorgestuurde signalen om in een vorm die meedraait met de sensor, en condenseert die informatie vervolgens onmiddellijk tot een stabiele, rotatiebestendige samenvatting. Pas nadat de gegevens van elke sensor immuun zijn gemaakt voor zijn eigen specifieke kanteling, combineert het systeem de samenvattingen van alle lichaamsdelen om te beslissen wat de persoon aan het doen is.

Deze aanpak bleek opmerkelijk effectief bij tests tegen vier verschillende publieke datasets met opnames van mensen die diverse activiteiten uitvoerden. In experimenten waarbij de onderzoekers de gegevens van elke sensorlocatie kunstmatig met een vaste, willekeurige hoeveelheid roteerden om een herbevestiging te simuleren, behield het nieuwe systeem zijn nauwkeurigheid bijna perfect. In contrast hiermee zagen bestaande modellen die niet deze speciale structuur gebruikten, hun prestaties drastisch dalen, waarbij ze vaak zelfs basisactiviteiten niet meer herkenden. Zelfs in vergelijking met modellen die werden getraind met extra gegevens die deze rotaties nabootsten, presteerde het nieuwe systeem beter zonder dat daar die extra training voor nodig was. De onderzoekers testten het systeem ook op een dataset uit de echte wereld waarbij sensoren fysiek werden verplaatst en georiënteerd door een menselijke instructeur, een scenario dat zowel rotatie als positieveranderingen introduceert. In deze uitdagende test presteerde het nieuwe systeem opnieuw beter dan de beste bestaande methoden, wat bevestigde dat het vermogen om rotatie te negeren standhoudt, zelfs wanneer de sensoren op onvoorspelbare manieren worden verplaatst.

De onderzoekers onderzochten ook hoe snel dit nieuwe systeem draait op standaard computerhardware, aangezien snelheid cruciaal is voor realtime gezondheidsmonitoring. Ze ontdekten dat hoewel het systeem complexer is dan simpelere modellen, het de gegevens snel genoeg verwerkt om de live sensorstromen bij te houden. Voor een opstelling met drie sensoren heeft het systeem minder dan honderd milliseconden nodig om een venster aan gegevens te analyseren, wat veel sneller is dan de tijd die de sensoren nodig hebben om de volgende batch informatie te verzamelen. Dit betekent dat de technologie realistisch gezien op iemands computer of telefoon gebruikt kan worden om activiteit te monitoren terwijl deze plaatsvindt, zonder dat gegevens naar een verre server gestuurd hoeven te worden. Het werk demonstreert dat door de fundamentele architectuur te veranderen van hoe de computer de gegevens ziet, in plaats van alleen maar meer voorbeelden te voeden, het mogelijk is om activiteitsherkenningssystemen te bouwen die robuust zijn tegen de rommelige realiteit van hoe mensen hun apparaten daadwerkelijk dragen.

Technische Samenvatting: Rotatie-invariante Multi-IMU Activiteitsherkenning onder Onafhankelijke Oriëntatieverschuivingen per Locatie

Probleemstelling

Menselijke activiteitsherkenning (Human Activity Recognition, HAR) met zelf-geadministreerde draagbare inertiële meeteenheden (IMU's) staat voor een kritische distributieverschuiving: de onafhankelijke oriëntatie-offsets die optreden wanneer sensoren tijdens verschillende sessies opnieuw worden bevestigd. In multi-IMU-settings (bijv. borst, pols, dij, enkel) kan elke sensor een afzonderlijke, willekeurige rotatie verkrijgen ten opzichte van het lichaamssegment dat deze monitort.

Conventionele scalaire HAR-modellen missen de structurele robuustheid tegen dergelijke rotaties, wat leidt tot significante prestatievermindering. Bestaande oplossingen vertrouwen op twee hoofdbenaderingen, die beide beperkingen hebben:

Rotatie-augmentatie: Het trainen van modellen op synthetisch geroteerde data. Deze robuustheid is steekproefafhankelijk en garandeert geen invariantie tegen willekeurige, ongeziene $SO(3)$-rotaties.
Kalibratie-pipelines: Preprocessing-stappen om oriëntatie te normaliseren met behulp van referentiekaders, statische intervallen of magnetische data. Deze introduceren engineering-overhead en aannames (bijv. betrouwbare magnetische velden) die vaak falen in ongecontroleerde, zelf-geadministreerde omgevingen.

De kernuitdaging is het bereiken van structurele invariantie tegen onafhankelijke, per locatie voorkomende $SO(3)$-oriëntieverschuivingen zonder dat rotatie-augmentatie of expliciete kalibratie tijdens de testfase vereist is.

Methodologie: TRI-HAR

De auteurs stellen Truly Rotation-Invariant HAR (TRI-HAR) voor, een framework dat rotatie-invariantie direct in de modelarchitectuur inbedt. De methode verwerkt versnellingsmeter- en gyroscoopstromen als triaxiale vectoren in plaats van scalaire kanalen.

1. Locatie-gegropeerde Vectorrepresentatie

De inputdata wordt geherstructureerd van platgeslagen scalaire kanalen ( $X_{raw} \in \mathbb{R}^{T \times 3S}$ ) naar triaxiale vectorstromen ( $X \in \mathbb{R}^{T \times S \times 3}$ ). Cruciaal is dat deze stromen gegroepeerd zijn per fysieke IMU-locatie ( $L$ locaties). Elke groep $X^{(l)}$ wordt behandeld als een eenheid die onderhevig is aan een onafhankelijke rotatie $R_l \in SO(3)$ . Deze formulering modelleert expliciet het scenario waarbij sensoren op verschillende lichaamslocaties met afzonderlijke offsets opnieuw worden bevestigd.

2. Gedeelde $SO(3)$-Equivariante Backbone

TRI-HAR gebruikt een gedeelde backbone, geïnstantieerd als FER-VN-DGCNN (Frequency-based Equivariant Feature Representation met Vector Neurons en Dynamic Graph Convolutional Neural Networks).

Vector Neurons (VN): Scalaire verborgen features worden opgetild naar 3D vector-waardige kanalen die voorspelbaar transformeren onder 3D-rotaties.
Multi-Frequentie Equivariantie: De backbone tilt de inputvectoren op naar een multi-frequentie equivariante ruimte. De richting van de inputvector bepaalt het hoekcomponent, terwijl een leerbare radiale functie de magnitude-afhankelijke frequentiecoëfficiënten moduleert.
Grafische Verwerking: Binnen elke locatiegroep construeert de backbone een dynamische graaf over tijd-geïndexeerde IMU-toestanden, waarbij kenmerken van kinematisch gelijkaardige bewegingstoestanden worden geaggregeerd terwijl de equivariantie behouden blijft.

3. Invariante Projectie en Fusie

De kerninnovatie ligt in de volgorde van operaties: Invariante Projectie gaat vooraf aan Cross-Locatie Fusie.

Invariante Projectie: Voor elke locatiegroep worden de equivariante kenmerken geprojecteerd in rotatie-invariante scalaire representaties. Dit wordt bereikt door het berekenen van inwendige producten tussen de latente kenmerken en een geleerd, co-roterend frame. Wiskundig gezien, als $V_t$ het kenmerk is en $F_t$ het frame, dan heft de invariante feature $z_t = V_t F_t^\top$ de rotatie $R_l$ op.
Per-Locatie Aggregatie: Invariante tijdstap-kenmerken worden gepooled (global max/average) om een enkele invariante feature-vector $h_l$ voor elke locatie te produceren.
Fixed-Order Fusie: De invariante vectoren $\{h_1, \dots, h_L\}$ worden geconcateneerd in een vaste volgorde van lichaamslocaties en door een finale MLP-classifier gestuurd.

Dit ontwerp zorgt ervoor dat het model invariant is voor onafhankelijke rotaties $R_l$ op elke locatie, omdat de rotatie lokaal wordt geannuleerd voordat de kenmerken van verschillende locaties worden gecombineerd.

Belangrijkste Bijdragen

TRI-HAR Framework: Een multi-IMU HAR-architectuur die equivariant-naar-invariant representaties leert per fysieke locatie, wat structurele robuustheid biedt tegen onafhankelijke oriëntatie-offsets zonder rotatie-augmentatie of kalibratie tijdens de testfase.
Onafhankelijk Per-Locatie Verschuivingsprotocol: De formulering van een specifiek evaluatieprotocol waarbij elke IMU-locatie een afzonderlijke, vaste $SO(3)$ rotatie ontvangt, wat het herbevestigen van sensoren in de praktijk nauwkeurig simuleert.
Empirische Validatie: Demonstratie over vier publieke benchmarks (PAMAP2, DSADS, Opportunity, RealDISP) dat TRI-HAR de macro-F1 scores behoudt onder vaste onafhankelijke per-locatie $SO(3)$ offsets, waarbij het beter presteert dan rotatie-geaugmenteerde baselines die afhankelijk zijn van sampling.

Experimentele Resultaten

De auteurs evalueerden TRI-HAR tegen vijf gesuperviseerde baselines (MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR) onder twee condities: de originele testdata ( $I$ ) en vaste onafhankelijke per-locatie $SO(3)$ offsets ( $SO(3)_{loc-fix}$ ).

Robuustheid tegen Rotatie: Onder $SO(3)_{loc-fix}$ leden niet-equivariante baselines onder catastrofale prestatiedalingen (bijv. macro-F1 daling van ~80% naar ~30% op PAMAP2). In contrast behield TRI-HAR zijn prestaties op de originele testdata, met een verwaarloosbare degradatie (invariante fout $< 10^{-10}$ ).
Vergelijking met Augmentatie: Zelfs wanneer baselines werden getraind met bijbehorende per-locatie rotatie-augmentatie (loc-sample), behaalde TRI-HAR hogere macro-F1 scores op alle vier de datasets zonder gebruik van rotatie-augmentatie.
RealDISP Mutual-Displacement: Op de uitdagende RealDISP "Mutual-displacement" fold (waar sensoren fysiek zijn verplaatst en georiënteerd door een instructeur), behaalde TRI-H de hoogste macro-F1 (85,29%), waarmee het de sterkste rotatie-geaugmenteerde baseline (TinyHAR met 78,49%) met 6,8 punten versloeg.
Ablatie van Fusiestrategie: Een controlemodel, TRI-HAR-joint, dat de invariante projectie toepast op de geconcateneerde kenmerken van alle locaties (uitgaande van een gedeelde globale rotatie), faalde significant onder onafhankelijke per-locatie verschuivingen (verlies van ~37–50 macro-F1 punten). Dit bevestigt dat per-locatie invariante projectie noodzakelijk is voor de beoogde implementatiesetting.
Latentie: Metingen van de host-zijde latentie op 3-IMU en 5-IMU stromen toonden aan dat hoewel TRI-HAR langzamer is dan scalaire baselines vanwege de per-locatie equivariante verwerking, de p99 window-to-label latentie (respectievelijk 67,61 ms en 85,78 ms) ruim onder de window update-periodes (~2,5s) blijft, wat real-time streaming inferentie ondersteunt.

Betekenis en Claims

Het artikel claimt dat TRI-HAR een structurele oplossing biedt voor het probleem van oriëntatievariabiliteit in zelf-geadministreerde multi-IMU HAR. Door rotatie-invariantie als een model-eigenschap te behandelen in plaats van een data-augmentatiestrategie, elimineert het framework de noodzaak voor:

Synthetische rotatie-augmentatie tijdens de training.
Expliciete oriëntatiekalibratie of referentiekader-aannames tijdens de inferentie.

De auteurs positioneren TRI-HAR als een "calibration-light" benadering die geschikt is voor thuisrevalidatie en bewegingsmonitoring, waarbij sensor-herbevestiging frequent voorkomt en door de gebruiker uitgevoerde kalibratie onpraktisch is. Het werk benadrukt dat hoewel de huidige implementaties hogere computationele kosten met zich meebrengen dan scalaire modellen, de architecturale afweging gerechtvaardigd is door de robuustheid die wordt verkregen in realistische, ongecontroleerde scenario's. Toekomstig werk is gericht op het optimaliseren van de interne kosten van de encoder voor edge-deployment.