💻 computer science

GenHAR: Generalizing Cross-domain Human Activity Recognition for Last-mile Delivery

GenHAR is een nieuw raamwerk dat distributieveranderingen tussen domeinen in Menselijke Activiteitsherkenning aanpakt door sensordata te tokeniseren en selectieve masking met efficiënte attention te gebruiken om state-of-the-art nauwkeurigheid en efficiëntie te bereiken, zoals gevalideerd door grootschalige real-world implementatie in de laatste mijl van bezorging.

Oorspronkelijke auteurs: Zhiqing Hong, Zelong Li, Xiubin Fan, Guang Yang, Baoshen Guo, Haotian Wang, Tian He, Desheng Zhang

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiqing Hong, Zelong Li, Xiubin Fan, Guang Yang, Baoshen Guo, Haotian Wang, Tian He, Desheng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren herkennen wanneer een bezorger loopt, trappen beklimt of stil staat. Je traint de robot met data van een specifieke groep bezorgers in Peking. Maar wanneer je diezelfde robot naar bezorgers in Shanghai stuurt, of zelfs alleen maar naar andere bezorgers in dezelfde stad, begint hij fouten te maken. Hij raakt in de war omdat het "geluid" van de data anders klinkt – misschien worden de telefoons in verschillende zakken gedragen, of lopen de bezorgers met een andere stijl.

Dit is het probleem dat het artikel GenHAR oplost. Het is een nieuw systeem dat computers helpt menselijke activiteiten (zoals lopen of trappen beklimmen) te herkennen, zelfs wanneer de data uit een volledig andere "wereld" komt dan die waarvoor het is getraind.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Het "Accent"-Probleem

Denk aan sensordata (van een telefoon of horloge) als een persoon die spreekt. Als je een vertaler traint om een specifiek accent te begrijpen, kan die moeite hebben wanneer die persoon tegen een vriend met een ander accent spreekt. In de wereld van de bezorging beweegt elke koerier iets anders, draagt hij zijn telefoon op een andere plek en gebruikt hij een ander apparaat. Dit creëert een "distributieverandering" – de data ziet er anders genoeg uit dat de oude AI in de war raakt en faalt.

De meeste eerdere AI-systemen probeerden dit op te lossen door tijdens het trainen voorbeelden te tonen van de nieuwe groep (het "doel"-domein). Maar in de echte wereld kun je die data vaak niet van tevoren krijgen. Je hebt een systeem nodig dat leert van één groep en direct werkt voor elke andere groep zonder extra training.

2. De Oplossing: Luisteren naar de "Muziek" in plaats van de "Woorden"

De auteurs realiseerden zich dat het kijken naar de ruwe data (de "woorden" of de tijdslijn van beweging) te veel ruis bevat. In plaats daarvan besloten ze de beweging te vertalen naar frequentieruimte (de "muziek").

De Analogie: Stel je twee mensen voor die hetzelfde lied zingen. De één zingt het snel, de ander langzaam. Als je naar de woorden (tijd) kijkt, zien ze er heel verschillend uit. Maar als je naar de bladmuziek (frequentie) kijkt, zijn de melodie en de noten bijna identiek.
De Innovatie: GenHAR zet de ruwe bewegingsdata om in deze "frequentie-bladmuziek". Het ontdekte dat de "melodie" van een activiteit (zoals lopen) hetzelfde blijft, zelfs als het "tempo" of het "instrument" (de specifieke telefoon of persoon) verandert. Dit maakt de AI veel robuuster.

3. Het Geheime Ingrediënt: Het "Sensorenorkest"

Zodra de data in dit frequentieformaat zit, gebruikt GenHAR een speciaal type attentiemechanisme.

De Analogie: Stel je een orkest voor. Een reguliere AI luistert misschien naar de vioolsectie en probeert het hele lied te begrijpen door alleen te kijken naar hoe de vioolnoten in de tijd veranderen.
De Aanpak van GenHAR: GenHAR fungeert als een dirigent die luistert naar hoe de violen, celli en drums met elkaar praten. Het beseft dat de relatie tussen de verschillende sensoren (accelerometers en gyroscopen) de sleutel is tot het begrijpen van de activiteit.
Selectief Maskeren: Om energie te besparen, luistert het niet naar elk mogelijk gesprek tussen instrumenten. Het weet dat de "Links-Rechts"-accelerometer niet echt hoeft te praten met de "Boven-Onder"-gyroscoop. Het dempt die onnodige gesprekken, waardoor het systeem ongelooflijk snel en efficiënt is.

4. De Resultaten: Sneller, Slimmer en Getest in de Echte Wereld

Het artikel claimt drie grote overwinningen:

Nauwkeurigheid: Het is aanzienlijk nauwkeuriger dan huidige state-of-the-art methoden (gemiddeld ongeveer 10% beter). Het raakte niet zomaar; het leerde de ware "melodie" van de activiteit.
Efficiëntie: Het is veel lichter. Het vereist 6,4 keer minder rekenkracht dan de beste bestaande modellen. Dit is cruciaal omdat bezorgers deze modellen op hun telefoons gebruiken, die beperkte batterij en rekenkracht hebben.
Implementatie in de Echte Wereld: Het team testte dit niet alleen in een laboratorium. Ze werkten samen met JD Logistics, een grote bezorgingsmaatschappij in China. Ze installeerden GenHAR op de telefoons van 9.985 koeriers in 4 steden.
- In slechts één maand detecteerde het systeem succesvol 2,15 miljard activiteiten.
- Het identificeerde nauwkeurig wanneer koeriers liepen, trappen beklimmen of stil stonden, zelfs al was het getraind op data van een volledig andere groep mensen.

5. Waarom Dit Belangrijk Is voor Bezorging

Het artikel benadrukt twee specifieke manieren waarop dit de logistieke onderneming helpt:

Eerlijkere Werklasten: Door precies te weten hoeveel klimmen of lopen een koerier doet, kan het bedrijf taken eerlijker toewijzen. Als een gebouw geen lift heeft, weet het systeem dat die koerier "extra werk" heeft verricht en kan het hun loon of taakbelasting dienovereenkomstig aanpassen.
Betere Kaarten: Het systeem helpt verzendadressen te verifiëren. Als een koerier zegt dat hij op een specifiek adres is, maar de telefoon zegt dat hij continu rijdt, weet het systeem dat het adres misschien verkeerd is. Dit hielp hen meer dan 6,8 miljoen verzendadressen met hoge nauwkeurigheid in kaart te brengen.

Kort samengevat: GenHAR is een slimme, lichtgewicht AI die de "universele melodie" van menselijke beweging leert. Het negeert het ruis van verschillende telefoons en mensen, waardoor het activiteiten overal en altijd perfect kan herkennen, zonder opnieuw getraind te hoeven worden.

Technische Samenvatting: GenHAR – Generalisatie van Cross-domain Menselijke Activiteitsherkenning voor Last-mile Levering

1. Probleemstelling

Menselijke Activiteitsherkenning (HAR) met behulp van Inertial Measurement Unit (IMU)-sensoren is cruciaal voor toepassingen zoals slimme gezondheidszorg en last-mile leveringslogistiek. Een significante barrière voor implementatie in de echte wereld is echter de cross-domain distributieverandering. Modellen die zijn getraind op data uit een specifieke bron-domein (bijvoorbeeld een specifieke gebruiker, plaatsing van het apparaat of omgeving) lijden vaak onder een duidelijke prestatiedaling wanneer ze worden getest op onzichtbare doeldomeinen, vanwege variaties in sensorpositionering, individuele gedragspatronen en omgevingsruis.

Bestaande oplossingen vertrouwen doorgaans op Domeinadaptatie, wat toegang vereist tot doeldomeindata (vaak ongelabeld) tijdens het trainingsproces. In praktische scenario's zoals last-mile levering is het verzamelen en labelen van doeldomeindata echter vaak onuitvoerbaar, tijdrovend en kostbaar. Derhalve ligt de uitdaging in het bereiken van Domeingeneralisatie: het trainen van een model uitsluitend op bron-domeindata dat effectief kan generaliseren naar onzichtbare doeldomeinen zonder enige toegang tot doeldata. Bovendien moeten deze modellen computationeel efficiënt genoeg zijn om in real-time te draaien op mobiele en edge-apparaten met beperkte middelen.

2. Methodologie: Het GenHAR-kader

GenHAR is een nieuw kader dat is ontworpen om domein-invariante sensorrepresentaties puur te leren vanuit bron-domeindata. Het adresseert de uitdagingen van distributieverandering en computationele efficiëntie via drie kernontwerpprincipes:

A. Transformatie in Frequentieruimte

In tegenstelling tot de meeste bestaande HAR-methoden die in de tijdsdomein opereren, transformeert GenHAR ruwe IMU-tijdreeksdata naar het frequentiedomein met behulp van de Fast Fourier Transform (FFT).

Redenering: Kenmerken in het tijdsdomein zijn zeer gevoelig voor willekeurige factoren zoals ruis en subtiele voorkeuren in beweging, wat leidt tot significante distributieveranderingen tussen domeinen. Daarentegen zijn frequentiekenmerken (specifiek amplitude) robuuster tegen tijdsverschuivingen en vertonen ze kleinere distributieverschillen tussen bron- en doeldomeinen.
Amplitude versus Fase: Het kader maakt specifiek gebruik van amplitude-kenmerken in plaats van fase- of complexe waarden. Empirische analyse toont aan dat fasekenmerken zeer gevoelig zijn voor de oriëntatie van het apparaat en ruis, terwijl amplitudekenmerken relatief stabiel blijven over verschillende domeinen. De Earth Mover's Distance (EMD) tussen domeinen is aanzienlijk lager in de amplitude-ruimte in vergelijking met de fase- of tijdsruimte.

B. Sensor-specifiek Zelfaandachtmechanisme

GenHAR maakt gebruik van een op Transformer gebaseerde architectuur, maar introduceert een nieuw Sensor-specifiek Zelfaandacht-mechanisme in de frequentieruimte.

Tokenisatie: In plaats van individuele tijdstappen als tokens te behandelen, wordt de volledige reeks amplitudecomponenten voor één sensorkanaal behandeld als één token.
Correlatieleren: Het aandachtsmechanisme wordt berekend over de sensorkanaal-dimensie (bijvoorbeeld tussen de X-, Y- en Z-assen van een versnellingsmeter en gyroscoop) in plaats van langs de temporale reeks. Dit vangt de inherente fysieke correlaties tussen verschillende sensorkanalen, die volgens de auteurs meer domein-invariant zijn dan individuele kanaalsignalen.
Selectieve Maskering: Om de efficiëntie en fysieke relevantie te verbeteren, wordt een selectieve maskeringstrategie toegepast. Hierbij worden correlaties tussen fysiek niet-gerelateerde metingen gemaskeerd (bijvoorbeeld de X-as van een versnellingsmeter en de Y-as van een gyroscoop), terwijl correlaties binnen hetzelfde sensortype of over corresponderende assen behouden blijven (bijvoorbeeld $Acc_x$ en $Gyro_x$ ). Dit reduceert onnodige berekeningen en richt het model op zinvolle intra- en inter-sensorrelaties.

C. Efficiëntie-optimalisatie

Om te voldoen aan de real-time eisen van mobiele apparaten, reduceert GenHAR de computationele complexiteit aanzienlijk:

Door aandachtsberekening langs de sensorkanaal-dimensie (typisch 6 assen) in plaats van de volledige lengte van de temporale reeks, wordt de complexiteit drastisch verminderd.
Het mechanisme voor selectieve maskering reduceert de matrixvermenigvuldigingsoperaties verder met ongeveer 33,3%.
Het kader verwijdert de "DC-component" en het symmetrische tweede helft van het FFT-spectrum om de invoergrootte verder te minimaliseren.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

Eerste Cross-domain HAR in Frequentieruimte: Voor zover de auteurs weten, is dit het eerste werk dat cross-domain HAR aanpakt door sensoraandacht specifiek binnen de signaalfrequentieruimte te leren, zonder enige trainingsdata uit het doeldomein te vereisen.
Nieuwe Architectuur: Het ontwerp van GenHAR, een Transformer in frequentieruimte die sensorkorrelaties vastlegt via een zelfaandachtsmodule per kanaal, en dat aantoont dat generaliseerbare IMU-representaties puur vanuit het frequentiedomein kunnen worden geleerd.
Superieure Prestaties en Efficiëntie: Uitgebreide experimenten tonen aan dat GenHAR state-of-the-art (SoA) basismodellen overtreft, terwijl het aanzienlijk efficiënter is.
Implementatie in de Echte Wereld: Het kader is succesvol ingezet in een industriële setting op grote schaal voor last-mile levering.

4. Experimentele Resultaten

De auteurs hebben GenHAR geëvalueerd op vier real-world datasets (UCI, Shoaib, Motion, HHAR) met vier gedeelde activiteiten (lopen, staan/zitten, traplopen, trapaflopen).

Nauwkeurigheid: GenHAR behaalde een gemiddelde cross-domain nauwkeurigheid van 81,42%, wat 9,97% beter is dan het op een na beste model (UniHAR). Het overtrof consistent andere basismodellen, waaronder pre-training methoden (LIMUBERT, ContraTSC) en domeinadaptatie/generalisatiemethoden (SDMix, UniHAR).
Efficiëntie:
- FLOPs: GenHAR reduceerde Floating Point Operations met een factor 6,4 in vergelijking met het beste basismodel.
- Zelfaandachtsberekening: Het sensor-specifieke aandachtsontwerp resulteerde in een reductie van 43,2 keer in zelfaandachtsberekening in vergelijking met standaard frequentieaandacht.
- Inferentietijd: Op mobiele apparaten (PDAs) was de gemiddelde inferentietijd 0,00647 seconden, en op smartwatches 0,02505 seconden.
Ablatiestudies:
- Het verwijderen van frequentiekenmerken (gebruik van tijdsdomein-invoer) veroorzaakte een daling in nauwkeurigheid van 13,51%.
- Het vervangen van amplitude door fasekenmerken veroorzaakte een daling in nauwkeurigheid van 31,19%, wat de superioriteit van amplitudekenmerken voor domein-invariantie bevestigt.
- Het vervangen van sensor-specifieke aandacht door standaard temporale aandacht veroorzaakte een daling in nauwkeurigheid van 17,10%.

5. Implementatie in de Echte Wereld en Betekenis

Het artikel benadrukt de implementatie van GenHAR bij JD Logistics in 4 steden, waarbij 9.985 bezorgkoeriers betrokken waren.

Schaal: In één maand detecteerde het systeem 2,15 miljard real-time activiteiten (1,84 miljard stilstaand, 215 miljoen lopen, 54,8 miljoen traplopen, 39,8 miljoen trapaflopen).
Toepassingen:
- Werklastbegrip: Het systeem identificeert leveringssituaties met hoge inspanning (bijvoorbeeld gebouwen zonder liften) om eerlijke compensatie en eerlijke dispatching-algoritmes te ondersteunen.
- Locatie-mining van adressen: Door activiteitsherkenning te combineren met GPS-trajecten, infereerde het systeem de locaties van meer dan 6,8 miljoen verzendadressen met 93,3% nauwkeurigheid (binnen 100 meter), wat de logistieke navigatie en pakkettoewijzing verbeterde.

6. Geclaimde Betekenis

De auteurs positioneren GenHAR als een significante doorbraak voor last-mile levering en algemene op sensoren gebaseerde AI. De betekenis ligt in:

Oplossen van het Data-Schaarste Probleem: Het biedt een haalbare oplossing voor cross-domain HAR waar doeldomeindata niet beschikbaar is, een veelvoorkomende beperking in real-world logistiek.
Fysisch Gedreven Ontwerp: Het succes van de aanpak in frequentieruimte en sensor-specifieke aandacht suggereert dat het modelleren van de fysische generatieprincipes van IMU-signalen (in plaats van alleen statistische patronen) leidt tot robuustere en generaliseerbaardere modellen.
Haalbaarheid van Edge-implementatie: Door de computationele kosten drastisch te verlagen terwijl de hoge nauwkeurigheid behouden blijft, toont GenHAR aan dat geavanceerde domein-generalisatiemodellen kunnen worden ingezet op mobiele apparaten met beperkte middelen voor real-time, industriële toepassingen op grote schaal.