💻 computer science

Expanding mmWave Datasets for Human Pose Estimation with Unlabeled Data and LiDAR Datasets

Dit paper introduceert EMDUL, een nieuwe methode die bestaande mmWave-datasets voor menselijke houdingsschatting uitbreidt met ongelabelde mmWave-data en LiDAR-datasets om zo de prestaties en generalisatie van modellen aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om de bewegingen van mensen te begrijpen, zodat hij kan dansen, helpen bij revalidatie of veilig met mensen kan werken. Om dit te leren, heeft de robot een "oog" nodig. Traditionele camera's (zoals die in je telefoon) zijn goed, maar ze hebben een groot nadeel: ze kunnen niet door muren kijken, ze werken slecht in het donker en ze schenden je privacy (je kunt zien wat er gebeurt).

Daarom gebruiken wetenschappers liever mmWave-radar. Dit is een soort "onzichtbare radar" die door kleding heen kan kijken, in het donker werkt en je privacy respecteert. Maar er is een groot probleem: de robot heeft te weinig voorbeelden om te leren.

Hier komt dit nieuwe onderzoek (EMDUL) om de hoek kijken. Het lost dit probleem op met twee slimme trucs, die ik graag uitleg met een paar alledaagse vergelijkingen.

Het Probleem: De "Kleine Schoolboeken"

Stel je voor dat je een kind wilt leren om te tekenen. Je geeft hem slechts één boekje met tekeningen van mensen die alleen maar rechtop staan en naar voren kijken. Als je dat kind later een tekening laat maken van iemand die springt of op zijn zij ligt, zal het kind vastlopen. Het heeft te weinig variatie gezien.

Dit is precies wat er gebeurt met de huidige mmWave-data. Er zijn maar weinig datasets, en de mensen in die datasets doen vaak saaie, simpele bewegingen. Hierdoor zijn de AI-modellen "slim" in de klas, maar "dom" in de echte wereld.

De Oplossing: EMDUL (De Slimme Leermeester)

De onderzoekers hebben een systeem bedacht genaamd EMDUL. Dit systeem pakt twee bronnen van "leermateriaal" die er al waren, maar die tot nu toe niet goed gebruikt werden, en maakt er een super-boek van.

Truc 1: Het "Gokken" op ongemarkeerde data (Pseudo-labeling)

Stel je voor dat je een grote stapel foto's hebt van mensen die bewegen, maar er staat geen bijschrift bij wie wat doet. Normaal gesproken zou je deze stapel weggooien omdat je niet weet wat je ermee moet doen.

EMDUL pakt deze stapel en laat een slimme AI-gokker (de Pseudo-label Estimator) de bewegingen raden.

De slimme truc: De AI weet dat als een hand in de lucht zwaait, die hand ook echt beweegt in de radar-beelden. Als de AI zegt "dit is een hand die stilstaat", maar de radar ziet dat het beweegt, dan krijgt de AI een strafje.
Het resultaat: De AI leert zichzelf om deze ongemarkeerde foto's toch als goede voorbeelden te gebruiken. Het is alsof je een leerling laat oefenen met een antwoordboekje dat hij zelf heeft gemaakt, maar waarbij hij wel streng wordt gecontroleerd op logische fouten.

Truc 2: De "Talenvertaler" voor LiDAR-data

Er bestaat een andere soort radar, genaamd LiDAR (gebruikt in zelfrijdende auto's). Deze heeft duizenden foto's van mensen in alle mogelijke houdingen: springen, hurken, zwemmen, dansen. Maar deze foto's zien er heel anders uit dan de mmWave-foto's. Het is alsof je een boek in het Chinees hebt, maar je robot alleen Chinees kan lezen als het in het Nederlands is geschreven.

EMDUL heeft een vertaler gebouwd (de Closed-Form Converter).

Hoe werkt het? De vertaler neemt de LiDAR-foto's en verandert ze zodat ze eruitzien als mmWave-foto's.
De creatieve stap: De vertaler weet dat mmWave-radar alleen goed "ziet" wat beweegt. Als een persoon stilzit, ziet de radar bijna niets. De vertaler simuleert dit door de "stilstaande" delen van de LiDAR-foto's weg te halen en alleen de bewegende delen over te laten.
Het resultaat: Je hebt nu duizenden nieuwe, gevarieerde voorbeelden (van de LiDAR-datasets) die eruitzien alsof ze met de mmWave-radar zijn gemaakt.

Het Eindresultaat: Een Super-Robot

Door deze twee trucs te combineren, heeft de robot nu:

De originele, kleine dataset.
Duizenden extra voorbeelden van ongemarkeerde mmWave-data (die de AI zelf heeft "ingevuld").
Duizenden extra voorbeelden van LiDAR-data (die vertaald zijn naar mmWave-stijl).

Wat levert dit op?
In de tests bleek dat de robot die met deze uitgebreide "schoolboeken" leerde, veel beter presteerde dan de robot die alleen met de oude, kleine dataset leerde.

Binnen de klas (In-domain): De robot maakte 15% minder fouten.
In de echte wereld (Out-of-domain): Als de robot werd getest op situaties die hij nooit eerder had gezien (bijvoorbeeld een ander gebouw of andere mensen), maakte hij maar liefst 19% minder fouten.

Samenvattend

Dit onderzoek is alsof je een kok die alleen pasta kan koken, een receptboek geeft met duizenden nieuwe gerechten uit andere landen, én een meester-chef die hem leert hoe hij die gerechten moet aanpassen aan zijn eigen keuken. Het resultaat is een kok die niet alleen pasta maakt, maar ook sushi, curry en soep, en dat allemaal perfect doet, zelfs als hij in een nieuwe keuken moet werken.

De code is openbaar gemaakt, zodat iedereen deze "slimme leermeester" kan gebruiken om betere robots en veiligere systemen te bouwen.

Probleemstelling

Hoewel millimetergolf (mmWave) radar een veelbelovende technologie is voor menselijke pose-schatting (Human Pose Estimation - HPE) vanwege zijn privacyvriendelijkheid, robuustheid tegen lichtomstandigheden en 3D-gevoeligheid, kampt het veld met een ernstig gebrek aan gevarieerde, gelabelde trainingsdata. Bestaande datasets zijn beperkt in twee kritieke aspecten:

Puntwolk-kenmerken (PC attributes): Ze vertonen weinig variatie in detectieruis, puntendichtheid en gevoeligheid voor beweging, voornamelijk door een gebrek aan heterogeniteit in apparatuur en omgevingen tijdens datacollectie.
Menselijke poses: Subjects bewegen vaak in simpele, uniforme houdingen (bijv. rechtopstaand en naar de radar gericht), wat de generalisatiecapaciteit van modellen in echte, onbekende omgevingen ondermijnt.

Hoewel er veel ongelabelde mmWave-data en diverse LiDAR-datasets beschikbaar zijn, is het lastig deze te benutten. Het direct labelen van mmWave-data is duur, en het gebruik van LiDAR-data is problematisch omdat de fysieke principes en de resulterende puntwolken fundamenteel verschillen van die van mmWave. Bestaande methoden vereisen vaak zeldzame, gelabelde mmWave-LiDAR-paren, wat de toepasbaarheid beperkt.

Methodologie: EMDUL

De auteurs stellen EMDUL voor, een nieuwe pipeline om bestaande mmWave-datasets uit te breiden door gebruik te maken van ongelabelde mmWave-data en bestaande LiDAR-datasets. De aanpak bestaat uit twee onafhankelijke modules die samenwerken:

1. Pseudo-labeling van ongelabelde mmWave-data

Om ongelabelde mmWave-puntwolken om te zetten in trainingsdata, wordt een Pseudo-label Estimator getraind.

Unsupervised Temporal Consistency Loss (UTCL): Een kerninnovatie is de UTCL, die gebaseerd is op het fysieke principe van mmWave-radar: bewegende onderdelen worden sneller gedetecteerd dan statische onderdelen (Doppler-effect).
- Dynamic Consistency Loss (DCL): Straft voorspellingen af waarbij gewrichten die dicht bij een punt in de puntwolk liggen (en dus waarschijnlijk bewegen), een te lage stroomsnelheid (flow) hebben.
- Static Consistency Loss (SCL): Straft voorspellingen af waarbij gewrichten die ver van punten liggen (en dus waarschijnlijk statisch zijn), een niet-nul stroomsnelheid hebben.
Door deze loss-functie toe te passen op ongelabelde data, wordt de robuustheid van de gegenereerde pseudo-labels verbeterd door tijdsconsistentie af te dwingen.

2. Gesloten-formule conversie van LiDAR naar mmWave

Om LiDAR-datasets bruikbaar te maken voor mmWave-training, wordt een Closed-Form Converter ontwikkeld die LiDAR-puntwolken vertaalt naar hun mmWave-equivalent. Dit proces simuleert de specifieke kenmerken van mmWave-data via een sequentie van augmentaties:

Noisy Point Addition (NPA): Voegt ruispunten toe om niet-menselijke objecten te simuleren.
Flow-based Point Filtering (FPF): Dit is de belangrijkste innovatie. Het algoritme interpolert de stroomsnelheid (flow) van punten op basis van het skelet en filtert punten met een lage stroomsnelheid (statiek) met een hogere kans weg. Dit nabootst de bewegingsdetectiemechanisme van mmWave-radar.
Random Sampling (RS): Verlaagt de puntendichtheid om de dunnere mmWave-puntwolken na te bootsen.
Noise Injection (NI): Voegt willekeurige ruis toe aan coördinaten om lagere ruimtelijke resolutie te simuleren.

Trainingspipeline

De pipeline werkt iteratief:

LiDAR-data wordt geconverteerd naar mmWave-data ( $D_{conv}$ ).
De geconverteerde data wordt gecombineerd met de originele gelabelde mmWave-data ( $D_{mm}$ ) tot een uitgebreide gelabelde set ( $D_{lab}$ ).
De pseudo-label estimator wordt getraind op $D_{lab}$ en de ongelabelde data ( $D_{unlab}$ ) met behulp van UTCL.
De estimator genereert nieuwe pseudo-labels voor $D_{unlab}$ .
De uiteindelijke uitgebreide dataset ( $D_{exp}$ ) bevat zowel de geconverteerde LiDAR-data als de gepseudo-labelde mmWave-data, waarmee het definitieve HPE-model wordt getraind.

Belangrijkste Bijdragen

Eerste aanpak voor pseudo-labeling: Het is de eerste studie die succesvol ongelabelde mmWave-puntwolken labelt voor HPE met behulp van een tijdsconsistentie-gebaseerde loss-functie.
Onafhankelijke LiDAR-conversie: Een nieuwe, gesloten-formule methode om LiDAR-data naar mmWave te vertalen zonder dat gelabelde mmWave-LiDAR-paren nodig zijn. De Flow-based Point Filtering (FPF) is cruciaal voor het realistisch simuleren van bewegingsdetectie.
EMDUL Pipeline: Een volledig systeem dat zowel de volume als de diversiteit (zowel in puntwolken als poses) van mmWave-datasets aanzienlijk vergroot.

Resultaten

De auteurs hebben EMDUL getest op veelgebruikte datasets (MM-Fi en mmBody) met LiDAR-datasets (LiDARHuman26M en HmPEAR).

In-domain prestaties: Bij training en testen op dezelfde dataset (bijv. MM-Fi) werd de fout (MPJPE) met 15,1% verlaagd.
Out-of-domain generalisatie: Bij training op mmBody en testen op MM-Fi (een onbekende omgeving) werd de fout met 18,9% verlaagd.
Vergelijking: EMDUL presteerde consistent beter dan bestaande state-of-the-art methoden (zoals P4T, SPiKE) en semi-supervised baselines (zoals Mean Teacher), vooral in scenario's met beperkte gelabelde data (bijv. slechts 1% of 10% van de data).
Ablatiestudies: Deze bevestigden dat zowel de UTCL (voor pseudo-labeling) als de FPF (voor conversie) essentieel zijn voor de prestatieverbetering. Zonder FPF worden geconverteerde LiDAR-punten minder vaak correct geïdentificeerd als mmWave-data door een classifier.

Betekenis

Deze studie biedt een praktische oplossing voor het grootste knelpunt in mmWave-HPE: data-schaarste. Door ongelabelde data en bestaande LiDAR-datasets effectief te benutten zonder dure handmatige annotatie of zeldzame multi-sensor datasets, maakt EMDUL het mogelijk om robuustere en beter generaliserende modellen te trainen. Dit opent de deur voor de bredere toepassing van mmWave-radar in real-world scenario's zoals robotica, mens-computer interactie en beveiliging, waar datacollectie vaak beperkt is tot specifieke omgevingen.