💻 computer science

Expanding mmWave Datasets for Human Pose Estimation with Unlabeled Data and LiDAR Datasets

Die vorgestellte Arbeit stellt EMDUL vor, einen neuartigen Ansatz zur Erweiterung von mmWave-Datensätzen für die menschliche Pose-Schätzung durch die Nutzung ungelabelter mmWave-Daten und LiDAR-Datensätze, was die Leistung und Generalisierungsfähigkeit der Modelle signifikant verbessert.

Ursprüngliche Autoren: Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

Veröffentlicht 2026-03-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, menschliche Bewegungen zu verstehen, damit er Ihnen beim Tanzen helfen oder Ihre Sportübungen korrigieren kann. Der Roboter soll dabei nicht mit einer Kamera (die Ihre Privatsphäre verletzt) schauen, sondern mit einem Millimeterwellen-Radar (wie ein sehr feines, unsichtbares Sehen durch Wände).

Das Problem ist: Um diesen Roboter zu trainieren, braucht man eine riesige Menge an Trainingsdaten – also viele Beispiele, wie das Radar sieht, wenn sich jemand bewegt. Aber diese Daten sind extrem selten und oft langweilig (alle bewegen sich nur geradeaus).

Die Forscher aus Hongkong haben eine clevere Lösung namens EMDUL entwickelt. Man kann sich das wie einen genialen Koch vorstellen, der mit wenigen Zutaten ein riesiges Festmahl zaubert. Hier ist die Erklärung, wie das funktioniert:

1. Das Problem: Der leere Kühlschrank

Stellen Sie sich vor, Sie wollen einen Kochkurs für Radar-Daten geben.

Der Mangel: Sie haben nur einen kleinen Topf mit echten Radar-Daten (z. B. 10 % der benötigten Menge).
Die Langeweile: In diesem Topf bewegen sich die Leute alle nur gerade auf den Radar zu. Der Roboter lernt also nur, wie man "gerade steht", aber nicht, wie man hockt, springt oder sich dreht.
Das Ergebnis: Wenn der Roboter dann in der echten Welt jemanden sieht, der sich seitwärts bewegt, ist er verwirrt und macht Fehler.

2. Die Lösung: EMDUL – Der kulinarische Zaubertrick

Die Forscher haben zwei neue Zutaten gefunden, um den Topf zu füllen, ohne neue echte Radar-Daten sammeln zu müssen:

Zutat A: Der "Geister-Koch" (Pseudo-Labeling)

Sie haben einen riesigen Vorrat an unbeschrifteten Radar-Daten. Das sind Rohdaten, bei denen das Radar zwar aufzeichnet, aber niemand weiß, welche Gelenke (Ellenbogen, Knie) wo sind.

Die Idee: Ein smarter Algorithmus (der "Geister-Koch") schaut sich diese Daten an und errät die Position der Gelenke.
Der Trick: Damit der Koch nicht halluziniert, nutzen die Forscher eine Regel namens "Zeitliche Konsistenz".
- Die Analogie: Wenn Sie einen Arm heben, bewegt sich dieser Arm im nächsten Moment weiter nach oben. Er springt nicht plötzlich von links nach rechts. Der Algorithmus lernt: "Wenn ein Gelenk in der Nähe eines Radar-Punkts ist, muss es sich bewegen. Wenn es weit weg ist, muss es stillstehen."
- So werden die "erratenen" Daten so gut, dass man sie wie echte Trainingsdaten verwenden kann.

Zutat B: Der "Verwandlungs-Zauber" (LiDAR-Konvertierung)

Es gibt viele andere Sensoren, die Menschen scannen, wie LiDAR (oft in selbstfahrenden Autos oder Drohnen). Diese haben super viele Daten mit sehr vielen verschiedenen Posen (Schwimmen, Hocken, Springen).

Das Problem: LiDAR-Daten sehen für das Radar ganz anders aus. Ein LiDAR-Punkt ist wie ein scharfes Foto, ein Radar-Punkt ist wie ein verschwommener, verrauschter Schatten. Wenn man dem Roboter einfach LiDAR-Daten gibt, lernt er nichts für das Radar.
Die Lösung: Die Forscher haben einen "Closed-Form Converter" (einen mathematischen Verwandlungszauber) erfunden.
- Die Analogie: Stellen Sie sich vor, Sie haben ein scharfes Foto (LiDAR). Sie wollen es in ein Radar-Bild verwandeln. Dazu tun Sie Folgendes:
  1. Rauschen hinzufügen: Sie machen das Bild unscharf (wie Radar).
  2. Bewegung filtern (Der wichtigste Schritt!): Radar sieht nur, was sich bewegt. Wenn ein Gelenk stillsteht, verschwindet es im Radar-Bild. Der Algorithmus simuliert genau das: Er löscht die Punkte, die sich nicht bewegen, und behält nur die "tanzenden" Punkte.
- Das Ergebnis: Aus dem LiDAR-Daten wird ein künstliches Radar-Bild, das sich fast wie ein echtes Radar-Bild verhält, aber die Vielfalt der Bewegungen mitbringt.

3. Das Ergebnis: Ein riesiges, vielfältiges Festmahl

Am Ende mischen die Forscher alles zusammen:

Die wenigen echten Radar-Daten.
Die "erratenen" Radar-Daten (aus den unbeschrifteten Daten).
Die "verwandelten" LiDAR-Daten (die wie Radar aussehen).

Das Ergebnis ist ein riesiger, vielfältiger Datensatz.

Warum ist das so toll?

Stellen Sie sich vor, Sie trainieren einen Fußballspieler.

Ohne EMDUL: Sie lassen ihn nur auf einem kleinen, flachen Feld gegen einen einzigen Gegner spielen. Er wird gut darin, aber wenn er dann in einer echten, chaotischen Partie gegen viele verschiedene Gegner spielt, verliert er.
Mit EMDUL: Sie lassen ihn auf einem riesigen Feld gegen Tausende von Gegnern mit unterschiedlichen Taktiken spielen (durch die Verwandlung der LiDAR-Daten) und geben ihm zusätzlich viele Trainingsvideos, in denen er seine eigenen Fehler korrigiert (durch die Pseudo-Labeling).

Das Fazit:
Roboter, die mit dieser Methode trainiert wurden, machen 15 % bis 19 % weniger Fehler als alle bisherigen Methoden. Sie sind viel robuster und verstehen Bewegungen in der echten Welt viel besser, auch wenn sie dort noch nie trainiert wurden.

Kurz gesagt: EMDUL ist wie ein Übersetzer und Erfinder, der aus wenigen echten Radar-Daten und vielen anderen Sensordaten eine perfekte Trainingswelt für Roboter erschafft.

1. Problemstellung

Die Schätzung menschlicher Posen (Human Pose Estimation, HPE) mittels Millimeterwellen-Radar (mmWave) gewinnt aufgrund von Vorteilen wie Privatsphärenschutz, Robustheit gegenüber Lichtverhältnissen und 3D-Erfassung zunehmend an Bedeutung. Dennoch stehen für das Training von Modellen derzeit nur wenige und wenig diverse gelabelte mmWave-Datensätze zur Verfügung.

Die bestehenden Datensätze leiden unter zwei Hauptmängeln:

Mangelnde Vielfalt in den Punktwolken-Attributen (PC-Attributes): Aufgrund fehlender Geräteheterogenität und Umweltvielfalt bei der Datenerfassung weisen die Punktwolken eine eingeschränkte Variabilität in Bezug auf Detektionsrauschen, Punktdichte und Bewegungsempfindlichkeit auf.
Eingeschränkte Pose-Vielfalt: Die erfassten menschlichen Posen sind oft uniform (z. B. stehende Personen, die direkt zum Radar schauen), was die Generalisierungsfähigkeit von Modellen in realen, unbekannten Szenarien stark beeinträchtigt.

Zwar sind unbeschriftete mmWave-Daten und diverse LiDAR-Datensätze reichlich vorhanden, deren direkte Nutzung ist jedoch schwierig: Unbeschriftete Daten benötigen Annotationen, und LiDAR-Daten unterscheiden sich physikalisch fundamental von mmWave-Daten (unterschiedliche Sensormechanismen), was eine direkte Übertragung verhindert.

2. Methodik: EMDUL

Die Autoren stellen EMDUL (Expanding mmWave Datasets with Unlabeled data and LiDAR) vor, einen neuartigen Ansatz, der die Menge und Vielfalt bestehender mmWave-Datensätze durch zwei unabhängige Module erweitert:

A. Pseudo-Labeling unbeschrifteter mmWave-Daten

Um unbeschriftete mmWave-Punktwolken nutzbar zu machen, wird ein Pseudo-Label-Schätzer trainiert.

Supervised Loss: Der Schätzer wird zunächst auf gelabelten Daten mit einem Standard-MSE-Loss (Mean Squared Error) trainiert.
Unsupervised Temporal Consistency Loss (UTCL): Ein neuartiger Verlustterm, der auf physikalischen Prinzipien des mmWave-Radars basiert. Da mmWave-Radar bewegte Objekte (Doppler-Effekt) besser detektiert als statische, werden Gelenke, die sich nahe detektierter Punkte befinden, als dynamisch und solche in der Ferne als statisch eingestuft.
- Dynamic Consistency Loss (DCL): Bestraft Gelenke, die als dynamisch identifiziert wurden, wenn ihre vorhergesagte Flussgeschwindigkeit (Flow) zu niedrig ist.
- Static Consistency Loss (SCL): Bestraft Gelenke, die als statisch identifiziert wurden, wenn sie eine nicht-null Flussgeschwindigkeit aufweisen.
Dieser Ansatz erzwingt zeitliche Konsistenz in den vorhergesagten Pseudo-Labels und verbessert die Robustheit der Annotation unbeschrifteter Daten.

B. Konvertierung von LiDAR-Daten zu mmWave-Punktwolken

Um LiDAR-Daten für mmWave-Modelle nutzbar zu machen, wird eine geschlossene Form-Konverter-Pipeline entwickelt, die die spezifischen Attribute von mmWave-Punktwolken simuliert. Die Konvertierung erfolgt sequenziell durch vier Augmentations-Schritte:

Noisy Point Addition (NPA): Hinzufügen von Rauschpunkten, um Umgebungsobjekte zu simulieren.
Flow-based Point Filtering (FPF): Der Kernalgorithmus. Basierend auf dem Skelett-Flow wird ein 3D-Flow-Feld für jeden Punkt interpoliert. Punkte mit geringem Flow (statische Körperteile) werden mit höherer Wahrscheinlichkeit gefiltert (entfernt), um den Detektionsmechanismus des mmWave-Radars nachzuahmen.
Random Sampling (RS): Reduktion der Punktdichte, um die spärliche Natur von mmWave-Daten zu imitieren.
Noise Injection (NI): Hinzufügen von Koordinatenrauschen zur Simulation einer geringeren räumlichen Auflösung.

C. Gesamtpipeline

LiDAR-Daten werden durch den Konverter in mmWave-ähnliche Daten umgewandelt ( $D_{conv}$ ).
Diese werden mit den originalen gelabelten mmWave-Daten ( $D_{mm}$ ) kombiniert, um einen erweiterten gelabelten Datensatz ( $D_{lab}$ ) zu bilden.
Der Pseudo-Label-Schätzer wird auf $D_{lab}$ trainiert und nutzt die UTCL, um unbeschriftete mmWave-Daten ( $D_{unlab}$ ) zu annotieren ( $D_{pl}$ ).
Der finale erweiterte Datensatz $D_{exp} = D_{lab} \cup D_{pl}$ wird verwendet, um das finale HPE-Inferenzmodell zu trainieren.

3. Hauptbeiträge

Pseudo-Labeling-Strategie: Einführung eines Pseudo-Label-Schätzers mit dem neuartigen UTCL, der die physikalischen Eigenschaften der mmWave-Bewegungsdetektion nutzt, um unbeschriftete Daten effektiv zu annotieren.
Closed-Form Converter: Entwicklung eines Konverters, der LiDAR-Punktwolken ohne gepaarte mmWave-LiDAR-Daten in realistische mmWave-Punktwolken übersetzt, insbesondere durch den Flow-based Point Filtering (FPF) Algorithmus.
EMDUL-Pipeline: Ein vollständiger Workflow, der beide Module kombiniert, um mmWave-Datensätze sowohl in Volumen als auch in Diversität (sowohl in PC-Attributen als auch in Posen) signifikant zu erweitern.

4. Ergebnisse

Die Methode wurde auf den mmWave-Datensätzen MM-Fi und mmBody sowie den LiDAR-Datensätzen LiDARHuman26M und HmPEAR evaluiert. Als Baseline-Modelle dienten SOTA-Architekturen wie P4T und SPiKE.

In-Domain-Leistung: Bei Training und Test auf MM-Fi ( $F \to F$ ) konnte der Fehler (MPJPE) um 15,1 % reduziert werden.
Out-of-Domain-Leistung (Generalisierung): Bei Training auf mmBody und Test auf MM-Fi ( $B \to F$ ) wurde eine Fehlerreduktion von 18,9 % erreicht.
Vergleich mit State-of-the-Art: EMDUL übertraf konventionelle Ansätze (wie Mean-Teacher mit Pseudo-Labeling) und Modelle, die nur auf originalen Daten trainiert wurden, in fast allen Szenarien deutlich.
Ablationsstudien:
- Die Kombination aus DCL und SCL im UTCL erwies sich als entscheidend für die Generalisierung.
- Der FPF-Schritt in der Konvertierung hatte den größten Einfluss auf die Realitätsnähe der generierten Daten (60,46 % der konvertierten Daten wurden von einem Klassifikator als mmWave erkannt, verglichen mit 43 % ohne FPF).
- Die Methode zeigte besonders starke Verbesserungen bei extrem wenig gelabelten Daten (z. B. nur 1 % der Trainingsdaten).

5. Bedeutung

Die Arbeit adressiert ein kritisches Hindernis im Bereich der mmWave-basierten Pose-Schätzung: den Mangel an diversen Trainingsdaten.

Demokratisierung der Daten: EMDUL ermöglicht es, reichlich vorhandene, aber ungenutzte Ressourcen (unbeschriftete mmWave-Daten und LiDAR-Daten) für das Training von mmWave-Modellen zu nutzen, ohne auf teure, manuell gelabelte mmWave-LiDAR-Paare angewiesen zu sein.
Verbesserte Generalisierung: Durch die Erweiterung der Datendiversität (sowohl in den Sensor-Attributen als auch in den menschlichen Posen) werden Modelle robuster und funktionieren besser in unbekannten Umgebungen und Szenarien.
Physikalisch fundierter Ansatz: Die Integration physikalischer Prinzipien (Doppler-Effekt, Bewegungsdetektion) in die Loss-Funktion und die Datenkonvertierung stellt einen wichtigen Schritt hin zu realistischeren und effizienteren Trainingspipelines für Radar-basierte Systeme dar.

Zusammenfassend bietet EMDUL einen skalierbaren Weg, um die Leistungsfähigkeit von mmWave-HPE-Systemen durch intelligente Datennutzung und Domänenanpassung signifikant zu steigern.