💻 computer science

LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation

Dieses Paper stellt LiCamPose vor, eine robuste 3D-Pose-Schätz-Pipeline für einzelne Zeitstempel, die Multi-View-RGB- und spärliche LiDAR-Daten mittels einer volumetrischen Architektur fusioniert und dabei einen synthetischen Datengenerator sowie unüberwachte Domänenanpassung nutzt, um eine starke Generalisierung über diverse Szenarien hinweg ohne manuelle 3D-Annotationen zu erreichen.

Ursprüngliche Autoren: Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie genau ein Basketballspieler seinen Körper im 3D-Raum bewegt. Wenn Sie nur eine Kamera haben, ist es wie der Versuch, die Form einer Wolke zu erraten, indem man auf einen einzelnen Schatten blickt; Sie könnten sich irren, wenn sich der Spieler hinter jemandem versteckt oder der Winkel schwierig ist. Wenn Sie mehrere Kameras haben, ist es besser, aber wenn der Spieler dunkle Kleidung trägt oder die Beleuchtung schlecht ist, könnten die Kameras dennoch verwirrt werden.

Diese Arbeit stellt LiCamPose vor, ein neues „Super-Sinn"-System, das zwei verschiedene Arten von Augen kombiniert, um dieses Problem zu lösen: RGB-Kameras (die Farben und Texturen sehen, wie unsere Augen) und LiDAR-Sensoren (die unsichtbare Laserstrahlen aussenden, um Entfernungen zu messen, wie eine Fledermaus, die Echoortung nutzt).

Hier ist eine Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:

1. Das Problem: Das Dilemma des „blinden Flecks"

Bestehende Methoden verlassen sich oft nur auf Kameras. Doch in einem überfüllten, schnelllebigen Spiel wie dem Basketball blockieren sich die Spieler gegenseitig (Okklusion), und Kameras können die Tiefe nicht gut erfassen. Andere Methoden nutzen LiDAR, aber LiDAR-Daten sind oft „spärlich" – stellen Sie sich das wie eine niedrig aufgelöste 3D-Skizze vor, die nur aus wenigen Punkten besteht. Sie ist großartig, um zu wissen, wo etwas ist, aber es ist schwierig, genau zu erkennen, wie ein Gelenk gebeugt ist, nur anhand einiger weniger Punkte.

2. Die Lösung: Die „Volumetrische Suppe"

LiCamPose betrachtet das Kamerabild oder die Laserpunkte nicht getrennt. Es mischt sie zu einem 3D-Gitter zusammen, das die Autoren als „volumetrischen Raum" bezeichnen.

Die Analogie: Stellen Sie sich einen riesigen, unsichtbaren Würfel aus Wackelpudding vor, der in der Luft um den Spieler schwebt.
- Die Kameras projizieren ihre 2D-Fotos in diesen Wackelpudding und malen die „Haut" und die „Kleidung" auf die Innenseite des Würfels.
- Das LiDAR schießt seine Laserpunkte in den Wackelpudding und markiert die genauen physischen „Knochen" und Kanten.
- Das System betrachtet dann den gesamten Würfel auf einmal. Selbst wenn die Kamera den Ellbogen des Spielers nicht sehen kann, weil er verborgen ist, könnten die LiDAR-Punkte noch da sein. Selbst wenn die LiDAR-Punkte zu spärlich sind, um die Kurve des Arms zu erkennen, füllt das Kamerabild die Textur aus. Durch die Kombination in dieser 3D-„Suppe" erhält das System ein viel klareres Bild der Pose.

3. Die Trainingsherausforderung: Lernen ohne Lehrer

Normalerweise benötigen Sie, um einem Computer beizubringen, Posen zu erkennen, einen menschlichen Lehrer, der Tausende von Videos mit Linien zeichnet und sagt: „Das ist ein Knie, das ist ein Ellbogen." Dies für 3D-Daten in einem echten Basketballspiel zu tun, ist unglaublich schwierig, teuer und langsam.

Der Trick von LiCamPose:
Anstatt einen menschlichen Lehrer für das echte Spiel zu verwenden, nutzten sie einen Videospiele-Simulator (genannt SyncHuman).

Die Analogie: Denken Sie daran, wie ein Pilot in einem Flugsimulator trainiert. Der Simulator erstellt Tausende von gefälschten Basketballspielen mit perfekten, computergenerierten 3D-Skeletten. Das System lernt zuerst die Regeln, „wie Menschen sich bewegen", in dieser fiktiven Welt.
Die Brücke (Domain Adaptation): Sobald das System im fiktiven Spiel gut ist, verlagern sie es auf das echte Basketballspiel. Aber das echte Spiel sieht anders aus (andere Beleuchtung, andere Menschen). Um diese Lücke ohne menschlichen Lehrer zu überbrücken, nutzt das System Selbstkorrektur:
1. Der „Vertrauensmesser" (Entropie): Das System schätzt die Pose. Wenn es sehr unsicher ist (hohe „Entropie" oder Verwirrung), ignoriert es diese Schätzung. Wenn es sehr zuversichtlich ist, behandelt es diese Schätzung als „Pseudo-Label" (eine vorläufige Wahrheit), um sich selbst zu unterrichten.
2. Der „Anatomie-Check" (Human Prior): Das System hat ein integriertes Regelbuch der menschlichen Anatomie. Es weiß zum Beispiel, dass sich Ihre Beine nicht wie bei einer Spinne nach hinten biegen können und dass Ihr linker und rechter Arm ungefähr die gleiche Länge haben sollten. Wenn das System eine Pose vorhersagt, die diese Regeln bricht, erhält es eine „Strafe" und lernt, sie zu korrigieren.

4. Die Ergebnisse

Die Forscher testeten dies an vier verschiedenen Datensätzen, einschließlich eines echten, herausfordernden Basketballspiels, das sie selbst filmten (der BasketBall-Datensatz).

Das Ergebnis: Durch das Mischen der Laserpunkte und der Kamerabilder konnte LiCamPose Spieler viel besser verfolgen als Systeme, die nur Kameras oder nur Laser verwendeten.
Der „Ohne-Label"-Erfolg: Selbst ohne menschliche Lehrer, die das echte Basketballspiel markierten, lernte das System effektiv, indem es seinen „Vertrauensmesser" und seinen „Anatomie-Check" nutzte, um seine eigenen Fehler zu bereinigen.

Zusammenfassung

LiCamPose ist wie das Geben einer Brille an einen Computer, die sowohl das „Gemälde" (das Kamerabild) als auch den „Drahtgitter-Rahmen" (die Laserpunkte) gleichzeitig sehen kann. Es lernt, indem es zuerst in einem Videospiel übt, und zieht dann in die reale Welt, wo es wie ein selbstkorrigierender Schüler agiert: Es vertraut seinen eigenen Schätzungen nur dann, wenn es sich zuversichtlich fühlt, und überprüft ständig seine Arbeit gegen die grundlegenden Regeln der menschlichen Anatomie, um sicherzustellen, dass es nichts Unmögliches tut.

Technische Zusammenfassung: LiCamPose

Problemstellung

Während bildbasierte Mehransichtsverfahren unter einfachen Bedingungen zufriedenstellende Leistungen bei der Schätzung von 3D-Menschlichen Posen erzielen, besteht eine signifikante Lücke in Ansätzen, die 3D-Menschenskelette aus multimodalen Eingaben extrahieren, insbesondere durch die Kombination von RGB-Bildern und spärlichen LiDAR-Punktwolken-Daten. Praktische Szenarien stellen Herausforderungen wie diverse menschliche Bewegungen, starke Verdeckungen und große Szenenmaße dar, die bestehende öffentliche Datensätze oft nicht erfassen können. Darüber hinaus ist die manuelle Annotation von 3D-Posen für mehrere Personen in großen, komplexen Szenen zeitaufwendig und schwierig, was das Training robuster Modelle ohne reliance auf umfangreiche gelabelte Daten behindert.

Methodik

Die Autoren schlagen LiCamPose vor, eine Pipeline, die darauf ausgelegt ist, robuste 3D-Menschliche Posen aus Einzelzeitstempel-Mehransichts-LiDAR- und RGB-Eingaben zu schätzen. Die Methodik ist um drei Kernkomponenten strukturiert:

1. Volumetrische Multimodale Fusion

LiCamPose verfolgt einen Top-Down-Ansatz. Zunächst werden mit PointPillars 3D-umgrenzende Boxen für Personen detektiert. Für jede erkannte Person definiert das System einen volumetrischen Raum, der auf dem Schwerpunkt der Punktwolke zentriert ist.

Punktwolken-Verarbeitung: Die spärliche Punktwolke wird in ein Voxelgitter ( $X \times Y \times Z$ ) diskretisiert, wobei Voxeln, die Punkte enthalten, einen Wert von 1 zugewiesen bekommen. Ein V2V-Net extrahiert punktwolkenbezogene Merkmale ( $f_p$ ).
RGB-Verarbeitung: 2D-Pose-Wärmebilder werden aus RGB-Bildern mehrerer Ansichten mit Hilfe von handelsüblichen Detektoren generiert. Diese Wärmebilder werden in denselben volumetrischen Raum zurückprojiziert, und ein V2V-Net extrahiert RGB-bezogene Merkmale ( $f_c$ ).
Fusion: Die Merkmale beider Modalitäten werden im 3D-Merkmalsraum konkateniert und von einem Fusion-Net verarbeitet, um ein finales 3D-Menschliche-Pose-Wärmebild zu erzeugen. Gelenkkkoordinaten werden mittels Soft-argmax abgeleitet, um Quantisierungsfehler zu minimieren.

2. Synthetische Datengenerierung (SyncHuman)

Um die Knappheit an annotierten Mehransichts-LiDAR-RGB-Datensätzen zu adressieren, entwickelten die Autoren SyncHuman, einen synthetischen Datensatz-Generator auf Basis der Unity-Engine.

Sensorsimulation: Es werden RGB-Kameras und LiDAR-Scanner simuliert (insbesondere nachahmend die Scanmuster von Livox Mid-40 und Mid-100), um farbige Punktwolken und Tiefenkarten zu erzeugen.
Avatar-Animation: Avatare werden durch Aktionsdateien oder Keypoint-Annotationen aus öffentlichen Motion-Capture-Datensätzen (z. B. AMASS) gesteuert, was diverse und komplexe menschliche Aktionen sicherstellt.
Ground Truth: Das System liefert genaue 3D-Pose-Ground-Truth, 2D-Pose-Labels und semantische Segmentierung für Punktwolken.

3. Unüberwachte Domänenanpassung

Um das Modell ohne manuelle 3D-Annotationen von synthetischen Daten auf reale Szenarien zu übertragen, schlagen die Autoren eine Strategie zur unüberwachten Domänenanpassung vor, die eine zusammengesetzte Verlustfunktion nutzt:

Pseudo-2D-Supervision: Handelsübliche 2D-Pose-Schätzer generieren Pseudo-2D-Labels, und ein $L_{2D}$ -Verlust richtet die projizierten 3D-Posen an diesen Labels aus.
Entropie-gesteuerte Pseudo-3D-Supervision: Das System berechnet die Informationsentropie der vorhergesagten 3D-Gelenk-Wärmebilder. Hohe Entropie zeigt Unsicherheit an. Die Autoren filtern Vorhersagen und wählen nur diejenigen mit einer Entropie unterhalb eines Schwellenwerts ( $\lambda$ ) aus, um als zuverlässige Pseudo-3D-Labels ( $L_{3D}$ ) für die nächste Trainingsperiode zu dienen.
Menschlicher Prior-Verlust: Um anatomische Plausibilität sicherzustellen, wird ein Prior-Verlust ( $L_{prior}$ ) eingeführt, der unplausible Knochenlängen, asymmetrische Gliedmaßenlängen und unvernünftige Gelenkwinkel (insbesondere Nase-Hals-Mitte-Hüfte und Hüfte-Knie-Knöchel-Winkel) bestraft.

Hauptbeiträge

LiCamPose-Pipeline: Ein neuartiges Framework, das Mehransichts-spärliche Punktwolken und RGB-Informationen innerhalb eines volumetrischen Raums fusioniert, um 3D-Posen mehrerer Personen aus einem Einzelzeitstempel zu schätzen.
SyncHuman-Generator: Ein Werkzeug zur synthetischen Datengenerierung, das in der Lage ist, diverse multimodale Daten mit genauer 3D-Pose-Ground-Truth unter verschiedenen Sensor-Konfigurationen zu produzieren, sowie die Erstellung des BasketBall-Datensatzes (ein realer, vieransichtiger LiDAR-Kamera-Datensatz eines Basketballspiels).
Unüberwachtes Trainingsverfahren: Eine Methode, die manuelle 3D-Annotationen vermeidet, indem sie auf synthetischen Daten vortrainiert und unter Verwendung von entropie-gesteuerten Pseudo-Labels und menschlichen Prior-Beschränkungen an reale Daten angepasst wird.

Experimentelle Ergebnisse

Die Methode wurde auf vier Datensätzen evaluiert: CMU Panoptic Studio, MVOR, dem selbst gesammelten BasketBall-Datensatz und dem synthetischen BasketBallSync.

Leistung: LiCamPose übertraf bestehende überwachte Methoden (wie VoxelPose und PlaneSweepPose) in Bezug auf den Mean Per-Joint Position Error (MPJPE) und den Procrustes Aligned MPJPE (PA-MPJPE), insbesondere in großflächigen Szenarien wie BasketBallSync.
Unüberwachte Fähigkeit: Die unüberwachte Version von LiCamPose zeigte eine starke Generalisierung und übertraf sogar einige überwachte Mehransichts-nur-RGB-Methoden auf dem Panoptic-Datensatz.
Modalitätsanalyse: Experimente bestätigten, dass zwar spärliche Punktwolken allein für eine genaue Skelettextraktion unzureichend sind, ihre Fusion mit RGB-Daten die Robustheit gegenüber Verdeckungen und Fehlern bei der 2D-Pose-Schätzung jedoch erheblich verbessert.
Ablationsstudien: Die Studie validierte, dass die Ausrichtung der synthetischen Sensoreinstellungen auf den Ziel-Datensatz die Transferleistung verbessert. Ferner bestätigte die Ablation der Verlustfunktionen, dass sowohl die entropie-gesteuerte 3D-Supervision als auch die menschlichen Prior-Verluste für die Leistung entscheidend sind.
Entropie-Analyse: Die Autoren beobachteten eine Korrelation zwischen Entropiewerten und der Rationalität der Pose, was zeigt, dass Entropie effektiv als Vertrauensmetrik zur Filterung unzuverlässiger Vorhersagen dienen kann.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LiCamPose für robuste 3D-Menschliche-Pose-Schätzung in komplexen, realen Szenarien eine „große Generalisierungsleistung und signifikantes Anwendungspotenzial" aufweist. Durch die Integration von LiDAR- und RGB-Daten nutzt die Methode das komplementäre Wesen präziser Langstrecken-Tiefenmessungen und hochauflösender Texturen, wodurch die Auswirkungen von Verdeckungen gemildert werden, die Methoden mit nur einer Ansicht oder nur RGB beeinträchtigen.

Die Autoren betonen, dass ihr Ansatz die Abhängigkeit von kostspieligen manuellen 3D-Annotationen durch den Einsatz von synthetischem Vortraining und unüberwachter Domänenanpassung reduziert. Sie heben den praktischen Nutzen ihres Systems in Szenarien wie Sportanalysen (demonstriert über den BasketBall-Datensatz) und Überwachung hervor, wo minimale Sensoraufbauten vorteilhaft sind. Die Arbeit schließt, dass die volumetrische Architektur die geometrischen Merkmale beider Modalitäten effektiv erhält und eine genaue 3D-Pose-Schätzung aus einem Einzelzeitstempel ermöglicht.