💻 computer science

LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation

Dit artikel introduceert LiCamPose, een robuuste pijplijn voor het schatten van de 3D-houding van mensen op één tijdstip, die multi-view RGB- en sparse LiDAR-gegevens fuseert met behulp van een volumetrische architectuur, en gebruikmaakt van een synthetische datasetgenerator en onbeheerde domeinadaptatie om sterke generalisatie te bereiken over diverse scenario's zonder handmatige 3D-annotaties.

Oorspronkelijke auteurs: Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert precies uit te rekenen hoe een basketbalspeler zijn lichaam in de 3D-ruimte beweegt. Als je maar één camera hebt, is het alsof je probeert de vorm van een wolk te raden door naar één enkele schaduw te kijken; je kunt het mis hebben als de speler zich achter iemand verbergt of als het hoekje lastig is. Als je meerdere camera's hebt, is het beter, maar als de speler donkere kleding draagt of de verlichting slecht is, kunnen de camera's nog steeds in de war raken.

Dit artikel introduceert LiCamPose, een nieuw "super-zintuig"-systeem dat twee verschillende soorten ogen combineert om dit probleem op te lossen: RGB-camera's (die kleuren en texturen zien, net als onze ogen) en LiDAR-sensoren (die onzichtbare laserstralen afschieten om afstand te meten, net als een vleermuis die gebruikmaakt van echolocatie).

Hieronder volgt een uiteenzetting van hoe het werkt, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: Het Dilemma van de "Blind Vlek"

Bestaande methoden vertrouwen vaak alleen op camera's. Maar in een drukke, snelle wedstrijd zoals basketbal blokkeren spelers elkaar (occlusie), en camera's kunnen diepte niet goed zien. Andere methoden gebruiken LiDAR, maar LiDAR-gegevens zijn vaak "spaarsaam" (sparse) – denk eraan als een 3D-schets met lage resolutie die slechts uit een paar punten bestaat. Het is geweldig om te weten waar iets is, maar moeilijk om precies te zeggen hoe een gewricht gebogen is, alleen op basis van een paar punten.

2. De Oplossing: De "Volumetrische Soep"

LiCamPose kijkt niet alleen naar het camera-beeld of de laserpunten apart. Het mengt ze samen in een 3D-rooster, wat de auteurs een "volumetrische ruimte" noemen.

De Analogie: Stel je een gigantische, onzichtbare kubus van Jell-O voor die in de lucht rond de speler zweeft.
- De Camera's projecteren hun 2D-foto's in deze Jell-O, en schilderen de "huid" en "kleding" op de binnenkant van de kubus.
- De LiDAR schiet zijn laserpunten in de Jell-O, en markeert de exacte fysieke "botten" en randen.
- Het systeem bekijkt vervolgens de hele kubus tegelijk. Zelfs als de camera de elleboog van de speler niet kan zien omdat die verborgen is, zijn de LiDAR-punten misschien nog steeds daar. Zelfs als de LiDAR-punten te spaarsaam zijn om de kromming van de arm te zien, vult het camera-beeld de textuur aan. Door ze te combineren in deze 3D-"soep", krijgt het systeem een veel duidelijker beeld van de houding.

3. De Uitdaging bij het Trainen: Leren zonder een Leraar

Normaal gesproken heb je, om een computer te leren houdingen te herkennen, een menselijke leraar nodig die lijnen tekent op duizenden video's met de opmerking: "Dit is een knie, dit is een elleboog." Dit doen voor 3D-gegevens in een echte basketbalwedstrijd is ongelooflijk moeilijk, duur en traag.

De Truc van LiCamPose:
In plaats van een menselijke leraar voor de echte wedstrijd te gebruiken, maakten ze gebruik van een Videospel-simulator (genaamd SyncHuman).

De Analogie: Denk eraan als een piloot die traint in een vluchtsimulator. De simulator creëert duizenden nep-basketbalwedstrijden met perfecte, computergegenereerde 3D-skeletten. Het systeem leert eerst de regels van "hoe mensen bewegen" in deze nepwereld.
De Brug (Domeinadaptatie): Zodra het systeem goed is in het nep-spel, verplaatsen ze het naar de echte basketbalwedstrijd. Maar de echte wedstrijd ziet er anders uit (andere verlichting, andere mensen). Om deze kloof te overbruggen zonder een menselijke leraar, gebruikt het systeem Zelfcorrectie:
1. De "Vertrouwensmeter" (Entropie): Het systeem gokt de houding. Als het erg onzeker is (hoge "entropie" of verwarring), negeert het die gok. Als het erg zeker is, behandelt het die gok als een "pseudo-label" (een tijdelijke waarheid) om zichzelf te leren.
2. De "Anatomiecontrole" (Menselijke Prior): Het systeem heeft een ingebouwd regelboek van menselijke anatomie. Het weet bijvoorbeeld dat je benen niet naar achteren kunnen buigen als een spin, en dat je linker- en rechterarm ongeveer even lang moeten zijn. Als het systeem een houding voorspelt die deze regels schendt, krijgt het een "straf" en leert het het te corrigeren.

4. De Resultaten

De onderzoekers testten dit op vier verschillende datasets, waaronder een echte, uitdagende basketbalwedstrijd die ze zelf filmden (de BasketBall-dataset).

Het Resultaat: Door de laserpunten en de camera-foto's te mengen, kon LiCamPose spelers veel beter volgen dan systemen die alleen camera's of alleen lasers gebruikten.
De "Zonder-Label"-Winst: Zelfs zonder menselijke leraren die de echte basketbalwedstrijd labelden, leerde het systeem effectief door zijn "vertrouwensmeter" en "anatomiecontrole" te gebruiken om zijn eigen fouten op te ruimen.

Samenvatting

LiCamPose is alsof je een computer een bril geeft die tegelijkertijd zowel het "schilderij" (het camera-beeld) als het "draadframe" (de laserpunten) kan zien. Het leert door eerst in een videospel te oefenen, en verplaatst zich dan naar de echte wereld waar het fungeert als een zelfcorrigerende student: het vertrouwt alleen op zijn eigen gokken als het zich zeker voelt, en het controleert voortdurend zijn werk tegen de basisregels van menselijke anatomie om ervoor te zorgen dat het niets onmogelijks doet.

Technische Samenvatting: LiCamPose

Probleemstelling

Hoewel methoden op basis van meervoudige beelden bevredigende prestaties hebben geleverd bij schatting van 3D-houdingen van mensen onder eenvoudige omstandigheden, bestaat er een aanzienlijke kloof in benaderingen die 3D-menselijke skeletten extraheren uit multimodale invoer, specifiek door RGB-afbeeldingen en sparse LiDAR-puntenwolkdata te combineren. Praktische scenario's brengen uitdagingen met zich mee zoals diverse menselijke bewegingen, ernstige occlusies en grote schaal van scènes die bestaande openbare datasets vaak niet weten vast te leggen. Bovendien is het handmatig annoteren van 3D-houdingen voor meerdere personen in grote, complexe scènes tijdrovend en moeilijk, wat de training van robuuste modellen belemmert zonder te vertrouwen op uitgebreide gelabelde data.

Methodologie

De auteurs stellen LiCamPose voor, een pijplijn ontworpen om robuuste 3D-houdingen van mensen te schatten op basis van invoer van LiDAR en RGB met één tijdstempel en vanuit meerdere gezichtspunten. De methodologie is gestructureerd rond drie kerncomponenten:

1. Volumetrische Multimodale Fusie

LiCamPose hanteert een top-down-benadering. Eerst gebruikt het PointPillars om 3D-bounding boxes voor individuen te detecteren. Voor elke gedetecteerde persoon definieert het systeem een volumetrische ruimte gecentreerd rond het zwaartepunt van de puntenwolk.

Verwerking van Puntenwolk: De sparse puntenwolk wordt gediskretiseerd in een voxelrooster ( $X \times Y \times Z$ ), waarbij voxels die punten bevatten een waarde van 1 krijgen. Een V2V-Net extrahert puntenwolk-gerelateerde kenmerken ( $f_p$ ).
Verwerking van RGB: 2D-houdingswarmtekaarten worden gegenereerd vanuit RGB-afbeeldingen van meerdere gezichtspunten met behulp van kant-en-klare detectoren. Deze warmtekaarten worden teruggeprojecteerd in dezelfde volumetrische ruimte, en V2V-Net extrahert RGB-gerelateerde kenmerken ( $f_c$ ).
Fusie: De kenmerken van beide modaliteiten worden samengevoegd in de 3D-kenmerkenruimte en verwerkt door een Fusion-Net om een definitieve 3D-houdingswarmtekaart van mensen te genereren. Joint-coördinaten worden afgeleid met Soft-argmax om kwantisatiefouten te minimaliseren.

2. Synthetische Datageneratie (SyncHuman)

Om de schaarste aan geannoteerde meervoudige LiDAR-RGB-datasets aan te pakken, hebben de auteurs SyncHuman ontwikkeld, een synthetische datasetgenerator gebaseerd op de Unity Engine.

Sensorsimulatie: Het simuleert RGB-camera's en LiDAR-scanners (specifiek imiterend de scanpatronen van Livox Mid-40 en Mid-100) om gekleurde puntenwolken en dieptekaarten te genereren.
Avataranimatie: Avatars worden aangestuurd door actiebestanden of keypoint-annotaties uit openbare motion capture-datasets (bijv. AMASS), waardoor diverse en complexe menselijke acties worden gegarandeerd.
Ground Truth: Het systeem levert nauwkeurige 3D-houdingsground truth, 2D-houdingslabels en semantische segmentatie voor puntenwolken.

3. Ongesuperviseerde Domeinadaptatie

Om het model zonder handmatige 3D-annotaties van synthetische data naar real-world scenario's te transfereren, stellen de auteurs een ongesuperviseerde domeinadaptatiestrategie voor die gebruikmaakt van een samengestelde verliesfunctie:

Pseudo 2D-supervisie: Kant-en-klare 2D-houdingsschattingen genereren pseudo 2D-labels, en een $L_{2D}$ -verlies brengt de geprojecteerde 3D-houdingen in lijn met deze labels.
Entropie-gestuurde Pseudo 3D-supervisie: Het systeem berekent de informatie-entropie van de voorspelde 3D-joint-warmtekaarten. Hoge entropie duidt op onzekerheid. De auteurs filteren voorspellingen en selecteren alleen die met entropie onder een drempelwaarde ( $\lambda$ ) om te dienen als betrouwbare pseudo 3D-labels ( $L_{3D}$ ) voor de volgende trainingsepoch.
Menselijke Prior-verlies: Om anatomische plausibiliteit te waarborgen, wordt een prior-verlies ( $L_{prior}$ ) geïntroduceerd dat onwaarschijnlijke botlengtes, asymmetrische ledemaatlengtes en onredelijke joint-hoeken straft (specifiek neus-hals-middenheup en heup-knie-enkel hoeken).

Belangrijkste Bijdragen

LiCamPose-pijplijn: Een nieuw kader dat meervoudige sparse puntenwolken en RGB-informatie binnen een volumetrische ruimte fuseert om 3D-houdingen van meerdere personen te schatten op basis van één tijdstempel.
SyncHuman-generator: Een tool voor synthetische datageneratie die in staat is diverse multimodale data te produceren met nauwkeurige 3D-houdingsground truth onder verschillende sensorconfiguraties, naast de creatie van het BasketBall-dataset (een real-world, vier-kijk LiDAR-Camera-dataset van een basketbalwedstrijd).
Ongesuperviseerde trainingsstrategie: Een methode die handmatige 3D-annotaties vermijdt door voortraining op synthetische data en adaptatie aan real-world data met behulp van entropie-gestuurde pseudo-labels en menselijke prior-beperkingen.

Experimentele Resultaten

De methode werd geëvalueerd op vier datasets: CMU Panoptic Studio, MVOR, het zelfverzamelde BasketBall-dataset en het synthetische BasketBallSync.

Prestaties: LiCamPose presteerde beter dan bestaande gesuperviseerde methoden (zoals VoxelPose en PlaneSweepPose) wat betreft Mean Per-Joint Position Error (MPJPE) en Procrustes Aligned MPJPE (PA-MPJPE), met name in grote-scène instellingen zoals BasketBallSync.
Ongesuperviseerde capaciteit: De ongesuperviseerde versie van LiCamPose toonde sterke generalisatie, en presteerde zelfs beter dan sommige gesuperviseerde meervoudige RGB-only methoden op het Panoptic-dataset.
Modaaliteitsanalyse: Experimenten bevestigden dat hoewel sparse puntenwolken alleen ontoereikend zijn voor nauwkeurige skeletextractie, het fuseren ervan met RGB-data de robuustheid tegen occlusies en fouten in 2D-houdingsschatting aanzienlijk verbetert.
Ablatiestudies: De studie valideerde dat het afstemmen van synthetische sensorinstellingen op het doeldataset de transferprestaties verbetert. Bovendien bevestigde de ablatie van verliesfuncties dat zowel entropie-gestuurde 3D-supervisie als menselijke prior-verliezen kritiek zijn voor de prestaties.
Entropie-analyse: De auteurs observeerden een correlatie tussen entropiewaarden en houdingsrationaliteit, wat aantoont dat entropie effectief kan dienen als een betrouwbaarheidsmetriek voor het filteren van onbetrouwbare voorspellingen.

Betekenis en Beweringen

Het artikel beweert dat LiCamPose "grote generalisatieprestaties en aanzienlijk toepassingspotentieel" vertoont voor robuuste 3D-houdingsschatting van mensen in complexe, real-world scenario's. Door LiDAR- en RGB-data te integreren, maakt de methode gebruik van het complementaire karakter van precieze dieptemetingen op lange afstand en hoge-resolutietextuur, waardoor de impact van occlusies die methoden met één gezichtspunt of alleen RGB teisteren, wordt verzacht.

De auteurs benadrukken dat hun benadering de afhankelijkheid van kostbare handmatige 3D-annotaties vermindert door het gebruik van synthetische voortraining en ongesuperviseerde domeinadaptatie. Ze wijzen op de praktische bruikbaarheid van hun systeem in scenario's zoals sportanalyse (gedemonstreerd via het BasketBall-dataset) en surveillance, waar minimale sensoropstellingen voordelig zijn. Het artikel concludeert dat de volumetrische architectuur effectief de geometrische kenmerken van beide modaliteiten behoudt, waardoor nauwkeurige 3D-houdingsschatting op één tijdstempel mogelijk wordt.