Unsupervised 3D Human Pose Estimation via Conditional Multi-view Ancestral Sampling

Technische Samenvatting: Onbewaakte 3D Menselijke Pose-schatting via Conditionele Multi-view Ancestral Sampling

Probleemstelling
3D menselijke pose-schatting is cruciaal voor computerzichttoepassingen, maar staat voor aanzienlijke uitdagingen door de schaarste en domeinspecificiteit van 3D geannoteerde datasets (bijvoorbeeld Human3.6M). Hoewel bewaakte methoden hoge nauwkeurigheid bereiken binnen hun trainingsdomeinen, lijden ze aan ernstige prestatiedegradering in out-of-domain (OOD) scenario's, zoals extreme houdingen die voorkomen in Yoga-datasets. Onbewaakte of zelfbewaakte lift-methoden proberen de behoefte aan 3D grondwahrheid te omzeilen door gebruik te maken van overvloedige 2D-data; echter, bestaande benaderingen garanderen vaak geen anatomische correctheid of worstelen met diepteambiguïteit, wat leidt tot onnauwkeurige schattingen in complexe scenario's. Bovendien hebben recente op diffusie gebaseerde bewegingssynthesemethoden (Motion Diffusion Models of MDM's) veelbelovend getoond, maar worden deze doorgaans getraind op 3D-data of gebruikt voor onvoorwaardelijke generatie, zonder een mechanisme om generatie te conditioneren op specifieke waargenomen 2D-posen.

Methodologie
De auteurs stellen een methode voor om 3D menselijke poses te schatten vanuit een enkel zicht zonder 3D-supervisie, door gebruik te maken van de 2D-diffusie-priors van voorgetrainde Motion Diffusion Models (MDM's). De kern van de aanpak is Conditionele Multi-view Ancestral Sampling (cMAS), een uitbreiding van het Multi-view Ancestral Sampling (MAS)-kader.

1. Overzicht Kader: De methode behandelt 2D-3D lift als een optimalisatieprobleem binnen de ruïderuimte van een voorgetrainde 2D MDM. In plaats van willekeurige bewegingen te genereren, optimaliseert cMAS een 3D-pose zodat zijn multi-view projecties aligneren met het manifold van de ruïderuimte van de 2D MDM, terwijl strikt wordt vastgehouden aan de invoer 2D-observatie.
2. Conditionele Ancestral Sampling: In tegenstelling tot vanilla MAS, dat willekeurige 3D-bewegingen genereert uit ruis, conditioneert cMAS het generatieproces op een gegeven 2D-pose-sequentie ($\hat{x}^{v_0}$) vanuit een referentiezicht.
   • Initialisatie: Het proces begint met het initialiseren van gedeelde 3D-ruis, die wordt geprojecteerd naar $V$ virtuele zichten (inclusief het invoerzicht $v_0$).
   • Denoisen en Triangulatie: Bij elke denoising-stap $t$ voorspelt de MDM schone 2D-bewegingen voor alle zichten. Een consistentieblok voert vervolgens triangulatie uit om een geünificeerde 3D-pose $X$ te reconstrueren.
   • Optimalisatiedoel: De 3D-pose wordt geoptimaliseerd om een verliesfunctie te minimaliseren die bestaat uit twee termen:
     • Geometrische Beperking ($L_{geometry}$): Deze term minimaliseert de reprojectiefout tussen de geschatte 3D-pose en de 2D-voorspellingen van alle zichten. Cruciaal is dat deze een hoge gewicht ($w_{v_0}$) toekent aan het invoerzicht om fideliteit te waarborgen ten opzichte van de waargenomen 2D-pose, terwijl consistentie over virtuele zichten in evenwicht wordt gebracht.
     • Anatomische Beperking ($L_{bone}$): Om fysieke plausibiliteit te waarborgen, minimaliseert de methode de temporele variantie van botlengtes over de sequentie, waarbij wordt afgedwongen dat botlengtes constant blijven.
3. Training en Data: De 2D MDM-ruggengraat is voorgetraind op enorme 2D-pose-sequenties uit community-video's (bijvoorbeeld YouTube), waardoor de behoefte aan 3D-opname-data wordt vermeden. Het model wordt fijngetuned op complexe pose-datasets (Yoga, stretching, Pilates) om extreme articulaties te hanteren.

Belangrijkste Bijdragen
Het artikel presenteert twee primaire bijdragen:

1. Introductie van 2D Diffusie Priors voor 3D Schatting: De auteurs tonen aan dat voorgetrainde 2D MDM's, getraind op grootschalige 2D-videodata, kunnen dienen als krachtige priors voor 3D pose-schatting, waardoor nauwkeurige reconstructie mogelijk is zonder 3D-supervisie.
2. Voorstel van cMAS: Zij introduceren Conditionele Multi-view Ancestral Sampling, een nieuw kader dat de onvoorwaardelijke MAS-aanpak aanpast voor 2D-3D lift. cMAS integreert de invoer 2D-observatie en expliciete anatomische beperkingen (botlengte-consistentie) als conditioneringstermen, waardoor de methode geometrisch consistente en fysiek plausibele 3D-posen kan genereren.

Experimentele Resultaten
De methode werd geëvalueerd op de Yoga90-dataset, die extreme houdingen en ernstige zelfocclusies bevat, wat een uitdagend OOD-scenario vertegenwoordigt.

• Kwantitatieve Prestaties: De voorgestelde methode behaalde een Mean Per-Joint Position Error (MPJPE) van 113,370 mm, en presteerde beter dan state-of-the-art bewaakte methoden (MotionBERT: 128,930 mm, Video-to-Pose3D: 170,837 mm) en de toonaangevende onbewaakte methode (ElePose: 129,089 mm).
• Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat cMAS natuurlijker en nauwkeurigere poses produceert in gevallen van aanzienlijke zelfocclusie en ongebruikelijke gewrichtsarticulaties, waarbij bewaakte methoden falen om te generaliseren en onbewaakte baselines anatomische fouten vertonen.
• Ablatiestudies: Experimenten bevestigden dat zowel de gewogen geometrische loss (met prioriteit voor het invoerzicht) als de anatomische botlengte-beperking aanzienlijk bijdragen aan prestatieverbeteringen. De optimale configuratie gebruikte een gewicht van $4/5$ voor het invoerzicht.

Betekenis en Claims
Het artikel claimt dat cMAS succesvol de kloof overbrugt tussen data-efficiënte 2D-priors en de controleerbaarheid die vereist is voor specifieke pose-schattingstaken. Door gebruik te maken van het rijke manifold van 2D-bewegingsdiffusiemodellen, bereikt de methode superieure cross-domein generalisatie in vergelijking met zowel bewaakte als onbewaakte baselines, met name in extreme pose-scenario's waar 3D-supervisie niet beschikbaar is. Het kader benadrukt de uitbreidbaarheid van op diffusie gebaseerde benaderingen, en toont aan dat heuristische beperkingen (zoals anatomische regels) naadloos kunnen worden geïntegreerd om het syntheseproces te sturen.

Beperkingen
De auteurs erkennen dat, net als andere monocular lift-methoden, de aanpak onderhevig is aan inherente diepteambiguïteit, wat kan leiden tot reconstructiefouten bij voorovergebogen houdingen of extreme zelfocclusie. Bovendien blijft de uiteindelijke nauwkeurigheid afhankelijk van de kwaliteit van de upstream 2D-pose-schatter; fouten in de initiële 2D-detectie kunnen zich door de pijplijn voortplanten. De methode is momenteel ontworpen voor offline analyse in plaats van real-time toepassing vanwege de rekenvereisten.