Technische Samenvatting: Zero-Shot Menselijke Pooze Schatting met Diffusie-gebaseerde Inverse Oplossers

Probleemstelling

Menselijke pooze schatting heeft als doel een volledige 3D-lichaamshouding (hoofd, torso, ledematen) te reconstrueren op basis van schaarse sensordata. Hoewel recente vooruitgang met conditionele diffusiemodellen veelbelovend is gebleken voor het voorspellen van volledige lichaamshoudingen op basis van slechts drie sensoren (doorgaans hoofd en twee polsen), lijden deze methoden aan een kritieke beperking: slechte generalisatie over gebruikers met verschillende lichaamsvormen.

Bestaande benaderingen, zoals die van Castillo et al. (2023), conditioneren diffusiemodellen op zowel gewrichtslocaties als rotaties. Echter, gewrichtslocaties zijn inherent schaalafhankelijk; ze variëren aanzienlijk op basis van de botlengtes en lichaamsverhoudingen van een gebruiker. Bijgevolg faalt een model dat is getraind op de data van een specifieke gebruiker om te generaliseren naar gebruikers met andere lichaamsvormen zonder uitgebreide fijnafstemming. Het gezamenlijk trainen op meerdere lichaamsvormen (zoals geprobeerd door Aliakbarian et al., 2022) verhoogt de modelcomplexiteit en biedt geen garantie voor het dekken van alle mogelijke lichaamsvariaties. Er is behoefte aan een algoritme dat kan generaliseren naar uitschieters in lichaamsvorm zonder gepersonaliseerde trainingsdata te vereisen.

Methodologie: InPose

De auteurs stellen InPose voor, een diffusie-gebaseerde methode die pooze schatting formuleert als een invers probleem om zero-shot generalisatie te bereiken. Het kerninzicht bestaat uit het ontleden van de menselijke pooze in twee componenten:

1. Schaalvrije pooze: Gedefinieerd door gewrichtsrotaties (hoeken), die onafhankelijk zijn van lichaamsgrootte.
2. Schaalafhankelijke component: Gedefinieerd door gewrichtslocaties in de 3D-ruimte, die afhankelijk zijn van botlengtes en lichaamsvorm.

1. Formulering van het Inverse Probleem

In plaats van het diffusiemodel te conditioneren op zowel locatie als rotatie (wat het model koppelt aan specifieke lichaamsvormen), conditioneert InPose de generatieve prior alleen op rotatiemetingen.

• Prior: Een Conditional Flow Matching (CFG) diffusiemodel wordt getraind om de verdeling van schaalvrije houdingen te voorspellen op basis van ruisbevattende rotatiemetingen ($r_m$) van de sensoren.
• Waarschijnlijkheid (Leiding): De gemeten gewrichtslocaties ($l_m$) worden niet gebruikt als conditionele invoer voor training, maar als een waarschijnlijkheidsterm om het inferentieproces te sturen. Deze term evalueert hoe goed een gegenereerde houding de waargenomen locaties verklaart, gegeven de specifieke botlengtes van de gebruiker.

2. Wiskundig Kader

Het doel is om te stalen uit de posterior $p(r_M | y_m)$, waarbij $r_M$ de 22 globale gewrichtsrotaties voorstelt en $y_m$ de sensormetingen zijn. Met behulp van de regel van Bayes wordt de scorefunctie ontbonden:
$$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$$

• De Prior-term ($\nabla \log p(r_M^t | r_m)$): Geleerd door een op CFG gebaseerd scoremodel dat uitsluitend is geconditioneerd op rotaties. Dit biedt een schaalvrije verdeling van plausibele houdingen.
• De Waarschijnlijkheidsterm ($\nabla \log p(l_m | r_M^t)$): Deze term fungeert als inverse kinematica-sturing. Het vereist het afbeelden van de geschatte rotaties naar locaties via een niet-lineaire operator $D(\cdot)$ (het converteren van 6D-rotatievectoren naar matrices) en een lineaire operator $A$ (forward kinematica).

3. Omgaan met Non-lineariteit via Pseudoinverse-sturing

Een belangrijke uitdaging is dat de waarschijnlijkheidsterm het doorgeven van een Gaussische stochastische variabele door de niet-lineaire functie $D(\cdot)$ omvat. Standaard Pseudoinverse-sturing voor Diffusiemodellen (ΠGDM) gaat uit van lineaire operatoren.

• Stelling 1: De auteurs bewijzen dat als het scoremodel specifieke eenheidsnorm- en orthogonaliteitsbeperkingen garandeert op de 6D-rotatievectoren, de verdeling van de getransformeerde rotaties $D(r_M^0)$ gegeven de ruisbevattende invoer $r_M^t$ kan worden benaderd als een Gaussische verdeling.
• Deze benadering stelt de auteurs in staat om de waarschijnlijkheidsscore analytisch te berekenen, waardoor ΠGDM kan worden gebruikt om het denoising-proces te sturen zonder dat de operator lineair hoeft te zijn.

4. Processtroom

Het inferentieproces (Algoritme 1) verfijnt de houding iteratief:

1. Genereer een conditioneel gedenoiseerde schatting $\hat{r}_M^t$ met behulp van de CFG-prior (geconditioneerd op rotaties).
2. Bereken de waarschijnlijkheidsscore met behulp van het ΠGDM-kader, waarbij de specifieke botlengtes van de gebruiker worden opgenomen om rotaties naar verwachte locaties te mappen.
3. Combineer de prior- en waarschijnlijkheidsscores met een aangepaste DDIM-sampler om de houdingsschatting voor de volgende tijdstap bij te werken.

Belangrijkste Bijdragen

1. Zero-Shot Generalisatie: Door de generatieve prior (rotaties) te ontkoppelen van de schaalafhankelijke metingen (locaties), kan InPose houdingen schatten voor gebruikers met willekeurige lichaamsvormen zonder hertraining of fijnafstemming.
2. Formulering als Inverse Oplosser: Het artikel herformuleert pooze schatting als een invers probleem waarbij een vooraf getrainde diffusie-prior wordt gestuurd door een waarschijnlijkheidsterm die is afgeleid van schaarse locatiemetingen.
3. Gaussische Benadering voor Niet-lineaire Operatoren: De auteurs leveren een theoretisch bewijs (Stelling 1) dat het doorgeven van Gaussische variabelen door de niet-lineaire 6D-naar-matrix rotatiemapping mogelijk maakt, waardoor ΠGDM toepasbaar wordt op dit specifieke inverse probleem.
4. Robuustheid: De methode toont inherente robuustheid tegen ruis in locatiemetingen, aangezien de generatieve prior een dominante rol speelt in de uiteindelijke schatting, in tegenstelling tot methoden die zwaar vertrouwen op ruisbevattende locatie-invoer.

Experimentele Resultaten

Experimenten zijn uitgevoerd op de AMASS-dataset met protocollen vergelijkbaar met de BoDiffusion-baseline.

• Schaalvergroting van Lichaamsvorm: Bij testen op gebruikers met geschaalde lichaamsvormen (bijvoorbeeld langer of korter), vertoonden baselinemodellen (AvatarJLM, BoDiffusion) significante degradatie in zowel positiefout (MPJPE) als rotatiefout (MPJRE). InPose daarentegen behield consistente prestaties over alle schalingsfactoren, wat zijn zero-shot capaciteit aantoont.
• Variërende Relatieve Lichaamsdelen: In scenario's waarbij specifieke lichaamsdelen (bijvoorbeeld armen versus torso) verschillend werden geschaald, presteerde InPose beter dan de baselines in MPJPE en Fout in Positie van Bovenlichaam (UPE), aangezien de inverse sturing correct rekening hield met de gewijzigde botlengtes.
• Ruisrobustheid: Bij toenemende Gaussische ruis in locatiemetingen bleef InPose stabiel, terwijl de baselines significant degradeerden.
• Afwegingen:
  • InPose presteert lichtjes onder de baselines op de standaard lichaamsvorm (de vorm die voor training is gebruikt), waarschijnlijk omdat de baselines een directe niet-lineaire mapping kunnen leren voor die specifieke vorm, terwijl InPose vertrouwt op een algemene benadering.
  • Schatting van Onderlichaam: Zonder translatie van het hoofd als CFG-invoer heeft InPose moeite met de schatting van de houding van het onderlichaam (hoge LPE) omdat de worteltranslatie niet direct wordt waargenomen. Het toevoegen van de hoofdpositie als CFG-invoer (InPose (head)) verbetert de schatting van het onderlichaam echter aanzienlijk en presteert beter dan alle baselines over verschillende lichaamsvormen.

Betekenis en Claims

Het artikel claimt dat InPose een weg biedt naar zero-shot houdingvoorspelling door gebruik te maken van de ontleding van houding in schaalvrije en schaalafhankelijke componenten. De betekenis ligt in het elimineren van de noodzaak voor gepersonaliseerde dataverzameling en hertraining voor elke nieuwe gebruiker, een grote knelpunt in praktische toepassingen met draagbare sensoren.

De auteurs erkennen nederig beperkingen:

• De methode presteert niet beter dan de baselines op de specifieke lichaamsvorm die voor training is gebruikt.
• De schatting van het onderlichaam is sterk afhankelijk van de prior of de opname van de hoofdpositie, omdat de worteltranslatie niet direct is opgenomen.
• Het algoritme vereist tijdens inferentie nauwkeurige kennis van de botlengtes van de gebruiker; fouten in de schatting van botlengtes kunnen de prestaties verslechteren.

Het werk suggereert dat toekomstig onderzoek zich moet richten op het verbeteren van de modellering van het onderlichaam via fysieke beperkingen en het ontwikkelen van methoden om botlengtes blind te schatten zonder expliciete kalibratie.