Technische Samenvatting: MoPO – Integratie van Bewegingsprior voor Herstel van Verborgen Menselijk Mesh

1. Probleemstelling

Het herstellen van 3D-mensenmeshes uit monoscopische video is een kritieke taak voor toepassingen in animatie, virtual reality en robotica. Hoewel recente vooruitgang de prestaties op standaard benchmarks heeft verbeterd, kampen bestaande methoden met aanzienlijke problemen bij occlusies (zelfocclusie, object-persoon en persoon-persoon).
Huidige state-of-the-art (SOTA) methoden voor occlusie-gevoelig Herstel van Menselijk Mesh (HMR) staan voor twee hoofduitdagingen:

1. Onnauwkeurige Poses onder Zware Occlusie: Het uitsluitend vertrouwen op onvoldoende ruimtelijke kenmerken van zichtbare lichaamsdelen leidt tot onnauwkeurige en onnatuurlijke pose-schattingen. Bestaande methoden zijn vaak afhankelijk van 2D-bewijs (maskers, sleutelpunten) of impliciete priors uit diffusiemodellen, die falen bij ernstige occlusie.
2. Temporele Inconsistentie en Bewegingsjitter: Bij toepassing op video resulteert schatting per frame zonder robuuste temporele modellering in ernstige bewegingsjitter. Bestaande videobased methoden missen vaak het vermogen om langetermijnafhankelijkheden te modelleren of effectief te redeneren over verborgen gewrichten, wat leidt tot onstabiele output.

De kernhypothese van dit werk is dat pose-sequenties inherent betrouwbare bewegingspriors bevatten voor het schatten van verborgen lichaamsdelen, die robuuster zijn dan het uitsluitend vertrouwen op onvoldoende beeldkenmerken of algemene scène-priors.

2. Methodologie: MoPO Framework

De voorgestelde methode, MoPO (Motion Prior for Occluded human mesh recovery), is een modelgebaseerde aanpak die bewegingsvoorspelling integreert in de HMR-pijplijn. Het werkt in twee hoofdstadia:

A. Bewegings-Deocclusie Module

Dit stadium beoogt een volledige 3D-gewrichtssequentie te reconstrueren door verborgen gewrichten te voorspellen op basis van historische beweging.

• Ruimtelijk-Temporele Occlusiedetector: In tegenstelling tot methoden die uitsluitend vertrouwen op het vertrouwen van het huidige frame, berekent MoPO een gewogen som van betrouwbaarheidsscores van het huidige en vorige frames. Het gebruikt verder een RNN om betrouwbaarheidsverschuivingen te schatten op basis van historische trends, waarbij gewrichten worden gegroepeerd in zichtbare ($V$) en verborgen ($OccJ$) sets. Dit zorgt voor temporeel consistente occlusiedetectie.
• Aanvulling van Verborgen Delen: Voor gedetecteerde verborgen gewrichten wordt een lichtgewicht MLP-gebaseerde bewegingsvoorspeller ingezet.
  • Een lifting-netwerk schat eerst 3D-poses ($P^{3D}$) op basis van 2D-detecties.
  • De voorspeller gebruikt een Discrete Cosine Transform (DCT) om pose-sequenties om te zetten naar het frequentiedomein.
  • Een MLP-Mixer-netwerk verwerkt de ruimtelijk-temporele informatie in het frequentiedomein om toekomstige poses te voorspellen.
  • Een Inverse DCT (IDCT) zet de voorspellingen terug om naar 3D-posities.
  • Het systeem vervangt iteratief verborgen gewrichten in het huidige frame door voorspelde gewrichten uit de geschiedenis, waardoor een voltooide pose-sequentie ($P^{3D}_{com}$) wordt gegenereerd.

B. Bewegingsbewuste Fusie en Verfijning Module

Dit stadium integreert de voltooide bewegingsprior met visuele data om de uiteindelijke SMPL-parameters te schatten.

• Occlusie-verlichte Fusie: De voltooide pose-sequentie wordt gecodeerd tot een bewegingscontext ($C_M$) met behulp van een RNN. Deze context wordt gefuseerd met beeldkenmerken (geëxtraheerd via een ViT-ruggengraat) met behulp van Multi-Head Cross-Attention (MCA). De bewegingscontext fungeert als query, terwijl beeldkenmerken dienen als keys en values, waardoor het netwerk mensrelevante kenmerken (vorm en initiële pose) kan extraheren, geleid door betrouwbare bewegingspriors.
• Bewegingsbewuste Verfijning: Om de moeilijkheid aan te pakken om SMPL 6D-rotatieparameters direct te regresseren uit gefuseerde kenmerken, hanteert de methode principes van Inverse Kinematica (IK):
  • De SMPL-pose wordt ontleed in swing (rotatie tussen naburige gewrichten, afleidbaar uit gewrichtsposities) en twist (rotatie langs de botas, niet afleidbaar uit gewrichten).
  • De swing wordt direct berekend uit de voltooide gewrichtssequentie ($P^{3D}_{com}$), terwijl de twist wordt geregresserd uit de gefuseerde kenmerken.
  • Deze componenten worden gecombineerd om de initiële pose ($\theta_{init}$) te verfijnen tot een uiteindelijke verfijnde pose ($\theta_{refined}$), die vervolgens wordt ingevoerd in een vooringestelde SMPL-regressor om het definitieve mesh te genereren.

3. Belangrijkste Bijdragen

1. Expliciete Bewegings-Deocclusie: MoPO is de eerste die bewegingscomplement-gebaseerde deocclusie voor HMR introduceert. Het vult expliciet verborgen gewrichten aan op basis van eerdere sequenties, waardoor een occlusievrije bewegingsprior wordt geboden die betrouwbaarder is dan impliciete priors uit algemene diffusiemodellen.
2. Bewegingsbewuste Fusie en Verfijning: Het framework integreert voltooide poses met beeldkenmerken via cross-attention en verfijnt SMPL-parameters met behulp van een swing-twist decompositiestrategie. Dit benut effectief bewegingspriors om de ambiguïteit van het regresseren van rotaties onder occlusie te overwinnen.
3. State-of-the-art Prestaties: De methode bereikt superieure resultaten op zowel occlusiespecifieke als standaard benchmarks, met een aanzienlijke vermindering van foutmetrieken (MPJPE en MPVPE) in vergelijking met bestaande SOTA-methoden.

4. Experimentele Resultaten

De auteurs hebben MoPO geëvalueerd op verschillende benchmarks, waaronder 3DPW-OC, 3DPW-PC, 3DOH, 3DPW-Crowd, CMU-Panoptic en de standaard 3DPW.

• Occlusiespecifieke Benchmarks:
  • Op 3DPW-OC (object-persoon occlusie) verlaagde MoPO de MPJPE met 8,5% (van 70,9mm naar 64,9mm) en de MPVPE met 12,0% (van 88,0mm naar 77,4mm) in vergelijking met de vorige SOTA (DPMesh).
  • Op 3DPW-PC (persoon-persoon occlusie) behaalde MoPO 76,0mm MPJPE, waarmee het eerdere methoden overtrof.
  • Op CMU-Panoptic (meerpersoonsscènes) toonde MoPO superieure robuustheid, met een gemiddelde verbetering van 2,0mm ten opzichte van DPMesh.
• Standaard Benchmarks:
  • Op de standaard 3DPW-dataset behaalde MoPO 60,6mm MPJPE, 37,1mm PA-MPJPE en 71,2mm MPVPE. Dit vertegenwoordigt een 10,2% vermindering in MPJPE in vergelijking met MEGA (67,5mm), wat aantoont dat de bewegingsprior ook in minder geoccludeerde scenario's voordelen biedt.
• Efficiëntie: MoPO gebruikt aanzienlijk minder parameters (85,0M) en FLOPs (1,48G) in vergelijking met DPMesh (2607,4M parameters, 168,51G FLOPs), dat afhankelijk is van een zwaar vooringesteld diffusiemodel.
• Kwalitatieve Analyse: Visualisaties bevestigen dat MoPO nauwkeurigere en temporeel consistente meshes produceert onder zware occlusies, met aanzienlijk lagere acceleratiefouten (wat minder bewegingsjitter aangeeft) in vergelijking met concurrenten.

5. Betekenis en Claims

Het artikel stelt dat MoPO de fundamenteel slecht gestelde aard van occlusie-gevoelig HMR aanpakt door de afhankelijkheid te verschuiven van onvoldoende ruimtelijke beeldkenmerken naar betrouwbare bewegingspriors afgeleid van temporele sequenties.

• Robuustheid: Door expliciet verborgen gewrichten aan te vullen, mitigeert de methode de "onnatuurlijke poses" en "ernstige bewegingsjitter" die bestaande videobased HMR-methoden plagen.
• Generalisatie: De methode toont sterke generalisatie op "in-the-wild" internetvideo's en diverse real-world scenario's, wat suggereert dat de expliciete bewegingsprior een stabieler fundament voor HMR is dan impliciete scène-priors.
• Efficiëntie: Het lichtgewicht ontwerp (MLP-Mixer gebaseerde voorspeller) biedt een computerefficiënt alternatief voor op diffusie gebaseerde benaderingen, terwijl het hogere nauwkeurigheid bereikt.

De auteurs concluderen dat het benutten van menselijke bewegingsprior een kritieke richting is voor toekomstig onderzoek in het herstellen van verborgen menselijke meshes, en een betrouwbaardere oplossing biedt voor complexe, real-world scenario's.