Improving 3D Foot Motion Reconstruction in Markerless Monocular Human Motion Capture

Deze paper introduceert FootMR, een methode die de nauwkeurigheid van 3D-voetbeweging in markerloze monoscopische menselijke bewegingsherstel verbetert door 2D-voetkeypoints te verfijnen met behulp van bestaande motion capture-data, en introduceert bovendien het MOOF-dataset voor evaluatie.

De kern

Hoe FootMR de "dansen" van je voeten in video's eindelijk goed laat zien

Stel je voor dat je een video bekijkt van een danser die prachtige sprongen maakt. De software die de bewegingen van de danser in 3D reconstrueert, ziet er over het algemeen goed uit: het lichaam buigt, de armen zwaaien, alles lijkt perfect. Maar kijk dan eens naar de voeten. Vaak lijken die alsof ze op een onzichtbare plank staan, of alsof ze door de vloer zakken. Ze bewegen niet natuurlijk, ze "glijden" of doen simpelweg niet mee aan de complexe dansstappen.

Dit is precies het probleem dat FootMR (Foot Motion Refinement) oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Slechte Leermeesters"

Tot nu toe leerden computers hoe mensen bewegen door te kijken naar bestaande video's op internet. Het probleem? De "antwoorden" (de 3D-bewegingen) die bij die video's hoorden, waren vaak fout.

• De analogie: Stel je voor dat je een kind leert te tekenen, maar je geeft het alleen maar slechte voorbeelden waar de voeten van de mensen eruitzien als stokken of blokken. Het kind leert dan dat voeten geen echte beweging hebben.
• In de computerwereld gebeurde dit omdat de software vaak alleen naar de enkels keek (een enkel puntje) en de rest van de voet vergeten werd. Daardoor wist de computer niet hoe een voet echt moet buigen, draaien of op de tenen moet staan.

2. De Oplossing: FootMR als de "Finishing Touch"

In plaats van de hele computer opnieuw te leren hoe een mens eruitziet, heeft FootMR een slimme truc bedacht. Het werkt als een specialist die alleen naar de voeten kijkt.

• Hoe het werkt: Eerst laat je de computer een ruwe schets maken van de hele beweging (zoals GVHMR, een bestaande software). Die schets is goed voor het lichaam, maar slecht voor de voeten.
• De ingreep: FootMR pakt die ruwe schets en kijkt alleen naar de 2D-voetpunten in de video (zoals de grote teen, de kleine teen en de hiel). Het gebruikt deze punten om de 3D-beweging van de enkels te "opkrikken" tot iets veel realistischer.
• De analogie: Het is alsof je een schilderij hebt waar het gezicht perfect is, maar de handen er raar uitzien. FootMR is de kunstschilder die alleen de handen overdoet om ze perfect te maken, zonder het hele schilderij opnieuw te hoeven schilderen.

3. Waarom werkt dit beter? (De "Context" en "Gloeiende Lichten")

Een van de grootste uitdagingen is dat het moeilijk is om van een platte 2D-afbeelding (een foto) naar een 3D-beweging te gaan. Het is alsof je probeert te raden hoe een handpalm eruitziet als je alleen de schaduw ziet.

FootMR lost dit op door context te gebruiken:

• De Knie als Gids: De software kijkt niet alleen naar de voet, maar ook naar de knie. Als de knie gebogen is, weet de computer dat de voet niet op een bepaalde manier kan draaien. De knie fungeert als een kompas voor de voet.
• Geen Foto's, Alleen Punten: De meeste andere software kijkt naar de hele foto (wat verwarrend kan zijn door kleding of achtergronden). FootMR kijkt alleen naar de "punten" (de keypoints) van de voet. Hierdoor kan het trainen met duizenden professionele motion-capture opnames (waar mensen in pakjes met reflecterende stippen dansen), zonder dat die stippen in de echte video's te zien hoeven te zijn.

4. De Nieuwe "Dansschool": MOOF

Om te bewijzen dat hun methode werkt, hebben de onderzoekers een nieuwe dataset gemaakt genaamd MOOF (Complex Movements Of the Feet).

• Wat is het? Een verzameling video's van mensen die specifieke, moeilijke voetbewegingen doen: cirkels met de enkels, balletstappen, en op de hielen lopen.
• Waarom? Bestaande datasets bevatten vooral mensen die wandelen of rennen. FootMR moest getest worden op de "extreme" bewegingen van dansers en atleten. En ja, FootMR slaagde hier perfect in, terwijl andere methoden faalden.

Samenvatting in één zin

FootMR is als een slimme monteur die de "ruwe bouwwerk" van een 3D-animatie oppakt en met een speciale bril alleen de voeten repareert, zodat ze eindelijk net zo natuurlijk dansen als de rest van het lichaam.

Het resultaat: Of je nu een dansvideo analyseert, een sportwedstrijd bekijkt of een animatie maakt, de voeten bewegen nu eindelijk echt mee, zonder dat ze eruitzien alsof ze op ijs glijden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Improving 3D Foot Motion Reconstruction in Markerless Monocular Human Motion Capture" in het Nederlands.

Probleemstelling

Bestaande state-of-the-art methoden voor het reconstrueren van 3D menselijke beweging uit monokulaire video's (zonder markers) presteren goed op het niveau van het algemene lichaam, maar falen vaak bij het nauwkeurig vastleggen van fijne, gedetailleerde bewegingen van de voeten. Dit is een kritiek probleem voor toepassingen zoals loopanalyse, animatie, AR/VR en sportwetenschappen.

De auteurs identificeren twee hoofdoorzaken voor deze beperking:

1. Onnauwkeurige trainingsdata: Bestaande datasets gebruiken "pseudo-ground truth" (pseudo-GT) die wordt gegenereerd door parametrische lichaammodellen (zoals SMPL) te fitten op spaarzame 2D-sleutelpunten. Omdat deze datasets vaak slechts één sleutelpunt per enkel hebben, is de 3D-positie van de voet niet voldoende beperkt, wat leidt tot onnauwkeurige annotaties.
2. Beperkte diversiteit: Bestaande video-datasets bevatten voornamelijk alledaagse activiteiten met weinig complexe voetbewegingen (zoals dans of ballet), waardoor modellen niet goed generaliseren naar extreme houdingen.

Methodologie: FootMR

Om deze problemen op te lossen, stellen de auteurs FootMR (Foot Motion Refinement) voor. Dit is een methode die de geschatte voetbeweging van een bestaand 3D-herstelmodel verfijnt, zonder directe invoer van beelden te gebruiken.

Kernprincipes van de architectuur:

• Invoer: In plaats van ruwe beelden, verwerkt FootMR sequenties van 2D-sleutelpunten van de voet (grote teen, kleine teen, hiel en enkel) verkregen via een bestaande detector.
• Contextuele Invoer: Om de inherent ambiguïteit van het "liften" van 2D naar 3D op te lossen, gebruikt FootMR extra context:
  • De initiële (potentieel onnauwkeurige) 3D-enkelrotaties geschat door het basismodel.
  • De globale rotaties van de knie (de ouderjoint van de enkel).
• Residulair Leren: Het model voorspelt niet de volledige 3D-enkelrotatie, maar alleen de residuale rotatie ($\Delta\theta$) ten opzichte van de initiële schatting. Dit maakt het model robuuster tegen ruis.
• Globale Rotaties: Het model werkt met globale rotaties in plaats van relatieve rotaties ten opzichte van de ouderjoint. Dit helpt bij het generaliseren naar extreme voetposities, omdat het bereik van mogelijke rotaties in de trainingsdata anders te beperkt zou zijn.
• Data Augmentatie: Omdat er geen beelden als invoer worden gebruikt, kunnen de 3D-pose-data willekeurig worden geroteerd in de ruimte tijdens het trainen. Dit simuleert een veel bredere variëteit aan voetbewegingen dan in de originele datasets aanwezig was.
• Netwerk: FootMR is gebaseerd op een Transformer-architectuur met Rotary Position Embedding (RoPE), wat efficiënte verwerking van lange sequenties mogelijk maakt.

Belangrijkste Bijdragen

1. FootMR Methode: Een nieuwe aanpak die 2D-voetsleutelpunten gebruikt om 3D-voetbeweging te verfijnen, waardoor de afhankelijkheid van onnauwkeurige beeld-3D annotatieparen wordt doorbroken.
2. MOOF Dataset: De introductie van een nieuwe dataset genaamd MOOF (complex MOvements Of the Feet). Deze bevat 41 video's met complexe voetbewegingen (zoals enkels cirkelen, ballet, dans) en handmatig geannoteerde 2D-voetsleutelpunten, specifiek ontworpen voor evaluatie.
3. Validatie van Context: Het aantonen dat het gebruik van knie- en initiële enkelrotaties als context essentieel is voor het oplossen van de ambiguïteit bij 2D-naar-3D lifting.
4. Prestaties: Het bewijzen dat FootMR significant beter presteert dan bestaande methoden, zelfs op extreme voetposities die niet in de trainingsdata voorkwamen.

Resultaten

De auteurs evalueren FootMR op drie datasets: MOYO (yoga met extreme posities), RICH (dagelijkse activiteiten) en de nieuwe MOOF dataset.

• Verbetering: FootMR verlaagt de fout in de enkelhoek (Ankle Joint Angle Error - AJAE) op de MOYO-dataset met 30,6% ten opzichte van de beste bestaande tijdsafhankelijke methode (GVHMR).
• MOOF Prestaties: Op de nieuwe MOOF-dataset wordt de fout in de genormaliseerde 2D-voetsleutelpunten (N-FKE2d) met 58,1% verlaagd (van 1,60 naar 0,67).
• Generalisatie: In tegenstelling tot concurrenten (zoals CameraHMR), die wel betere algemene lichaamspose halen maar faalen bij extreme voetposities, slaagt FootMR erin om complexe bewegingen zoals dans en ballet nauwkeurig te reconstrueren.
• Efficiëntie: De methode voegt slechts een minimale rekentijd toe (ongeveer 10 ms voor een volledige video) en is veel sneller dan optimalisatie-gebaseerde methoden.

Betekenis en Conclusie

Dit paper is een belangrijke stap voorwaarts in het veld van markerloze menselijke bewegingstracking. Het adresseert een specifiek maar cruciaal zwak punt in bestaande systemen: de voeten. Door de afhankelijkheid van onnauwkeurige beeldannotaties te omzeilen en te vertrouwen op grote hoeveelheden motion capture-data gecombineerd met 2D-sleutelpunten, biedt FootMR een oplossing voor realistische en nauwkeurige voetanimatie.

De introductie van de MOOF-dataset vult een belangrijke leemte in de evaluatiemogelijkheden op, aangezien eerdere benchmarks geen adequate maatstaf hadden voor complexe voetbewegingen. De resultaten tonen aan dat het decoupleren van de voetrefinement van de rest van het lichaam, in combinatie met residulair leren en globale rotaties, de staat van de techniek aanzienlijk verbetert voor toepassingen waar fijne motoriek van de voeten essentieel is.