Joint angle based learning to refine kinematic human pose estimation

Technische Samenvatting: Joint Angle Based Learning voor het verfijnen van Kinematische Menselijke Pose Schatting

Probleemstelling
Marker-vrije menselijke pose schatting (Human Pose Estimation, HPE) is cruciaal voor toepassingen in sportanalyse, gezondheidszorg en mens-computerinteractie. Bestaande deep learning-gebaseerde modellen worden echter geconfronteerd met twee primaire uitdagingen bij het analyseren van kinematische menselijke poses:

1. Incorrecte Keypoint Herkenning: Complexe poses, occlusies en afleidende achtergronden leiden tot foutieve identificatie van keypoints (outliers), wat de downstream kinematische analyses zoals snelheid, versnelling en inverse dynamica berekeningen ernstig verstoort.
2. Spatiotemporele Jitter: Inconsistente lokalisatie van keypoints over opeenvolgende frames resulteert in fluctuerende trajecten. Dit probleem wordt verergerd door de afhankelijkheid van single-image datasets (bijv. COCO-WholeBody) waar handmatige annotaties vaak geen temporele consistentie vertonen. Hoewel er video-datasets bestaan, lijden deze aan annotatie-inconsistenties, met name bij hoog-amplitude of snel veranderende bewegingen, waardoor modellen de voorkeur geven aan Euclidische afstand nauwkeurigheid boven trajectcontinuïteit.

Huidige verfijningsmethoden, zoals de state-of-the-art SmoothNet, hebben vaak moeite met complexe sportscenario's, wat resulteert in positiedrift of onvoldoende smoothing van outliers.

Methodologie
De auteurs stellen een nieuw Joint Angle-based Refinement (JAR) framework voor, ontworpen om hoogwaardige trainingsdata te genereren en single-image HPE-outputs te verfijnen via een drietraps proces:

1. Joint Angle-gebaseerde Pose Beschrijving:

   • In plaats van uitsluitend te vertrouwen op absolute coördinaten, converteert de methode 13 keypoint coördinaten (geëxtraheerd via een single-image HPE-model zoals HRNet of ViTPose++) naar 12 gewrichtshoeken.
   • Een stabiel basispunt (de "neus") wordt gladgestreken met een Savitzky-Golay filter.
   • Lichaamssegmentlengtes worden geoptimaliseerd met behulp van een trust-region algoritme gebaseerd op twee biomechanische beperkingen: proportionele consistentie tussen ledematen en verwaarloosbare inter-frame variatie door verkorting (foreshortening). Deze aanpak maakt de beschrijving robuust tegen veranderingen in perspectief en afstand tot de camera.

2. Fourier-reeks gebaseerde "Ground Truth" Generatie:

   • Omdat gewrichtsbewegingen vaak periodieke kenmerken vertonen, benadert de methode de temporele variaties in gewrichtshoeken met een 8e-orde Fourier-reeks.
   • Parameters voor de reeks worden geschat uit open datasets om diverse inter-individuele verschillen te simuleren.
   • Een synthetische trainingsdataset wordt geconstrueerd door een sliding window over deze gegenereerde cycli te schuiven. Om real-world ruis te simuleren, wordt Gaussian white noise (kleine jitters) en grote-amplitude outliers (die herkenningsfouten simuleren) in de "ground truth" sequenties geïnjecteerd. Dit creëert een hoogwaardige dataset met spatiotemporele consistentie die moeilijk via handmatige annotatie te verkrijgen is.

3. BiGRU-Attention Verfijningsnetwerk:

   • Een Bidirectional Gated Recurrent Unit (BiGRU) netwerk met een attention mechanisme is ontworpen als een post-processing module.
   • Dit netwerk neemt de ruizige gewrichtshoek-sequenties als input en geeft gladgestreken, verfijnde hoek-sequenties als output.
   • De verfijnde hoeken worden, samen met het gestabiliseerde basispunt en de geoptimaliseerde segmentlengtes, gebruikt om de uiteindelijke keypoint coördinaten te reconstrueren.
   • Een sliding window aanpak met gewogen middeling wordt toegepast tijdens de inferentie om continue smoothing over de gehele video-sequentie te garanderen.

Belangrijkste Bijdragen

• Robuuste Pose Representatie: Het voorstel van een gewrichtshoek-gebaseerd model dat bestand is tegen perspectief- en afstandsinterferentie, wat de nauwkeurigheid en robuustheid van lichaamherkenning aanzienlijk verbetert vergeleken met coördinatengebaseerde methoden.
• Synthetische Hoogwaardige Dataset: Een nieuwe methode voor het genereren van trainingsdata met behulp van hoog-orde Fourier-reeksen om fysiologische gewrichtsbewegingspatronen te benaderen, wat een betrouwbare "ground truth" biedt voor netwerktraining zonder afhankelijk te zijn van inconsistente handmatige annotaties.
• Superieure Verfijningsarchitectuur: Het ontwerp van een BiGRU-Attention netwerk dat effectief outliers en jitter elimineert, waarbij het bestaande verfijningsframeworks overtreft in uitdagende sportscenario's.
• Dataset Rectificatie Capaciteit: Demonstratie dat de methode kan worden toegepast om bestaande video-datasets (bijv. PoseTrack) te rectificeren, waarbij inter-frame inconsistenties veroorzaakt door handmatige annotatiefouten worden gecorrigeerd.

Experimentele Resultaten
De JAR-methode werd geëvalueerd tegenover de state-of-the-art SmoothNet over diverse atletische activiteiten, waaronder sprinten, de staande drievoudige sprong, kunstschaatsen en breaking (breakdance).

• Outlier Correctie: In een sprintgeval behaalde JAR een 100% outlier correctiepercentage vergeleken met 45,45% voor SmoothNet. In een staande drievoudige sprong corrigeerde JAR 95,61% van de fouten tegenover 53,51% voor SmoothNet. Het algemene correctiepercentage voor JAR was 97,77%, bijna het dubbele van SmoothNet.
• Traject Gladheid: In complexe scenario's zoals kunstschaatsen (vluchtspins) en breaking (handstanden), produceerde JAR significant gladdere trajecten en meer fysiologisch consistente snelheidscurven. SmoothNet vertoonde merkbare coördinatendrift en hoogfrequente fluctuaties, met name in de Y-as componenten.
• Model Selectie: Onder tien geteste sequence-to-sequence architecturen (inclusief TCN, LSTM, Mamba1/2, en hun attention varianten), demonstreerde het BiGRU-Attention model de beste balans tussen nauwkeurigheid (laagste Mean Squared Error) en computationele efficiëntie.

Significantie en Claims
Het artikel stelt dat de beperkingen van huidige HPE verfijning grotendeels te wijten zijn aan het gebrek aan hoogwaardige, temporeel consistente trainingsdatasets. Door gebruik te maken van de fysiologische beperkingen van menselijke beweging (gewrichtshoeken en segmentlengtes) en Fourier-reeks benadering, stelt de voorgestelde JAR-methode in staat om:

• Deep learning-modellen robuuste spatiotemporele patronen te laten leren, waardoor ze effectief verkeerd herkende gewrichten kunnen corrigeren en trajecten kunnen gladstrijken.
• Superieure generalisatie te tonen in uitdagende sportgevallen waar huidige modellen falen.
• Een praktisch hulpmiddel te bieden voor het rectificeren van bestaande video-datasets, waardoor de nadelige effecten van onnauwkeurige handmatige annotaties worden verminderd en de betrouwbaarheid van HPE-technologie voor bewegingsanalyse wordt verbeterd.

De auteurs concluderen dat hun aanpak een betrouwbare basis biedt voor kinematische analyse, wat een nauwkeurigere kwantificering van atletische prestaties en biomechanische beoordeling mogelijk maakt.