Motion-Adaptive Multi-Scale Temporal Modelling with Skeleton-Constrained Spatial Graphs for Efficient 3D Human Pose Estimation

Probleemstelling

Het schatten van de 3D-houding van een mens op basis van monoculaire video's is een fundamentele taak in het computerzicht, maar blijft uitdagend vanwege de complexe ruimtelijke en temporele afhankelijkheden tussen gewrichten. Bestaande methoden kampen met twee hoofdproblemen:

1. Efficiëntie en Adaptiviteit: Veel moderne methoden (zoals Transformer-architecturen) gebruiken globale temporele aandacht (attention) over lange sequenties. Dit leidt tot een hoge rekenkosten (kwadratische complexiteit) en kan fijne temporele details "verwateren" door uniforme aggregatie. Andere methoden gebruiken vaste temporele schalen, wat niet adaptief is voor de diverse dynamieken van menselijke beweging (bijv. snelle handgebaren versus langzame loopbewegingen).
2. Ruimtelijke Modellering: Bestaande grafische methoden gebruiken vaak vaste aggregatiestrategieën die zelfkarakteristieken en buur-informatie uniform behandelen. Dit negeert de heterogeniteit tussen verschillende gewrichten en kan leiden tot "over-smoothing" (waarbij representaties te veel op elkaar gaan lijken) of inefficiënt gebruik van skelet-priors.

Methodologie: MASC-Pose

De auteurs stellen MASC-Pose voor, een nieuw raamwerk dat een evenwicht zoekt tussen nauwkeurigheid en rekenefficiëntie door twee kernmodules te introduceren:

1. Skeleton-constrained Adaptive GCN (SAGCN) – Ruimtelijke Modellering

In plaats van een vaste grafische convolutie of een dichte aandachtslaag, gebruikt SAGCN een aanpasbare Graph Neural Network (GNN) benadering.

• Principe: Het module splitst de verwerking van een frame op in twee paden: zelf-transformatie (self-features) en buur-aggregatie (neighbour aggregation) gebaseerd op de skelettopologie.
• Adaptiviteit: In plaats van vaste gewichten, leert het netwerk leerbare balanceringsgewichten ($w_{self}$ en $w_{nei}$) via een softmax-functie. Dit stelt het model in staat om per gewricht en per laag dynamisch te beslissen hoeveel informatie er uit de directe buurpunten (skeletconnectiviteit) versus de eigen kenmerken moet worden gehaald.
• Voordeel: Dit voorkomt over-smoothing en past zich aan aan de specifieke behoeften van verschillende gewrichten (bijv. een heup versus een pols).

2. Adaptive Multi-scale Temporal Modelling (AMTM) – Temporele Modellering

Mensenbeweging vertoont heterogene temporele patronen. AMTM lost dit op door meerdere temporele schalen tegelijkertijd te modelleren.

• Multi-scale Architectuur: De inputsequentie wordt parallel verwerkt via drie temporele takken met verschillende venstergroottes (kort-, medium- en langetermijn).
• Dynamische Routering: Geïnspireerd door het "Mixture-of-Experts" (MoE) paradigma, gebruikt AMTM een lichte "window selector" (een MLP met global average pooling) om de belangrijkheid van elke temporele schaal te schatten op basis van de huidige houding.
• Sparse Temporal Graph Convolution (STGC): Binnen elke schaal wordt gebruikgemaakt van een spaarse temporele grafconvolutie in plaats van dichte attention. Dit reduceert de rekenkosten aanzienlijk terwijl het toch langdurige afhankelijkheden kan vangen.
• Adaptieve Aggregatie: De uitkomsten van de drie schalen worden gewogen en samengevoegd op basis van de voorspelde belangrijkheidsgewichten ($w_{short}, w_{med}, w_{long}$).

Belangrijkste Bijdragen

1. MASC-Pose Framework: Een nieuw ruimtelijk-temporeel raamwerk dat state-of-the-art prestaties bereikt met een aanzienlijk lagere rekenkost dan bestaande Transformer-gebaseerde methoden.
2. AMTM Module: Introduceert een adaptieve multi-scale temporele modellering die dynamisch balanceert tussen korte-termijn dynamiek en lange-termijn trends, zonder de complexiteit van globale attention.
3. SAGCN Module: Een skelet-beperkte, adaptieve GCN die gewrichtsspecifieke ruimtelijke interacties modelleert door zelf- en buur-informatie dynamisch te wegen, wat leidt tot betere ruimtelijke redenering.
4. Efficiëntie: Het model bereikt een uitstekende balans tussen MPJPE (Mean Per Joint Position Error) en MACs (Multiply-Accumulate Operations) per frame.

Resultaten

Het model is getest op twee standaard datasets: Human3.6M en MPI-INF-3DHP.

• Human3.6M:

  • MASC-Pose behaalde de beste MPJPE-score (37.8 mm) onder alle vergeleken methoden, inclusief recente state-of-the-art modellen zoals TCPFormer en MotionAGFormer.
  • Het model is aanzienlijk efficiënter: het gebruikt slechts 219M MACs/frame, vergeleken met bijvoorbeeld 572M voor MixSTE of 449M voor TCPFormer, terwijl het een betere of vergelijkbare nauwkeurigheid levert.
  • Het heeft ook minder parameters (13.0M) dan veel concurrenten.

• MPI-INF-3DHP:

  • Het model behaalde de hoogste AUC (88.2%) en een zeer lage MPJPE (15.5 mm), wat aantoont dat het goed generaliseert naar uitdagende, "in-the-wild" scenario's.

• Ablatie Studies:

  • De studies bevestigen dat zowel AMTM als SAGCN essentieel zijn. Het verwijderen van de adaptieve mechanismen (bijv. het vervangen van adaptieve weging door vaste weging) leidt tot een merkbare daling in prestaties.
  • De keuze voor de temporele schalen (9, 27, 81 frames) bleek optimaal voor het vangen van zowel fijne details als lange patronen.

Betekenis en Conclusie

MASC-Pose is een significante doorbraak in de 3D-houdingsschatting omdat het de afhankelijkheid van dure, dichte attention-mechanismen doorbreekt zonder in te leveren op nauwkeurigheid. Door de menselijke beweging te modelleren als een adaptief proces dat zowel op verschillende temporele schalen als op basis van skeletstructuur werkt, biedt het een schaalbaar en robuust alternatief voor bestaande Transformer-architecturen.

De visuele analyses tonen aan dat het model beter bestand is tegen onnauwkeurige 2D-detecties en anatomisch plausibeler resultaten produceert dan concurrenten. De auteurs suggereren dat deze aanpak de weg vrijmaakt voor efficiëntere real-time toepassingen in virtual reality, mens-computer interactie en bewegingsherkenning.