Technische Samenvatting: BioHuman – Het Leren van Biomechanische Menselijke Representaties uit Video

1. Probleemstelling

Het begrijpen van menselijke beweging uit video heeft traditioneel gefocust op oppervlakkige kinematica (bijvoorbeeld gewrichtsposities en lichaamsvorm via SMPL), wat beschrijft hoe mensen bewegen, maar niet verklaart waarom ze bewegen in termen van onderliggende fysiologische mechanismen. Een aanzienlijke barrière voor het bevorderen van biomechanisch inzicht uit video is het gebrek aan grootschalige datasets die gezamenlijk visuele waarnemingen, menselijke beweging en interne biomechanische toestanden (specifiek spieractivaties) bieden. Bestaande datasets zijn vaak incompleet over deze modaliteiten heen, en het verzamelen van real-world data met gesynchroniseerde video, bewegingsopname en elektromyografie (EMG) is onbetaalbaar duur en schaars.

Bovendien passen huidige computationele benaderingen doorgaans een ontkoppelde, twee-traps pijplijn toe: eerst het reconstrueren van kinematische beweging uit video, en vervolgens het apart schatten van spieractivaties via biomechanische simulatie of neurale benadering. Deze scheiding is suboptimaal omdat fouten in bewegingsreconstructie onvermijdelijk doorgeven naar downstream biomechanische inferentie, en omdat de twee processen inherent gekoppeld zijn door het spier-skeletstelsel.

2. Methodologie

2.1 BioHuman10M: Een Groot-Schalige Biomechanische Dataset

Om de datatekorten aan te pakken, introduceren de auteurs BioHuman10M, een dataset met 10 miljoen gekoppelde frames die real-world visuele beweging afstemt op op fysica gebaseerde spier-skelettoestanden.

• Data Bronnen: De dataset aggregeert sequenties uit vijf bestaande bewegingsopnamedatasets: MotionPRO, EMDB, 3DPW, Human3.6M en BEDLAM.
• Simulatiekader (BioSim): Aangezien grondwaarheid spieractivaties niet beschikbaar zijn voor de meeste van deze bronnen, ontwikkelden de auteurs BioSim, een simulatiepijplijn om deze te genereren:
  1. SMPL naar OpenSim: SMPL bewegingssequenties worden omgezet naar OpenSim-compatibele kinematica met behulp van een aangepast full-body spier-skeletmodel (ULBS-112) met 112 spieren.
  2. Inverse Kinematica (IK): Markersporen worden geëxtraheerd uit SMPL om het ULBS-112 model te schalen en IK uit te voeren, waardoor gewrichtshoeksequenties worden hersteld.
  3. Grondreactiekrachten (GRF): Aangezien GRF's niet in SMPL-data zitten, worden deze gesynthetiseerd met GaitDynamic op basis van gewrichtskinematica en geschatte lichaamsparameters.
  4. Schatting van Spieractivatie: Met behulp van Inverse Dynamica (ID) om gewrichtsmomenten te berekenen en Static Optimization (SO) om spierredundantie op te lossen, schat het systeem spieractivaties ($a_i(t)$) door een inspanningskostfunctie ($\sum a_i^p$) te minimaliseren onderhevig aan dynamische beperkingen.
  5. Nabewerking: Onbetrouwbare sequenties worden gefilterd en er wordt temporele gladde toepassing toegepast om coherente activatiedynamiek te waarborgen.

2.2 BioHuman: Een End-to-End Kader

De auteurs stellen BioHuman voor, een unificerend, end-to-end kader dat direct zowel menselijke beweging (SMPL pose) als spieractivaties voorspelt uit monocular video, waarbij de ontkoppelde pijplijn wordt omzeild.

• Architectuur:
  • Front-end Encoder: Gebruikt PromptHMR (bevroren beeldencoder) om initiële SMPL-pose-schattingen en beeld-geconditioneerde HMR-kenmerken voor elk frame te extraheren.
  • Visueel-Kinematische Interface: De ruwe pose en visuele kenmerken worden gecodeerd in temporele pose-tokens en visuele tokens. Een geleerd gating-mechanisme injecteert visueel bewijs in de pose-stroom, waardoor het model visuele aanwijzingen kan benutten (bijvoorbeeld omgaan met occlusie, oriëntatie) wanneer kinematische data dubbelzinnig is.
  • Motion-Visual Temporal Transformer: Een verweven tokensequentie (alternerend pose- en visuele tokens) wordt verwerkt door een Transformer-decoder. Deze structuur stelt het model in staat te redeneren over langetemporele afhankelijkheden en cross-modale interacties, en vangt het feit op dat spieractivatie afhangt van fase, snelheid en contact, niet alleen van de instantane pose.
  • Decoderkoppen: De gefuseerde staat wordt gedecodeerd door twee koppen:
    1. Pose Kop: Voorspelt een residu-correctie op de initiële SMPL-pose.
    2. Spier Kop: Voorspelt de 112-dimensionale vector van spieractivatie.
• Trainingsdoel: Het model wordt getraind met multi-task supervisie die pose-accuraatheid, spieractivatie-accuraatheid, temporele-differentie-matching, activatie-correlatie en amplitude-calibratie combineert.

3. Belangrijkste Bijdragen

1. BioHuman10M Dataset: De introductie van een grootschalige dataset (10M frames) die visie, beweging en full-body spieractivaties overbrugt, opgebouwd via een innovatieve simulatiepijplijn (BioSim) die bestaande bewegingsopnamedata aanvult.
2. BioHuman Kader: Een end-to-end neurale architectuur die menselijke beweging en spieractivaties gezamenlijk modelleert vanuit monocular video, en ze behandelt als een gekoppeld representatieleringsprobleem in plaats van sequentiële taken.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat gezamenlijke modellering significant beter presteert dan twee-traps baselines in zowel biomechanische voorspelling als kinematische reconstructie.

4. Experimentele Resultaten

De auteurs evalueren BioHuman op het BioHuman10M-testprotocol, en vergelijken het met een sterke twee-traps baseline (PromptHMR + MinT) en bestaande monocular HMR-methoden.

• Voorspelling van Spieractivatie: BioHuman bereikt een Pearson Correlatie Coëfficiënt (PCC) van 0,71, wat significant beter is dan de twee-traps baseline (PCC 0,42). Het toont ook een lagere RMSE (0,065 versus 0,071) en betere prestaties op actieve spierontsteking (Active MAE 0,10 versus 0,12).
• Bewegingsschatting: In tegenstelling tot de zorg dat gezamenlijke training de kinematische nauwkeurigheid zou kunnen verslechteren, verbetert BioHuman de poseschatting. Het bereikt een RMSEPose van 0,30 rad en PA-MPJPE van 35,21 mm, en presteert beter dan state-of-the-art HMR-baselines zoals PromptHMR (0,53 rad, 40,89 mm).
• Ablatiestudie: Het verwijderen van de end-to-end visueel-kinematische koppeling (met behulp van een twee-traps cascade met vaste HMR-poses) resulteert in een daling van de PCC van 0,71 naar 0,58, wat het voordeel van gezamenlijke optimalisatie bevestigt.

5. Betekenis en Beweringen

Het artikel beweert dat BioHuman een nieuwe benchmark vestigt voor op video gebaseerd biomechanisch inzicht. Door voorbij oppervlakkige kinematica te gaan en interne spier-skelettoestanden af te leiden, opent het werk nieuwe mogelijkheden voor toepassingen in revalidatie, sportanalyse en assistieve technologieën (bijvoorbeeld exoskeletten).

De auteurs benadrukken dat hun benadering de kloof overbrugt tussen visuele waarneming en fysiologische realiteit. Zij merken op dat hoewel de dataset op simulatie is gebaseerd en momenteel beperkt is tot voet-grondinteracties (zonder nek-DOF's en hand-objectinteracties), het een schaalbare basis biedt voor het leren van biomechanisch onderbouwde menselijke representaties. Toekomstig werk is gepland om deze voorspellingen te valideren tegen echte EMG-data en meer anatomisch nauwkeurige lichaamsmodellen te integreren (bijvoorbeeld OSSO).