DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

Probleemstelling
Schaalbare, nauwkeurige menselijke bewegingsregistratie is essentieel voor het moderniseren van de diagnose van looppathologieën, het optimaliseren van sportprestaties en het bevorderen van bewegingsonderzoek. Hoewel traditionele markergestuurde motion capture-systemen een hoge nauwkeurigheid bieden, zijn zij beperkt tot onderzoekslaboratoria vanwege hun afhankelijkheid van specifieke infrastructuur, gespecialiseerd personeel en tijdrovende kalibratie. Markerloze alternatieven bieden een weg naar schaalbaarheid, maar kampen momenteel met een afruil tussen nauwkeurigheid en flexibiliteit. Single-view methoden zijn toegankelijk, maar lijden onder diepte-ambiguïteit en occlusie, wat hun klinische bruikbaarheid beperkt. Bestaande multi-view markerloze systemen falen er ofwel in om de nauwkeurigheid te verbeteren bij extra camera's (bijv. OpenCap), of vereisen dichte cameramatrices en propriëtaire software die implementatie in omgevingen met beperkte middelen hinderen (bijv. Theia3D). Bovits missen veel huidige instrumenten generaliseerbaarheid naar individuen met mobiliteitsbeperkingen, omdat ze vaak getraind zijn op gegevens van gezonde populaties.

Methodologie
De auteurs presenteren DeepGaitLab, een open-source framework ontworpen om nauwkeurige 3D-kinematica te leveren binnen flexibele camera-configuraties (van twee tot tien camera's) zonder dat daarvoor inter-camera ruimtelijke kalibratie nodig is. Het systeem werkt via een workflow bestaande uit drie stadia:

1. 2D Dichte Landmark Detectie: In tegen tegenover gestandaardiseerde computervisiebenaderingen die ijle gewrichtscentra detecteren, schat DeepGaitLab een hoge dichtheid aan oppervlakte-landmarks (57 anatomische punten). Dit wordt bereikt door middel van een Transformer-gebaseerd netwerk. Om het tekort aan gelabelde multi-view data te overwinnen, is het model getraind op grootschalige synthetische data afgeleid van de BEDLAM-dataset. Deze dataset maakt gebruik van 271 echte menselijke lichamen (uit de AMASS-dataset) die 9,3 uur lang bewegen, gerenderd met fotorealistische texturen en diverse kleding in een game engine. Het netwerk gebruikt een transfer learning-strategie, waarbij de encoder wordt geïnitialiseerd met gewichten van een vooraf getrainde ijle keypointdetector (ViTPose) getraind op real-world afbeeldingen, om vervolgens gefinetuned te worden op de synthetische data om generalisatie te waarborgen.
2. 3D Triangulatie en Kalibratie: Het systeem ondersteunt twee workflows: één die gebruikmaakt van gesynchroniseerde video's met fysieke checkerboard-kalibratie, en een automatische kalibratie modus. De laatste behandelt het onderwerp als een dynamisch kalibratieobject, waarbij de gedetecteerde dichte anatomische landmarks vanuit verschillende aanzichten worden gebruikt om de camera-extrinsieken te schatten via bundle adjustment, waardoor de noodzaak voor fysieke kalibratietargets vervalt.
3. Biomechanische Simulatie: De getrianguleerde 3D virtuele markers worden verwerkt met behulp van OpenSim. Het systeem schaalt een generiek muskuloskeletaal model naar de antropometrie van het subject en berekent inverse kinematica en inverse dynamica (gewrichtsmomenten).

Een kernkenmerk is omgevingsspecifieke fine-tuning. Het framework kan synthetische trainingsdata genereren die specifiek zijn afgestemd op de camera-geometrie en achtergrond van een bepaald laboratorium, waardoor het model kan worden gefinetuned voor een specifieke locatie zonder nieuwe handmatige annotaties.

Belangrijkste Bijdragen

• Synthetische Data-gedreven Training: Door gebruik te maken van grootschalige synthetische data vermijdt DeepGaitLab de arbeidsintensieve annotatie van real-world multi-view datasets terwijl het toch een hoge nauwkeurigheid en generaliseerbaarheid bereikt.
• Dichte Landmark Representatie: De verschuiving van ijle gewrichtscentra naar dichte oppervlakte-landmarks biedt geometrische restricties die segmentoriëntaties accurater oplossen, waarmee de ambiguïteit die inherente is aan ijle keypoint benaderingen wordt aangepakt.
• Flexibele en Kalibratievrije Werking: Het framework functioneert effectief met slechts twee camera's en bevat een automatische kalibratiefunctie die de barrière van tijdrovende handmatige kalibratie wegnemt.
• Robuustheid t.o.v. Pathologie: Het systeem behoudt een consistente nauwkeurigheid over diverse populaties, inclus\t ook mensen met mobiliteitsbeperkingen, waar andere tools vaak minder presteren.

Resultaten
De auteurs evalueerden DeepGaitLab bij 80 personen verdeeld over vier groepen: gezonde volwassenen, individuen in herstel na reconstructie van de voorste kruisband (ACLR), patiënten met een beroerte en individen met milde cognitieve stoornissen (MCI).

• Nauwkeurigheid versus State-of-the-Art: Bij gezonde volwassenen presteerde DeepGaitLab consequent beter dan OpenCap en Theia3D. In een configuratie met twee camera's vertoonde het een significant lager wortelkwadraatverschil (RMSD) vergeleken met marker-gebaseerde referenties dan OpenCap (4,2° versus 5,9°).
• Schaalbaarheid met Cameravolledigheid: In tegen tegenover de plateaufase van de nauwkeurigheid van OpenCap wanneer het aantal camera's toenam van twee naar tien, demonstreerde DeepGaitLab een monotone verbetering van de nauwkeurigheid naarmate de cameradichtheid toenam.
• Generalisatie naar Pathologie: DeepGaitLab behield een consistente prestatie bij ACLR-patiënten en liet geen significante verschillen zien in nauwkeurigheid tussen de gezonde groep en de groep met beperkingen. In contrast hiermee vertoonden OpenCap en Theia3D significant hogere fouten in de ACLR-groep. DeepGaitLab detecteerde succesvol klinisch relevante interlimb asymptrieën in heupflexie/extensie en adductie/abductie die andere tools misten.
• Spatiotemporele Metriek: Bij patiënten met MCI en een beroerte behaalde DeepGeb een overeenstemming in staplengte-asymmetrie die vergelijkbaar was met die van Theia3D (dat acht camera's gebruikte), terwijl het slechts twee camera's inzette.
• Inverse Dynamica: DeepGaitLab leverde een lagere relatieve RMSD in de schatting van gewrichtsmomenten vergeleken met OpenCap in configuraties met twee camera's, met name tijdens niet-sagittale bewegingen.
• Validatie van Kenmerken: De automatische kalibratiefunctie behaalde resultaten die vergelijkbaar waren met handmatige checkerboard-kalibratie. Omgevingsspecifieke fine-tuning zorgde voor marginale maar statistisch significante verbeteringen bij taken zoals wandelen op de grond, met name voor knie- en enkelkinematica.

Betekenis
Het artikel positioneert DeepGaitLab als een praktisch, schaalbaar platform dat de kloof overbrugt tussen wetenschappelijk niveau biomechanica en klinische toepassing. Door aan te tonen dat kwalitatief hoogwaardig bewegingsonderzoek kan worden gerealiseerd met consumentengestuurde RGB-camera's en synthetische supervisie, democratiseert dit framework de toegang tot kwantitatieve ganganalyse. De auteurs suggereren dat hoewel marker-gebaseerde systemen lange tijd de "gouden standaard" zijn geweest, het vermogen van visuele methoden om deze grenzen te naderen of zelfs te passeren (zodra nieuwere, hogere kwaliteit referentiebronnen zoals biplanaire röntgenfoto worden geadopteerd), de klinische evaluatiemetrics fundamenteel zou kunnen herdefiniëren. DeepGaitLab biedt een transparant, open-source alternatief voor propriëtaire systemen, wat bredere adoptie mogelijk maakt in klinieken en laboratoria zonder de compromissen op het gebied van nauwkeurigheid, schaalbaarheid of flexibiliteit die eerdere hulpmiddelen hebben gehinderd.