Deep-Learning-Based Markerless Pose Estimation Systems in Gait Analysis: DeepLabCut Custom Training and the Refinement Function

Deze studie toont aan dat een aangepast DeepLabCut-model, versterkt door de verfijningsfunctie, superieur is aan OpenPose en voorgeïnstalleerde modellen voor het nauwkeurig en kosteneffectief analyseren van loopbewegingen in natuurlijke omgevingen.

De kern

Hoe we lopen zonder te "plakken": Een verhaal over slimme camera's en een digitale leermeester

Stel je voor dat je wilt weten hoe iemand loopt. In het verleden was dit als het meten van een danseres met honderden kleine reflecterende balletjes (stickers) op haar lichaam, verbonden met draden naar een dure computer. Dit werkt heel nauwkeurig, maar het is duur, oncomfortabel en je kunt het alleen doen in een speciaal lab. Het is alsof je iemand laat dansen terwijl ze een zware rugzak met apparatuur dragen; het beïnvloedt hoe ze bewegen.

De onderzoekers uit deze studie wilden een betere, goedkopere manier vinden: camera's die kijken en begrijpen zonder stickers. Ze wilden weten of computers kunnen "zien" hoe we lopen, net als wij dat doen.

De twee kampioenen: De "Klaar-om-gebruik" vs. De "Leerling"

De onderzoekers testten twee soorten slimme software (AI) om te kijken wie de beste is in het volgen van bewegingen:

1. OpenPose (De "Klaar-om-gebruik" expert):
   Dit is als een ervaren kok die al duizenden recepten kent. Hij is al getraind op een enorme database van miljoenen foto's van mensen. Je hoeft niets te doen; je draait hem op en hij doet zijn werk. Hij is goed, maar hij kent niet de specifieke details van jouw situatie.

2. DeepLabCut (De "Leerling" met twee opties):
   Dit is een slimme student die twee manieren heeft om te leren:

   • Optie A (Pre-trained): Hij leest hetzelfde grote boek als de kok (OpenPose). Hij is een algemene expert, maar niet gespecialiseerd in jouw specifieke loopstijl.
   • Optie B (Custom-trained): Hier wordt het interessant. De onderzoekers gaven deze student een eigen lesboek. Ze toonden hem 400 foto's van de specifieke mensen die in hun lab liepen en leerden hem precies waar de knieën, enkels en tenen zaten. Dit is transfer learning: je neemt de basiswiskunde die hij al kent en scherpst hem aan voor jouw specifieke taak.

Het Experiment: De 5-meter loopbaan

Ze vroegen 40 gezonde mensen om over een 5 meter lange baan te lopen. In het midden lagen krachtmeters (de "gouden standaard" of de waarheid). De camera filmde hen. Vervolgens lieten ze de drie systemen (OpenPose, DeepLabCut standaard, en DeepLabCut met eigen les) de loopstijl analyseren en vergeleken ze dit met de echte metingen van de krachtmeters.

De Grote Ontdekking: De "Verbeterfunctie"

Hier komt de magische twist in het verhaal.

De onderzoekers merkten dat de "Leerling" (DeepLabCut Custom) al beter was dan de "Klaar-om-gebruik" kok, maar ze wilden nog beter. Ze gebruikten een trucje dat ze de "Refinement" (Verfijning) functie noemen.

Stel je voor dat de leerling een proefexamen doet. De computer kijkt naar de fouten die hij maakte op bepaalde foto's. In plaats van dat de leerling die fouten zelf moet zien, kijken de onderzoekers naar die specifieke fouten, corrigeren ze die handmatig, en steken ze die correcties terug in het lesboek.

• Zonder verfijning: De leerling leert van 400 foto's.
• Met verfijning: De leerling leert van diezelfde 400 foto's, PLUS de 80 foto's waarop hij het eerst fout had, maar nu met de juiste antwoorden.

Het resultaat? De leerling met de verfijning (DeepLabCut Custom + Refinement) was de absolute winnaar. Hij was nauwkeuriger dan de standaard "Klaar-om-gebruik" software en zelfs nauwkeuriger dan de versie van de leerling zonder de extra correcties.

Wat betekent dit voor de wereld?

Deze studie zegt eigenlijk: "Je hoeft geen dure stickers meer te plakken om precies te meten hoe iemand loopt."

• Voor artsen en therapeuten: Je kunt straks met een simpele camera (zoals een webcam of een telefoon) en gratis software de loopstijl van een patiënt analyseren. Dit is superhandig om te zien of iemand na een beroerte of een val weer beter loopt, zonder dat de patiënt zich ongemakkelijk voelt in een lab.
• De les: Als je een AI wilt gebruiken voor iets specifieks (zoals het analyseren van een specifieke loopstijl), is het de moeite waard om de AI even "op te leiden" met jouw eigen data en de fouten te corrigeren. Het kost wat tijd, maar het resultaat is veel waardevoller dan een kant-en-klaar product.

Kortom: De "slimme leerling" die zijn eigen fouten leert verbeteren, loopt sneller en nauwkeuriger dan de "ervaren expert" die alleen op zijn oude kennis vertrouwt. En dat is een grote stap voor de toekomst van gezondheidszorg en sportwetenschap.

Technische samenvatting

Probleemstelling

De huidige gouden standaard voor het analyseren van menselijke beweging is marker-based motion capture (met fysieke markers). Hoewel deze methode extreem nauwkeurig is (sub-millimeter), kent deze ernstige beperkingen:

• Kosten en complexiteit: Het vereist dure apparatuur en gespecialiseerd personeel.
• Omgevingsbeperkingen: Metingen moeten vaak in gecontroleerde laboratoriumomgevingen plaatsvinden.
• Soft-tissue artifacts: Fysieke markers op de huid kunnen verschuiven tijdens beweging, wat de data-integriteit vermindert.
• Natuurlijkheid: De aanwezigheid van markers kan het looppatroon van de proefpersoon beïnvloeden.

Er is een dringende behoefte aan "ecologische" alternatieven: markerloze systemen die onopvallende data-acquisitie in natuurlijke omgevingen mogelijk maken. Hoewel er open-source tools zijn (zoals OpenPose en DeepLabCut), is er nog onvoldoende inzicht in hoe deze presteren in vergelijking met de gouden standaard, en vooral hoe aangepaste (custom-trained) modellen van DeepLabCut (DLC) zich verhouden tot kant-en-klare modellen.

Methodologie

Het onderzoek vergeleek de prestaties van drie markerloze systemen tegenover een referentiesysteem (krachtplaten) bij het analyseren van de loopgang (gait) van gezonde proefpersonen.

• Proefpersonen: 40 gezonde vrijwilligers (21 mannen, 19 vrouwen) liepen over een 5-meter loopbaan.
• Referentiesysteem: Vier krachtplaten (force platforms) registreerden de verticale grondreactiekrachten met een samplefrequentie van 1000 Hz om de exacte momenten van hielcontact (HC) en tenenafstoot (TO) te bepalen.
• Video-opname: Een enkele RGB-camera (25 fps) nam de bewegingen op in het sagittale vlak.
• Geanalyseerde Systemen:
  1. OPPT: OpenPose met een kant-en-klaar voorgeïnstalleerd model ("BODY_25").
  2. DLCPT: DeepLabCut met een kant-en-klaar voorgeïnstalleerd model ("Model Zoo full_human").
  3. DLCCT: DeepLabCut met een aangepast getraind model. Dit model werd getraind op een ResNet-101 architectuur met een dataset van 400 handmatig gelabelde frames (16 key-points: schouders, ellebogen, polsen, heupen, knieën, enkels, hielen, tenen).
• Training en Refinement:
  • Er werden verschillende datasetgroottes getest (100, 200, 300, 400 frames).
  • Een refinement-functie werd toegepast: foutieve frames (outliers) uit de training werden handmatig gecorrigeerd en opnieuw toegevoegd aan de dataset om het model te hertrainen.
• Data-analyse:
  • Berekening van temporale loopparameters: stapduur, cadans, standfase en dubbele steunfase.
  • Vergelijking met de krachtplaat-data via: Pearson-correlatie, Bland-Altman analyse (voor overeenstemming/LOA), en absolute fouten (voor nauwkeurigheid en precisie).

Belangrijkste Bijdragen

1. Vergelijking Pre-trained vs. Custom-trained: Het is een van de eerste studies die specifiek de prestaties van een custom-trained DLC-model vergelijkt met zowel een pre-trained DLC-model als OpenPose in de context van loopgang.
2. Validatie van de Refinement-functie: Het onderzoek demonstreert empirisch hoe de "refinement"-functie in DeepLabCut (het corrigeren van outliers en hertrainen) de prestaties aanzienlijk verbetert, zelfs met kleinere datasets.
3. Optimalisatie van Dataset-grootte: Het biedt richtlijnen over hoeveel frames nodig zijn voor een betrouwbaar model en hoe de "refinement"-stap de noodzaak van grotere datasets kan compenseren.

Resultaten

• Prestatie van Custom-trained vs. Pre-trained: Het aangepaste model (DLCCT) presteerde over het algemeen beter dan zowel het pre-trained DLC-model (DLCPT) als OpenPose (OPPT), mits er voldoende trainingsdata was (minimaal 200-300 frames).
• Invloed van Dataset-grootte: De test Mean Average Error (MAE) nam af naarmate de dataset groter werd.
• Effect van Refinement: De "refined" datasets (bijv. DLCCT380R) presteerden consistent beter dan hun tegenhangers zonder refinement (bijv. DLCCT300) en zelfs beter dan de volgende grotere dataset zonder refinement (bijv. DLCCT400).
  • Voorbeeld: DLCCT380R (300 frames + 80 gecorrigeerde frames) was nauwkeuriger dan DLCCT400 (400 frames zonder correctie).
• Vergelijking met Referentie:
  • DLCCT380R toonde de sterkste lineaire relatie (Pearson > 0,7) en de smalste Bland-Altman Limits of Agreement (LOA) met de krachtplaat-data.
  • OpenPose (OPPT) presteerde beter dan het pre-trained DLC-model, maar bleef achter bij de goed getrainde custom-modellen.
  • DLCPT had moeite met het detecteren van specifieke key-points (hiel en teen) die nodig zijn voor de standfase, wat leidde tot lagere correlaties in deze parameters.

Betekenis en Conclusie

De studie concludeert dat markerloze bewegingsanalyse haalbaar en nauwkeurig is buiten het laboratorium, mits de juiste methodiek wordt toegepast.

• Kant-en-klare modellen (zoals standaard OpenPose of DLC) zijn bruikbaar, maar hebben beperkingen in nauwkeurigheid voor specifieke klinische toepassingen.
• Custom-training is essentieel voor hoge precisie. Het investeren van tijd in het handmatig labelen van frames en het trainen van een specifiek model levert superieure resultaten op.
• De refinement-functie is een krachtig hulpmiddel dat de trainingstijd en de benodigde hoeveelheid data optimaliseert door fouten in de dataset proactief te corrigeren.

Voor clinici en onderzoekers biedt dit inzicht dat er met relatief goedkope apparatuur (één camera) en open-source software (DeepLabCut) betrouwbare, objectieve loopanalyses kunnen worden uitgevoerd in ecologische omgevingen, wat de toepasbaarheid van bewegingsanalyse in de dagelijkse praktijk en kliniek aanzienlijk uitbreidt.