DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

Problemstellung
Skalierbare, präzise menschliche Bewegungserfassung ist essenziell für die Modernisierung der Diagnose von Gangpathologien, die Optimierung sportlicher Leistungen und die Förderung der Bewegungsforschung. Während traditionelle markerbasierte Motion-Capture-Systeme eine hohe Genauigkeit bieten, sind sie aufgrund ihrer Abhängigkeit von dedizierter Infrastruktur, spezialisiertem Personal und zeitaufwendiger Kalibrierung auf Forschungslaboratorien beschränkt. Markerlose Alternativen bieten einen Weg zur Skalierbarkeit, stehen jedoch derzeit vor einem Zielkonflikt zwischen Genauigkeit und Flexibilität. Ein-Ansichts-Methoden sind zwar zugänglich, leiden aber unter Tiefenambiguität und Okklusion, was ihren klinischen Nutzen einschränkt. Bestehende Multi-View-markerlose Systeme versagen entweder darin, die Genauigkeit durch zusätzliche Kameras zu verbessern (z. B. OpenCap), oder erfordern dichte Kamera-Arrays und proprietäre Software, was den Einsatz in ressourcenarmen Umgebungen erschwert (z. B. Theia3D). Darüber hinaus mangelt es vielen aktuellen Tools an Generalisierbarkeit auf Personen mit Mobilitätseinschränkungen, da sie häufig auf Daten aus gesunden Populationen trainiert wurden.

Methodik
Die Autoren präsentieren DeepGaitLab, ein Open-Source-Framework, das darauf ausgelegt ist, präzise 3D-Kinematik über flexible Kamera-Konfigurationen hinweg (von zwei bis zehn Kameras) ohne die Notwendigkeit einer inter-kamerabasierten räumlichen Kalibrierung zu liefern. Das System arbeitet über einen dreistufigen Workflow:

1. 2D-Dichte-Landmark-Detektion: Im Gegensatz zu Standard-Computer-Vision-Ansätzen, die spärliche Gelenkzentren detektieren, schätzt DeepGaitLab eine hohe Dichte an Oberflächen-Landmarks (57 anatomische Punkte). Dies wird durch ein Transformer-basiertes Netzwerk erreicht. Um die Knappheit an annotierten Multi-View-Daten zu überwinden, wird das Modell mit groß angelegten synthetischen Daten trainiert, die aus dem BEDLAM-Datensatz abgeleitet sind. Dieser Datensatz nutzt 271 reale menschliche Körper (aus dem AMASS-Datensatz), die 9,3 Stunden lang Bewegungen ausführen, gerendert mit fotorealistischen Texturen und vielfältiger Kleidung in einer Game-Engine. Das Netzwerk verwendet eine Transfer-Learning-Strategie, indem es den Encoder mit Gewichten eines vortrainierten Sparse-Keypoint-Detektors (ViTPose) initialisiert, der auf realen Bildern trainiert wurde, und anschließend auf den synthetischen Daten feinabstimmt, um die Generalisierung zu gewährleisten.
2. 3D-Triangulation und Kalibrierung: Das System unterstützt zwei Workflows: einen unter Verwendung synchronisierter Videos mit physischer Schachbrett-Kalibrierung sowie einen automatisierten Kalibrierungsmodus. Letzterer behandelt das Subjekt als dynamisches Kalibrierungsobjekt und nutzt die detektierten dichten anatomischen Landmarks über verschiedene Ansichten hinweg, um die Kameraparameter (Extrinsics) mittels Bundle Adjustment zu schätzen, wodurch der Bedarf an physischen Kalibrierungszielen entfällt.
3. Biomechanische Simulation: Die triangulierten 3D-virtuellen Marker werden mittels OpenSim verarbeitet. Das System skaliert ein generisches Muskel-Skelett-Modell auf die Anthropometrie des Probanden und berechnet inverse Kinematik sowie inverse Dynamik (Gelenkmomente).

Ein Kernmerkmal ist das umgebungsspezifische Fine-Tuning. Das Framework kann synthetische Trainingsdaten generieren, die auf die spezifische Kamera-Geometrie und den Hintergrund eines bestimmten Labors zugeschnitten sind, was es ermöglicht, das Modell für einen spezifischen Standort zu optimieren, ohne neue manuelle Annotationen vornehmen zu müssen.

Wesentliche Beiträge

• Synthetische datengesteuerte Trainingsverfahren: Durch die Nutzung groß angelegter synthetischer Daten vermeidet DeepGaitLab die arbeitsintensive Annotation von realen Multi-View-Datensätzen und erreicht gleichzeitig eine hohe Genauigkeit und Generalisierbarkeit.
• Dichte Landmark-Repräsentation: Der Wechsel von spärlichen Gelenkzentren zu dichten Oberflächen-Landmarks liefert geometrische Randbedingungen, die Segmentorientierungen genauer bestimmen und so die inhärente Ambiguität spärlicher Keypoint-Ansätze adressieren.
• Flexibler und kalibrierungsfreier Betrieb: Das Framework funktioniert effektiv mit nur zwei Kameras und beinhaltet eine automatisierte Kalibrierungsfunktion, die die Barriere zeitaufwendiger manueller Kalibrierung entfernt.
• Robustheit gegenüber Pathologien: Das System behält eine konsistente Leistung über diverse Populationen hinweg bei, einschließlich Personen mit Mobilitätseinschränkungen, bei denen andere Werkzeuge oft an Genauigkeit verlieren.

Ergebnisse
Die Autoren evaluierten DeepGaitLab an 80 Personen aus vier Gruppen: gesunde Erwachsene, Personen in der Erholung nach einer vorderen Kreuzbandrekonstruktion (ACLR), Schlaganfallpatienten und Personen mit leichter kognitiver Beeinträchtigung (MCI).

• Genauigkeit im Vergleich zum Stand der Technik: Bei gesunden Erwachsenen übertraf DeepGaitLab OpenCap und Theia3D konsistent. In einem Zwei-Kamera-Setup zeigte es eine signifikant geringere quadratische Mittelwertdifferenz (RMSD) im Vergleich zu markerbasierten Referenzen als OpenCap (4,2° vs. 5,9°).
• Skalierbarkeit mit der Kameranzahl: Im Gegensatz zu OpenCap, dessen Genauigkeit bei einer Erhöhung der Kameras von zwei auf zehn stagnierte, zeigte DeepGaitLab eine monotone Genauigkeitsverbesserung mit zunehmender Kameradichte.
• Generalisierung auf Pathologien: DeepGaitLab behielt eine konsistente Leistung bei ACLR-Patienten bei und zeigte keinen signifikanten Unterschied in der Genauigkeit zwischen der gesunden und der beeinträchtigten Gruppe. Im Gegensatz dazu zeigten OpenCap und Theia3D signifikant höhere Fehler in der ACLR-Gruppe. DeepGaitLab detektierte erfolgreich klinisch relevante interlimb-Asymmetrien in der Hüftflexion/-extension sowie in der Adduktion/Abduktion, die andere Werkzeuge übersahen.
• Spatiotemporale Metriken: Bei Patienten mit MCI und Schlaganfall erreichte DeepGaitLab eine Übereinstimmung der Schrittlängen-Asymmetrie, die vergleichbar mit Theia3D (welches acht Kameras nutzte) war, während es nur zwei Kameras verwendete.
• Inverse Dynamik: DeepGaitLab lieferte eine geringere relative RMSD in der Schätzung der Gelenkmomente im Vergleich zu OpenCap in Zwei-Kamera-Setups, insbesondere bei nicht-sagittalen Bewegungen.
• Validierung von Merkmalen: Die automatisierte Kalibrierung erreichte eine Leistung, die mit der manuellen Schachbrett-Kalibrierung vergleichbar war. Das umgebungsspezifische Fine-Tuning lieferte marginale, aber statistisch signifikante Verbesserungen bei Überland-Gehtests, insbesondere bei der Knie- und Sprunggelenkskinematik.

Bedeutung
Das Paper positioniert DeepGaitLab als eine praktische, skalierbare Plattform, welche die Lücke zwischen biomechanischer Forschung und klinischer Anwendung schließt. Indem es demonstriert, dass mit Consumer-RGB-Kameras und synthetischer Supervision eine motionsanalytische Qualität auf Forschungsniveau erreicht werden kann, demokratisiert das Framework den Zugang zur quantitativen Ganganalyse. Die Autoren legen nahe, dass, während markerbasierte Systeme lange Zeit den „Goldstandard“ darstellten, die Fähigkeit visuell basierter Methoden, diese Grenzen zu erreichen oder potenziell zu übertreffen (sobald neue, höher auflösende Referenzen wie die Biplan-Radiographie adaptiert werden), die klinische Evaluation neu definieren könnte. DeepGaitLab bietet eine transparente, Open-Source-Alternative zu proprietären Systemen und ermöglicht so eine breitere Anwendung in Kliniken und Laboren ohne die Kompromisse bei Genauigkeit, Skalierbarkeit oder Flexibilität, die bisherige Werkzeuge begrenzt haben.