A Standardized Benchmark for Skeleton-Based Rehabilitation Assessment Using Deep Learning

Technische Samenvatting: Een Gestandaardiseerde Benchmark voor Skeleton-gebaseerde Revalidatiebeoordeling met Deep Learning

Probleemstelling
Geautomatiseerde beoordeling van menselijke beweging is cruciaal voor revalidatie, omdat het een objectieve evaluatie biedt van de voortgang van patiënten en de uitvoering van oefeningen. De beoordeling van revalidatiebewegingen verschilt echter fundamenteel van algemene menselijke activiteitsherkenning. Waar activiteitsherkenning classificeert wat voor actie wordt uitgevoerd (bijv. wandelen versus hardlopen), evalueert revalidatiebeoordeling de kwaliteit van een specifieke actie, wat de detectie van subtiele afwijkingen van een ideale beweging vereist.

Ondanks vooruitgang in deep learning en videogebaseerde skeleton-extractie, ontbreken gestandaardiseerde benchmarks, consistente evaluatieprotocollen en reproduceerbare methodologieën in dit vakgebied. Bestaand onderzoek vertrouwt vaak op een beperkte set datasets (met name KIMORE en UI-PRMD), gebruikt inconsistente experimentele protocollen (variërende datasplitsingen en metrieken) en publiceert frequent geen broncode. Dit gebrek aan een verenigend kader belemmert de mogelijkheid om benaderingen objectief te vergelijken, resultaten te reproduceren of de generaliseerbaarheid over diverse populaties en oefentypes te beoordelen.

Methodologie
Om deze tekortkomingen aan te pakken, stellen de auteurs een uitgebreid benchmarking-framework voor dat rust op drie pijlers:

1. Rehab-Pile Archief: De auteurs hebben negen bestaande publieke repositories samengevoegd tot een verenigd archief genaamd "Rehab-Pile". Dit archief behandelt elke specifieke oefening binnen een repository als een onafhankelijke dataset, wat resulteert in een totaal van 60 datasets:

   • 39 Classificatie Datasets: Dekking van binaire en multi-class taken (bijv. correcte versus incorrecte uitvoering, of specifieke fouttypen).
   • 21 Extrinsieke Regressie Datasets: Dekking van continue scorevoorspelling (bijv. ernstniveaus of prestatiescores).
     De data bestaat uit skeleton-sequenties (gewrichtscoördinaten) geëxtraheerd uit videostreams (RGB of RGB-D), voornamelijk vastgelegd via Kinect-sensoren of OpenPose.

2. Verenigd Evaluatiekader: De studie evalueert negen deep learning architecturen over alle 60 datasets onder een strikt gestandaardiseerd protocol:

   • Architecturen: De modellen beslaan vier categorieën: convolutie-gebaseerd (FCN, H-Inception, LITEMV, DisjointCNN), recurrent-gebaseerd (MotionGRU, ConvLSTM), self-attention-gebaseerd (VanTran, ConvTran) en graaf-gebaseerd (STGCN).
   • Data Preprocessing: Alle sequenties worden gehersampled naar een gemeenschappelijk aantal frames per dataset, genormaliseerd met behulp van min-max schaling (berekend op alleen de trainingsdata), en omgezet naar een multivariate tijdreeksformat (het platmaken van gewrichts- en dimensieassen) voor de meeste modellen, behalve voor STGCN dat ruwe skeleton-sequenties gebruikt.
   • Experimenteel Protocol: Een cross-subject split wordt afgedwongen om datalekken te voorkomen. Het aantal folds wordt bepaald door het aantal subjecten (5-fold voor $\ge$10 subjecten, leave-one-subject-out anders).
   • Ensembling: Om resultaten te stabiliseren, wordt elk model vijf keer getraind met verschillende willekeurige initialisaties per fold, en worden voorspellingen gemiddeld.
   • Metrieken: Classificatie wordt geëvalueerd met behulp van Accuracy en Balanced Accuracy. Regressie gebruikt Mean Absolute Error (MAE) en Root Mean Squared Error (RMSE). Efficiëntie wordt gemeten via training-/inferentietijd, aantal parameters en FLOPs.

3. Statistische Analyse: Vergelijkingen van prestaties maken gebruik van Multi-Comparison Matrices (MCM) en de Wilcoxon Signed-Rank Test om de statistische significantie ($p < 0.05$) van prestatieverschillen tussen modellen te bepalen.

Belangrijkste Resultaten
De uitgebreide benchmarking leverde de volgende bevindingen op:

• Regressie Prestaties: LITEMV (Light Inception with boosTing tEchniques MultiVariate) kwam naar voren als het statistisch superieure model voor extrinsieke regressie, waarbij het alle concurrenten overtrof in zowel MAE als RMSE. De auteurs schrijven dit toe aan het gebruik van Depthwise Separable Convolutions (DWSCs) en handgemaakte filters door LITEMV, die effectief zowel temporele als ruimtelijke correlaties vastleggen. ConvTran (een self-attention model met convolutionele embedding) rangschikte als tweede, wat suggereert dat langetermijnafhankelijkheden cruciaal zijn voor regressietaken.
• Classificatie Prestaties: Bij classificatietaken behaalde LITEMV opnieuw de hoogste gemiddelde nauwkeurigheid (75,49%) en balanced accuracy, hoewel de marge ten opzichte van VanTran (Vanilla Transformer) niet statistisch significant was ($p > 0.05$). MotionGRU rangschikte als tweede in balanced accuracy en presteerde goed op ongebalanceerde datasets. Opvallend genoeg rangschikte STGCN (Spatio-Temporal Graph Convolution Network), hoewel het redelijk presteerde in regressie, als laatste in classificatie, wat suggereert dat GCN-gebaseerde architecturen mogelijk minder geschikt zijn voor revalidatieclassificatietaken onder deze omstandigheden.
• Efficiëntie vs. Prestatie-afweging: LITEMV demonstreerde de beste algehele afweging, waarbij het topniveau prestaties bood met het laagste aantal parameters en FLOPs. MotionGRU was het snelst voor inferentie, terwijl ConvTran het snelst was om te trainen. VanTran was het meest computationeel intensief vanwege de kwadratische FLatafschaling van FLOPs met de sequentielengte en meerdere attention-lagen.
• Modelkenmerken: De resultaten geven aan dat eenvoudige CNN's (FCN) en standaard LSTM's (ConvLSTM) onderpresteren vergeleken met meer gespecialiseerde architecturen. Het succes van LITEMV en ConvTran benadrukt het belang van het vastleggen van zowel lokale temporele patronen (via convolutie) als globale afhankelijkheden (via attention of recurrent geheugen).

Betekenis en Claims
Het artikel beweert een solide fundament te leggen voor toekomstig onderzoek in geautomatiseerde revalidatiebeoordeling door:

1. Het Veld te Standaardiseren: Het bieden van het eerste verenigde archief (Rehab-Pile) met 60 diverse datasets en een reproduceerbaar evaluatieprotocol, wat eerlijke vergelijkingen tussen studies mogelijk maakt.
2. State-of-the-Art te Identificeren: Aantonen dat LITEMV momenteel de meest effectieve en efficiënte architectuur is voor skeleton-gebaseerde revalidatiebeoordeling, met name voor regressietaken, terwijl het potentieel van Transformer-gebaseerde modellen voor classificatie wordt benadrukt.
3. Reproduceerbaarheid te Bevorderen: Het vrijgeven van alle geaggregeerde datasets, broncode en gedetailleerde experimentele resultaten aan de gemeenschap om transparantie te bevorderen en de ontwikkeling van betrouwbare, toegankelijke en gepersonaliseerde revalidatiesolutions te versnellen.

De auteurs benadrukken dat hoewel LITEMV momenteel leidt, de classificatietaak uitdagend blijft (gemiddelde nauwkeurigheid ~75%), wat wijst op een noodzaak voor voortdurende exploratie van modelarchitecturen om de prestaties verder te verbeteren.