AtGCN: A Graph Convolutional Network For Ataxic Gait Detection

Probleemstelling

Ataxie is een aandoening die leidt tot een onzekere, wankelende loopgang (ataxische gang) als gevolg van disfuncties in het cerebellum of het vestibulaire systeem. De vroege detectie is cruciaal, aangezien er geen genezing bestaat. Huidige diagnostische methoden, zoals de SARA-schaal (Scale for the Assessment and Rating of Ataxia), zijn afhankelijk van visuele inspectie door gespecialiseerde professionals, wat subjectief en tijdrovend is.

De uitdagingen bij het automatiseren van deze detectie met machine learning zijn:

1. Subtiele verschillen: De afwijkingen tussen een gezonde gang en een ataxische gang zijn zeer subtiel, in tegenstelling tot grovere bewegingen zoals vallen of actieherkenning.
2. Kleine datasets: Beschikbare datasets voor ataxie-detectie zijn extreem klein. De grootste dataset (Auto-Gait) bevat slechts 149 video-opnames van 89 deelnemers. Dit maakt het trainen van diepe neurale netwerken (DL) zonder overfitting zeer moeilijk.
3. Privacy en data-aard: Veel bestaande systemen gebruiken draagbare sensoren (IMU's) of 3D-camera's. Dit paper richt zich op 2D-video's (privacyvriendelijker en breder toepasbaar), maar 2D-data mist diepte-informatie, wat de schatting van afstanden bemoeilijkt.

Methodologie

Het voorgestelde systeem, AtGCN, is een Graph Convolutional Network (GCN) dat specifiek is ontworpen voor spatiotemporale analyse van loopbewegingen. De architectuur bestaat uit vier hoofdmodules:

1. Preprocessing:

   • Een inputvideo wordt verwerkt met OpenPose om 18 key-points (lichaamsdelen) per frame te extraheren.
   • DeepSORT wordt gebruikt om de ID's van de persoon over de frames heen te volgen.
   • De output is een sequentie van 2D-coördinaten.

2. Extractie van Loopcycli (Gait Cycle Extraction):

   • In plaats van het hele video-bestand als input te nemen, wordt de sequentie opgesplitst in individuele loopcycli.
   • Een loopcyclus wordt gedetecteerd door de Euclidische afstand tussen de linkere en rechterenkel te analyseren. Deze afstand volgt een sinusvormig patroon (maximaal bij de hakstoot en tenstand, minimaal bij de middenstand).
   • Ruis wordt gefilterd met een Savitzky-Golay-smoothing en een moving average filter.

3. Grafconstructie:

   • Elke loopcyclus wordt omgezet in een spatiotemporale graaf $G = (V, E)$.
   • Nodes ($V$): De 2D-coördinaten ($x, y$) en de confidence-score van de key-points.
   • Edges ($E$): Bestaan uit twee delen:
     • Intra-frame: Verbindt anatomisch verbonden lichaamsdelen binnen één frame.
     • Inter-frame: Verbindt hetzelfde lichaamsdeel over opeenvolgende frames (temporele connectie).

4. Het AtGCN Model:

   • Het model is een aangepaste versie van een bestaande GCN (gebaseerd op [24]) die is getraind op het grote Kinetics-dataset (actieherkenning).
   • Truncatie en Fine-tuning: Omdat de ataxie-datasets te klein zijn, wordt een diep pre-getraind model (10 blokken) systematisch ingekort (truncation) en vervolgens gefine-tuned op de ataxie-data.
   • Spatiotemporale Convolutie: Het model past convolutiefilters toe op de grafknopen en hun buren, waarbij zowel ruimtelijke (anatomie) als temporele (beweging over tijd) relaties worden meegenomen.
   • Ablatie-studie: Er wordt onderzocht hoeveel blokken optimaal zijn. Het paper concludeert dat een model met 6 blokken de beste balans biedt tussen prestatie en complexiteit.
   • Output: Het model voert twee taken uit:
     • Classificatie: Gezond vs. Ataxisch (met SoftMax).
     • Regressie: Schatting van de ernst (SARA-score) via een regressie-laag.

Belangrijkste Bijdragen

• AtGCN Architectuur: Introductie van een GCN die specifiek is ontworpen voor de subtiele variaties in ataxische gang, in plaats van handgemaakte kenmerken of standaard CNN's.
• Omgaan met kleine datasets: Een effectieve strategie die bestaat uit het splitsen van video's in loopcycli (data-augmentatie) en het gebruik van transfer learning (pre-training op Kinetics + fine-tuning + truncatie).
• Spatiotemporale Graaf: Een methode om zowel de anatomische structuur als de temporele dynamiek van de loopgang te modelleren in één grafstructuur.
• Efficiëntie: Het model is aanzienlijk kleiner dan state-of-the-art alternatieven (ongeveer 5,5 keer kleiner) terwijl het betere prestaties levert.

Resultaten

Het model is geëvalueerd op twee publieke datasets: Auto-Gait (89 deelnemers, 149 video's) en CA-Gait (20 deelnemers, 40 video's).

1. Detectie van Ataxische Gang (Classificatie):

   • Auto-Gait: AtGCN bereikte een nauwkeurigheid van 93,46% en een F1-score van 92,54%, wat een verbetering is van ongeveer 10% ten opzichte van de vorige state-of-the-art (Auto-Gait [16] en GaitGraph).
   • CA-Gait: De nauwkeurigheid steeg tot 99,5%, wat een verbetering is van 3% ten opzichte van eerdere LSTM-gebaseerde modellen.
   • Het model toonde een lagere standaardafwijking, wat wijst op grotere stabiliteit.

2. Schatting van Ernst (Regressie):

   • Voor het voorspellen van de SARA-score (ernst van de ataxie) behaalde AtGCN een Mean Absolute Error (MAE) van 0,4169, vergeleken met 0,6225 voor de vorige beste methode.
   • De correlatie met de grondwaarheid (Pearson's Coëfficiënt) was zeer hoog (0,87).

3. Efficiëntie:

   • Het beste model (6 blokken) heeft ongeveer 0,576 miljoen parameters, wat aanzienlijk kleiner is dan vergelijkbare modellen, wat het geschikt maakt voor implementatie in ziekenhuizen met beperkte rekenkracht.

Betekenis en Conclusie

Dit paper toont aan dat Graph Convolutional Networks zeer effectief zijn voor het detecteren van subtiele pathologieën in loopgangen, zelfs wanneer de beschikbare datasets zeer klein zijn. Door de combinatie van transfer learning, data-augmentatie via loopcycli en spatiotemporale grafconvolutie, slaagt AtGCN erin om de huidige staat van de techniek te overtreffen in zowel nauwkeurigheid als modelgrootte.

De resultaten suggereren dat AI-systemen op basis van 2D-video's ziekenhuizen kunnen uitrusten met objectieve, snelle en goedkope hulpmiddelen voor de screening en monitoring van ataxie. De auteurs wijzen echter ook op beperkingen, zoals de beperkte datasetgrootte en de "black-box" aard van neurale netwerken, en pleiten voor toekomstig werk gericht op het vergroten van datasets en het ontwikkelen van uitlegbare AI (Explainable AI) voor klinische acceptatie.