Technische Samenvatting: Een Elastisch Vorm Variational Autoencoder voor Skelet Pose Trajecten

Probleemstelling

Diepe generatieve modellen, met name Variational Autoencoders (VAE's), hebben zich bewezen als effectief voor gestructureerde data zoals afbeeldingen en tekst. Echter, wanneer ze worden toegepast op sequenties van menselijke skeletten, worstelen standaard VAE's vaak om de intrinsieke geometrie van vormen en hun beweging te isoleren. In plaats daarvan besteden ze aanzienlijke modelcapaciteit aan "nutteloze factoren"—variaties in cameraoriëntatie, onderwerpsschaal, gezichtshoek en uitvoeringssnelheid (temporele variabiliteit in tempo). Deze factoren zijn onvermijdelijk in naturalistische opnamesituaties, maar zijn irrelevant voor taken zoals activiteitsclassificatie of klinische mobiliteitsbeoordeling. Traditionele methoden voor vormanalyse verwijderen deze transformaties voordat statistische analyse wordt uitgevoerd, maar het integreren van deze geometrische invarianties in krachtige deep learning-frameworks, die doorgaans opereren op Euclidische variabelen, blijft een uitdaging.

Methodologie

De auteurs stellen de Elastische Vorm Variational Autoencoder (ES-VAE) voor, een geometrie-bewust generatief model dat specifiek is ontworpen voor skelettrajecten. De kerninnovatie ligt in het vertegenwoordigen van skeletdata op het Kendall-vormmanifold en het gebruik van het Transported Square-Root Velocity Field (TSRVF)-kader.

1. Geometrische Representatie

• Kendall Vormruimte: Elk skelet wordt behandeld als een configuratie van $k$ landmarks in $\mathbb{R}^m$. Het model verwijdert translatie (door centrering), schaal (door normalisatie naar een eenheid Frobenius-norm) en rotatie (door quotiëntvorming met de speciale orthogonale groep $SO(m)$). Dit resulteert in een representatie die invariant is voor rigide transformaties en globale schaling.
• TSRVF voor Temporele Uitlijning: Om variabiliteit in tempo aan te pakken (bijvoorbeeld verschillende loopsnelheden), maakt de methode gebruik van het TSRVF-kader. Dit omvat het berekenen van de covariante afgeleide van het traject, het parallel transporteren van raakvector naar een gemeenschappelijk referentiepunt (het Fréchet-gemiddelde) en het normaliseren ervan. Dit maakt optimale temporele uitlijning mogelijk via Dynamisch Programmeren, wat snelheidsprofielen effectief verwijdert terwijl vormdynamiek behouden blijft.

2. Riemanniaanse VAE Architectuur

De ES-VAE werkt direct op het manifold in plaats van het te benaderen in de Euclidische ruimte:

• Encoder: Neemt de raakvectorrepresentatie van een traject (berekend via de Riemanniaanse logaritmeafbeelding vanuit het Fréchet-gemiddelde) en mapt deze naar een laagdimensionale latente ruimte $z \in \mathbb{R}^L$.
• Decoder: Mapt de latente code $z$ terug naar de raakruimte via een neurale netwerk, projecteert deze vervolgens op het vormmanifold met behulp van de Riemanniaanse exponentiële afbeelding om het traject te reconstrueren.
• Verliesfunctie: Het model wordt getraind door de Riemanniaanse Evidence Lower Bound (ELBO) te maximaliseren. Het reconstructiegedeelte maakt gebruik van de kwadratische geodetische afstand op het vormmanifold, en het regularisatiegedeelte is de Kullback-Leibler (KL) divergentie tegen een standaard normale prior in de latente ruimte.

Belangrijkste Bijdragen

1. Elastische Vorm VAE: Introductie van een Riemanniaanse VAE die skelettrajecten (vertegenwoordigd door getransporteerde SRVFs op Kendall-vormruimte) inbedt in een laagdimensionale latente ruimte. Dit ontwerp zorgt voor volledige invariantie ten opzichte van translatie, rotatie, schaling en activiteitssnelheidsprofielen door constructie.
2. Superioriteit van Manifold Learning: Met synthetische data op een eenheidssfeer ($S^2$) tonen de auteurs aan dat ES-VAE niet-geodetische, eendimensionale submanifolden nauwkeuriger benadert dan Euclidische PCA, Euclidische VAE en Tangentruimte-PCA. Dit benadrukt het belang van het behoud van niet-lineaire geometrische structuren die door Euclidische benaderingen verloren gaan.
3. Klinische Interpretabiliteit en Prestaties: Op een klinische dataset van 155 deelnemers (gezond versus post-beroerte) bleek dat de geleerde latente dimensies:
   • Koppelen aan interpreteerbare loopkenmerken (bijvoorbeeld staplengte, ledemaatstijfheid, armvariatie).
   • Hoog correleren met klinische mobiliteitsscores (POMA).
   • Beter presteren dan klassieke en deep learning-baselines bij het voorspellen van beroertezwaarte en het classificeren van laterale beroerte.
4. Prestaties Actierecognitie: Op een gecureerde subset van de NTU RGB+D-dataset presteerden de ES-VAE-lateente representaties beter dan diverse baselines (inclusief TCN's, Transformers en Graph Convolutional Networks) bij het classificeren van moeilijke actiecategorieën, wat de generaliseerbaarheid van de vormgebaseerde representatie aantoont.

Experimentele Resultaten

Het artikel evalueert ES-VAE tegen een uitgebreide reeks baselines, waaronder methoden voor ruwe skeletten (PCA, VAE, TCN, LSTM, Transformer, ST-GCN), methoden voor gewrichtshoeken en methoden voor raakvectoren.

• Beroerte Loop Dataset (Regression): Voor het voorspellen van POMA-scores behaalde ES-VAE een $R^2$ van 0,74 en een RMSE van 2,82, wat aanzienlijk beter was dan het beste deep learning-model voor ruwe skeletten (LSTM, $R^2=0,64$) en Tangent PCA ($R^2=0,70$).
• Beroerte Loop Dataset (Classificatie): Bij drie-klassen classificatie (Gezond, Linker Beroerte, Rechter Beroerte) behaalde ES-VAE een macro F1 van 0,83, waarmee het Tangent PCA (0,79) en alle deep learning-modellen voor ruwe skeletten overtrof.
• NTU-60 Actierecognitie: Op een moeilijke subset van 10 klassen behaalde ES-VAE een macro F1 van 0,56, wat beter was dan de beste raakvector-baseline (Tangent PCA op 0,50) en baselines voor ruwe skeletten. Opmerkelijk is dat het een Vanilla VAE (0,27) met 0,29 verbeterde, wat de waarde van de geometrische voorverwerking aantoont.
• Ablatiestudies: Resultaten bevestigden dat geometrische uitlijning cruciaal is. Het alleen verwijderen van translatie was onvoldoende; de combinatie van Kendall-vormruimte (verwijdering van schaal/rotatie) en TSRVF (verwijdering van tempo-variabiliteit) leverde de beste prestaties op. De geodetische reconstructieverliesfunctie bood ook een consistent voordeel ten opzichte van Euclidische tangentruimte-MSE.

Betekenis en Claims

Het artikel beweert dat het primaire voordeel van ES-VAE structureel is: door geometrisch nutteloze variabiliteit (translatie, rotatie, schaal, snelheid) voordat modellering wordt verwijderd, kan het diepe netwerk zijn capaciteit volledig toewijzen aan het leren van betekenisvolle vormdynamiek.

• Interpretabiliteit: In tegenstelling tot "black box" deep learning-aanpakken, corresponderen de latente dimensies van ES-VAE met specifieke, klinisch relevante loopkenmerken (bijvoorbeeld vermindering van staplengte, ledemaatstijfheid), en bieden ze een principieel kader voor het analyseren van longitudinale data op vormmanifolden.
• Generaliseerbaarheid: De aanpak blijkt effectief te zijn voor zowel klinische loopanalyse als algemene actierecognitie, wat suggereert dat het modelleren direct op het manifold essentiële geometrische structuren behoudt die verloren gaan in Euclidische benaderingen.
• Beperkingen: De auteurs merken op dat het onderzoek beperkt is door de datasetgrootte (155 deelnemers voor beroerte, 40 voor NTU-subset) en het gebruik van uitsluitend kinematische data. Zij suggereren dat toekomstig werk grotere multicenter-datasets, multimodale invoer (bijvoorbeeld EMG) en expressievere architecturen zou kunnen omvatten, zij het mogelijk ten koste van interpretabiliteit.

Concluderend biedt ES-VAE een robuust, interpreteerbaar en hoogpresterend kader voor analyse van skelet pose-trajecten, en toont het aan dat het integreren van geometrische invarianties in de architectuur van het generatieve model superieure resultaten oplevert in vergelijking met standaard deep learning-aanpakken die proberen deze invarianties uit ruwe data te leren.