Riepilogo Tecnico: Un Autoencoder Variazionale a Forma Elastica per le Traiettorie di Pose Scheletriche

Enunciato del Problema

I modelli generativi profondi, in particolare gli Autoencoder Variazionali (VAE), si sono dimostrati efficaci per dati strutturati come immagini e testi. Tuttavia, quando applicati a sequenze di scheletri umani, i VAE standard spesso faticano a isolare la geometria intrinseca delle forme e il loro movimento. Invece, allocano una significativa capacità del modello su "fattori di disturbo" — variazioni nell'orientamento della telecamera, nella scala del soggetto, nel punto di vista e nella velocità di esecuzione (variabilità del tasso temporale). Questi fattori sono inevitabili nelle configurazioni di registrazione naturalistiche ma sono irrilevanti per compiti come la classificazione delle attività o la valutazione clinica della mobilità. I metodi tradizionali di analisi delle forme rimuovono queste trasformazioni prima dell'analisi statistica, ma integrare queste invarianti geometriche in potenti framework di deep learning, che tipicamente operano su variabili euclidee, rimane una sfida.

Metodologia

Gli autori propongono l'Autoencoder Variazionale a Forma Elastica (ES-VAE), un modello generativo consapevole della geometria progettato specificamente per le traiettorie scheletriche. L'innovazione centrale risiede nella rappresentazione dei dati scheletrici sulla varietà di forma di Kendall e nell'utilizzo del framework del Campo di Velocità Radice Quadrata Trasportato (TSRVF).

1. Rappresentazione Geometrica

• Spazio delle Forme di Kendall: Ogni scheletro è trattato come una configurazione di $k$ punti di riferimento in $\mathbb{R}^m$. Il modello rimuove la traslazione (mediante centratura), la scala (normalizzando alla norma di Frobenius unitaria) e la rotazione (quotientando il gruppo ortogonale speciale $SO(m)$). Ciò risulta in una rappresentazione invariante rispetto alle trasformazioni rigide e alla scalatura globale.
• TSRVF per l'Allineamento Temporale: Per affrontare la variabilità del tasso (ad esempio, diverse velocità di camminata), il metodo impiega il framework TSRVF. Ciò comporta il calcolo della derivata covariante della traiettoria, il trasporto parallelo dei vettori tangenti a un punto di riferimento comune (la media di Fréchet) e la loro normalizzazione. Ciò consente un allineamento temporale ottimale tramite Programmazione Dinamica, rimuovendo efficacemente i profili di velocità mentre preserva la dinamica della forma.

2. Architettura Riemanniana VAE

L'ES-VAE opera direttamente sulla varietà piuttosto che approssimarla nello spazio euclideo:

• Codificatore: Prende la rappresentazione del vettore tangente di una traiettoria (calcolata tramite la mappa logaritmica Riemanniana dalla media di Fréchet) e la mappa in uno spazio latente a bassa dimensionalità $z \in \mathbb{R}^L$.
• Decodificatore: Mappa il codice latente $z$ nuovamente nello spazio tangente tramite una rete neurale, quindi lo proietta sulla varietà di forma utilizzando la mappa esponenziale Riemanniana per ricostruire la traiettoria.
• Funzione di Perdita: Il modello è addestrato massimizzando il Limite Inferiore Evidenziale Riemanniano (ELBO). Il termine di ricostruzione utilizza la distanza geodetica quadratica sulla varietà di forma, e il termine di regolarizzazione è la divergenza di Kullback-Leibler (KL) rispetto a una prior normale standard nello spazio latente.

Contributi Chiave

1. VAE a Forma Elastica: Introduzione di un VAE Riemanniano che incorpora le traiettorie scheletriche (rappresentate da SRVF trasportati sullo spazio delle forme di Kendall) in uno spazio latente a bassa dimensionalità. Questa progettazione garantisce un'invarianza completa rispetto a traslazione, rotazione, scala e profili di velocità dell'attività per costruzione.
2. Superiorità dell'Apprendimento su Varietà: Utilizzando dati sintetici su una sfera unitaria ($S^2$), gli autori dimostrano che l'ES-VAE approssima subvarietà non geodetiche unidimensionali con maggiore accuratezza rispetto alla PCA euclidea, al VAE euclideo e alla PCA nello spazio tangente. Ciò evidenzia l'importanza di preservare le strutture geometriche non lineari che le approssimazioni euclidee perdono.
3. Interpretabilità Clinica e Prestazioni: Su un dataset clinico di 155 partecipanti (sani vs. post-ictus), è stato dimostrato che le dimensioni latenti apprese:
   • Mappano su caratteristiche interpretabili dell'andatura (ad esempio, lunghezza del passo, rigidità degli arti, variabilità del braccio).
   • Correlano fortemente con i punteggi clinici di mobilità (POMA).
   • Superano i baseline classici e di deep learning nel prevedere la gravità dell'ictus e nel classificare la lateralità dell'ictus.
4. Prestazioni nel Riconoscimento di Azioni: Su un sottoinsieme curato del dataset NTU RGB+D, le rappresentazioni latenti dell'ES-VAE hanno superato vari baseline (inclusi TCN, Transformer e Reti Convolutive su Grafi) nella classificazione di categorie di azioni difficili, dimostrando la generalizzabilità della rappresentazione basata sulla forma.

Risultati Sperimentali

Il documento valuta l'ES-VAE contro un set completo di baseline, inclusi metodi su scheletri grezzi (PCA, VAE, TCN, LSTM, Transformer, ST-GCN), metodi basati su angoli articolari e metodi basati su vettori tangenti.

• Dataset Andatura Ictus (Regressione): Per la previsione dei punteggi POMA, l'ES-VAE ha raggiunto un $R^2$ di 0.74 e un RMSE di 2.82, superando significativamente il miglior modello di deep learning su scheletri grezzi (LSTM, $R^2=0.64$) e la PCA Tangente ($R^2=0.70$).
• Dataset Andatura Ictus (Classificazione): Nella classificazione a tre classi (Sano, Ictus Sinistro, Ictus Destro), l'ES-VAE ha raggiunto un F1 macro di 0.83, superando la PCA Tangente (0.79) e tutti i modelli di deep learning su scheletri grezzi.
• Riconoscimento Azioni NTU-60: Su un sottoinsieme difficile a 10 classi, l'ES-VAE ha raggiunto un F1 macro di 0.56, superando il miglior baseline basato su vettori tangenti (PCA Tangente a 0.50) e i baseline su scheletri grezzi. Notabilmente, ha migliorato un VAE Vanilla (0.27) di 0.29, dimostrando il valore del pre-processing geometrico.
• Studi di Ablazione: I risultati hanno confermato che l'allineamento geometrico è critico. Rimuovere solo la traslazione è stato insufficiente; la combinazione dello spazio delle forme di Kendall (rimozione di scala/rotazione) e del TSRVF (rimozione della variabilità del tasso) ha prodotto le migliori prestazioni. Anche la funzione di perdita di ricostruzione geodetica ha fornito un vantaggio coerente rispetto all'MSE nello spazio tangente euclideo.

Significato e Affermazioni

Il documento afferma che il vantaggio primario dell'ES-VAE è strutturale: rimuovendo geometricamente la variabilità di disturbo (traslazione, rotazione, scala, velocità) prima della modellazione, la rete profonda può allocare la sua capacità interamente nell'apprendere dinamiche di forma significative.

• Interpretabilità: A differenza degli approcci di deep learning "scatola nera", le dimensioni latenti dell'ES-VAE corrispondono a caratteristiche specifiche e clinicamente rilevanti dell'andatura (ad esempio, riduzione del passo, rigidità degli arti), offrendo un quadro principiato per l'analisi di dati longitudinali su varietà di forme di posa.
• Generalizzabilità: L'approccio si è dimostrato efficace sia nell'analisi clinica dell'andatura che nel riconoscimento generale delle azioni, suggerendo che la modellazione diretta sulla varietà preserva la struttura geometrica essenziale che viene persa nelle approssimazioni euclidee.
• Limitazioni: Gli autori notano che lo studio è limitato dalla dimensione del dataset (155 partecipanti per l'ictus, 40 per il sottoinsieme NTU) e dall'uso esclusivo di dati cinematici. Suggeriscono che lavori futuri potrebbero coinvolgere dataset multi-centro più ampi, input multimodali (ad esempio, EMG) e architetture più espressive, sebbene potenzialmente a scapito dell'interpretabilità.

In conclusione, l'ES-VAE fornisce un framework robusto, interpretabile e ad alte prestazioni per l'analisi delle traiettorie di pose scheletriche, dimostrando che l'incorporazione di invarianti geometriche nell'architettura del modello generativo produce risultati superiori rispetto agli approcci standard di deep learning che tentano di apprendere queste invarianti dai dati grezzi.