Resumo Técnico: Um Autoencoder Variacional de Forma Elástica para Trajetórias de Postura Esquelética

Declaração do Problema

Modelos generativos profundos, particularmente Autoencoders Variacionais (VAEs), provaram ser eficazes para dados estruturados como imagens e texto. No entanto, quando aplicados a sequências de esqueletos humanos, os VAEs padrão frequentemente lutam para isolar a geometria intrínseca das formas e seu movimento. Em vez disso, eles alocam capacidade significativa do modelo para "fatores de incômodo"—variações na orientação da câmera, escala do sujeito, ponto de vista e velocidade de execução (variabilidade da taxa temporal). Esses fatores são inevitáveis em configurações de gravação naturalistas, mas são irrelevantes para tarefas como classificação de atividades ou avaliação clínica de mobilidade. Métodos tradicionais de análise de forma removem essas transformações antes da análise estatística, mas integrar essas invariantes geométricas em poderosas estruturas de aprendizado profundo, que tipicamente operam sobre variáveis euclidianas, permanece um desafio.

Metodologia

Os autores propõem o Autoencoder Variacional de Forma Elástica (ES-VAE), um modelo generativo consciente da geometria projetado especificamente para trajetórias esqueléticas. A inovação central reside em representar dados esqueléticos na variedade de forma de Kendall e utilizar o framework de Campo de Velocidade Raiz Quadrada Transportado (TSRVF).

1. Representação Geométrica

• Espaço de Forma de Kendall: Cada esqueleto é tratado como uma configuração de $k$ pontos de referência em $\mathbb{R}^m$. O modelo remove a translação (centralizando), a escala (normalizando para a norma de Frobenius unitária) e a rotação (quotientando o grupo ortogonal especial $SO(m)$). Isso resulta em uma representação invariante a transformações rígidas e escalonamento global.
• TSRVF para Alinhamento Temporal: Para abordar a variabilidade da taxa (por exemplo, diferentes velocidades de caminhada), o método emprega o framework TSRVF. Isso envolve calcular a derivada covariante da trajetória, transportar paralelamente vetores tangentes a um ponto de referência comum (a média de Fréchet) e normalizá-los. Isso permite um alinhamento temporal ótimo via Programação Dinâmica, removendo efetivamente perfis de velocidade enquanto preserva a dinâmica da forma.

2. Arquitetura de VAE Riemanniano

O ES-VAE opera diretamente na variedade, em vez de aproximá-la no espaço euclidiano:

• Codificador: Toma a representação do vetor tangente de uma trajetória (calculada via o mapa logarítmico Riemanniano a partir da média de Fréchet) e mapeia-a para um espaço latente de baixa dimensão $z \in \mathbb{R}^L$.
• Decodificador: Mapeia o código latente $z$ de volta ao espaço tangente através de uma rede neural e, em seguida, projeta-o na variedade de forma usando o mapa exponencial Riemanniano para reconstruir a trajetória.
• Função de Perda: O modelo é treinado maximizando o Limite Inferior de Evidência Riemanniano (ELBO). O termo de reconstrução utiliza a distância geodésica quadrada na variedade de forma, e o termo de regularização é a divergência de Kullback-Leibler (KL) contra uma prior normal padrão no espaço latente.

Contribuições Principais

1. VAE de Forma Elástica: Introdução de um VAE Riemanniano que incorpora trajetórias esqueléticas (representadas por SRVFs transportados no espaço de forma de Kendall) em um espaço latente de baixa dimensão. Este design garante invariância completa a translação, rotação, escala e perfis de velocidade da atividade por construção.
2. Superioridade no Aprendizado de Variedade: Usando dados sintéticos em uma esfera unitária ($S^2$), os autores demonstram que o ES-VAE aproxima subvariedades unidimensionais não geodésicas com maior precisão do que PCA euclidiana, VAE euclidiano e PCA no espaço tangente. Isso destaca a importância de preservar estruturas geométricas não lineares que aproximações euclidianas perdem.
3. Interpretabilidade Clínica e Desempenho: Em um conjunto de dados clínico de 155 participantes (saudáveis vs. pós-AVC), as dimensões latentes aprendidas mostraram-se capazes de:
   • Mapear para características de marcha interpretáveis (por exemplo, comprimento da passada, rigidez do membro, variabilidade do braço).
   • Correlacionar-se altamente com escores clínicos de mobilidade (POMA).
   • Superar baselines clássicos e de aprendizado profundo na previsão da gravidade do AVC e na classificação da lateralidade do AVC.
4. Desempenho em Reconhecimento de Ação: Em um subconjunto curado do conjunto de dados NTU RGB+D, as representações latentes do ES-VAE superaram várias baselines (incluindo TCNs, Transformers e Redes de Convolução em Grafos) na classificação de categorias de ação difíceis, demonstrando a generalizabilidade da representação baseada em forma.

Resultados Experimentais

O artigo avalia o ES-VAE contra um conjunto abrangente de baselines, incluindo métodos de esqueleto bruto (PCA, VAE, TCN, LSTM, Transformer, ST-GCN), métodos de ângulos articulares e métodos de vetores tangentes.

• Conjunto de Dados de Marcha Pós-AVC (Regressão): Para prever escores POMA, o ES-VAE alcançou um $R^2$ de 0,74 e RMSE de 2,82, superando significativamente o melhor modelo de aprendizado profundo de esqueleto bruto (LSTM, $R^2=0,64$) e PCA Tangente ($R^2=0,70$).
• Conjunto de Dados de Marcha Pós-AVC (Classificação): Na classificação de três classes (Saudável, AVC Esquerdo, AVC Direito), o ES-VAE alcançou um F1 macro de 0,83, superando a PCA Tangente (0,79) e todos os modelos de aprendizado profundo de esqueleto bruto.
• Reconhecimento de Ação NTU-60: Em um subconjunto difícil de 10 classes, o ES-VAE alcançou um F1 macro de 0,56, superando a melhor baseline de vetor tangente (PCA Tangente em 0,50) e as baselines de esqueleto bruto. Notavelmente, melhorou uma VAE Vanilla (0,27) em 0,29, demonstrando o valor do pré-processamento geométrico.
• Estudos de Ablação: Os resultados confirmaram que o alinhamento geométrico é crítico. Remover apenas a translação foi insuficiente; a combinação do espaço de forma de Kendall (removendo escala/rotação) e TSRVF (removendo variabilidade da taxa) produziu o melhor desempenho. A perda de reconstrução geodésica também forneceu uma vantagem consistente sobre o MSE no espaço tangente euclidiano.

Significado e Alegações

O artigo alega que a principal vantagem do ES-VAE é estrutural: ao remover geometricamente a variabilidade de incômodo (translação, rotação, escala, velocidade) antes da modelagem, a rede profunda pode alocar sua capacidade inteiramente para aprender dinâmicas de forma significativas.

• Interpretabilidade: Ao contrário de abordagens de aprendizado profundo de "caixa preta", as dimensões latentes do ES-VAE correspondem a características específicas de marcha clinicamente relevantes (por exemplo, redução da passada, rigidez do membro), oferecendo um framework principiado para analisar dados longitudinais em variedades de forma de postura.
• Generalizabilidade: A abordagem mostrou-se eficaz tanto na análise clínica da marcha quanto no reconhecimento geral de ações, sugerindo que modelar diretamente na variedade preserva a estrutura geométrica essencial que é perdida em aproximações euclidianas.
• Limitações: Os autores notam que o estudo é limitado pelo tamanho do conjunto de dados (155 participantes para AVC, 40 para o subconjunto NTU) e pelo uso apenas de dados cinemáticos. Eles sugerem que trabalhos futuros poderiam envolver conjuntos de dados multicêntricos maiores, entradas multimodais (por exemplo, EMG) e arquiteturas mais expressivas, embora potencialmente à custa da interpretabilidade.

Em conclusão, o ES-VAE fornece um framework robusto, interpretável e de alto desempenho para análise de trajetórias de postura esquelética, demonstrando que incorporar invariantes geométricas na arquitetura do modelo generativo produz resultados superiores em comparação com abordagens padrão de aprendizado profundo que tentam aprender essas invariantes a partir de dados brutos.