Resumen Técnico: Un Autoencoder Variacional de Forma Elástica para Trayectorias de Posturas Esqueléticas

Enunciado del Problema

Los modelos generativos profundos, particularmente los Autoencoders Variacionales (VAE), han demostrado ser efectivos para datos estructurados como imágenes y texto. Sin embargo, cuando se aplican a secuencias de esqueletos humanos, los VAE estándar a menudo luchan por aislar la geometría intrínseca de las formas y su movimiento. En su lugar, asignan una capacidad significativa del modelo a "factores de molestia": variaciones en la orientación de la cámara, la escala del sujeto, el punto de vista y la velocidad de ejecución (variabilidad de la tasa temporal). Estos factores son inevitables en configuraciones de grabación naturalistas, pero son irrelevantes para tareas como la clasificación de actividades o la evaluación clínica de la movilidad. Los métodos tradicionales de análisis de formas eliminan estas transformaciones antes del análisis estadístico, pero integrar estas invariancias geométricas en potentes marcos de aprendizaje profundo, que típicamente operan sobre variables euclidianas, sigue siendo un desafío.

Metodología

Los autores proponen el Autoencoder Variacional de Forma Elástica (ES-VAE), un modelo generativo consciente de la geometría diseñado específicamente para trayectorias esqueléticas. La innovación central radica en representar los datos esqueléticos en la variedad de forma de Kendall y utilizar el marco del Campo de Velocidad Raíz Cuadrada Transportado (TSRVF).

1. Representación Geométrica

• Espacio de Formas de Kendall: Cada esqueleto se trata como una configuración de $k$ puntos de referencia en $\mathbb{R}^m$. El modelo elimina la traslación (centrando), la escala (normalizando a la norma de Frobenius unitaria) y la rotación (cuotientando el grupo ortogonal especial $SO(m)$). Esto resulta en una representación invariante a transformaciones rígidas y escalado global.
• TSRVF para Alineación Temporal: Para abordar la variabilidad de la tasa (por ejemplo, diferentes velocidades de caminata), el método emplea el marco TSRVF. Esto implica calcular la derivada covariante de la trayectoria, transportar paralelamente los vectores tangentes a un punto de referencia común (la media de Fréchet) y normalizarlos. Esto permite una alineación temporal óptima mediante Programación Dinámica, eliminando efectivamente los perfiles de velocidad mientras se preservan las dinámicas de la forma.

2. Arquitectura de VAE Riemanniana

El ES-VAE opera directamente sobre la variedad en lugar de aproximarla en el espacio euclidiano:

• Codificador: Toma la representación del vector tangente de una trayectoria (calculada mediante el mapa logarítmico riemanniano desde la media de Fréchet) y la mapea a un espacio latente de baja dimensión $z \in \mathbb{R}^L$.
• Decodificador: Mapea el código latente $z$ de vuelta al espacio tangente mediante una red neuronal, luego lo proyecta sobre la variedad de formas utilizando el mapa exponencial riemanniano para reconstruir la trayectoria.
• Función de Pérdida: El modelo se entrena maximizando el Límite Inferior de Evidencia Riemanniano (ELBO). El término de reconstrucción utiliza la distancia geodésica al cuadrado en la variedad de formas, y el término de regularización es la divergencia Kullback-Leibler (KL) contra una prior normal estándar en el espacio latente.

Contribuciones Clave

1. VAE de Forma Elástica: Introducción de un VAE riemanniano que incrusta trayectorias esqueléticas (representadas por SRVFs transportados en el espacio de formas de Kendall) en un espacio latente de baja dimensión. Este diseño asegura una invariancia completa a traslación, rotación, escalado y perfiles de velocidad de la actividad por construcción.
2. Superioridad en el Aprendizaje de Variedades: Utilizando datos sintéticos en una esfera unitaria ($S^2$), los autores demuestran que el ES-VAE aproxima subvariedades unidimensionales no geodésicas con mayor precisión que el PCA euclidiano, el VAE euclidiano y el PCA en el espacio tangente. Esto resalta la importancia de preservar las estructuras geométricas no lineales que las aproximaciones euclidianas pierden.
3. Interpretabilidad Clínica y Rendimiento: En un conjunto de datos clínico de 155 participantes (sanos vs. post-ictus), se demostró que las dimensiones latentes aprendidas:
   • Se mapean a características de la marcha interpretables (por ejemplo, longitud de la zancada, rigidez de las extremidades, variabilidad del brazo).
   • Correlacionan altamente con puntuaciones clínicas de movilidad (POMA).
   • Superan a los modelos base clásicos y de aprendizaje profundo en la predicción de la severidad del ictus y la clasificación de la lateralidad del ictus.
4. Rendimiento en Reconocimiento de Acciones: En un subconjunto curado del conjunto de datos NTU RGB+D, las representaciones latentes del ES-VAE superaron a varios modelos base (incluyendo TCN, Transformers y Redes de Convolución en Grafos) en la clasificación de categorías de acciones difíciles, demostrando la generalizabilidad de la representación basada en la forma.

Resultados Experimentales

El artículo evalúa el ES-VAE contra un conjunto exhaustivo de modelos base, incluidos métodos de esqueleto crudo (PCA, VAE, TCN, LSTM, Transformer, ST-GCN), métodos de ángulos articulares y métodos de vectores tangentes.

• Conjunto de Datos de Marcha Post-Ictus (Regresión): Para predecir las puntuaciones POMA, el ES-VAE logró un $R^2$ de 0.74 y un RMSE de 2.82, superando significativamente al mejor modelo de aprendizaje profundo de esqueleto crudo (LSTM, $R^2=0.64$) y al PCA Tangente ($R^2=0.70$).
• Conjunto de Datos de Marcha Post-Ictus (Clasificación): En la clasificación de tres clases (Sano, Ictus Izquierdo, Ictus Derecho), el ES-VAE logró un F1 macro de 0.83, superando al PCA Tangente (0.79) y a todos los modelos de aprendizaje profundo de esqueleto crudo.
• Reconocimiento de Acciones NTU-60: En un subconjunto difícil de 10 clases, el ES-VAE logró un F1 macro de 0.56, superando al mejor modelo base de vector tangente (PCA Tangente en 0.50) y a los modelos base de esqueleto crudo. Cabe destacar que mejoró a un VAE Vanilla (0.27) en 0.29, demostrando el valor del preprocesamiento geométrico.
• Estudios de Ablación: Los resultados confirmaron que la alineación geométrica es crítica. Eliminar solo la traslación fue insuficiente; la combinación del espacio de formas de Kendall (eliminando escala/rotación) y TSRVF (eliminando la variabilidad de la tasa) produjo el mejor rendimiento. La pérdida de reconstrucción geodésica también proporcionó una ventaja consistente sobre el MSE en el espacio tangente euclidiano.

Significado y Afirmaciones

El artículo afirma que la ventaja principal del ES-VAE es estructural: al eliminar geométricamente la variabilidad de molestia (traslación, rotación, escala, velocidad) antes de modelar, la red profunda puede asignar su capacidad completamente al aprendizaje de dinámicas de forma significativas.

• Interpretabilidad: A diferencia de los enfoques de aprendizaje profundo de "caja negra", las dimensiones latentes del ES-VAE corresponden a características específicas de la marcha clínicamente relevantes (por ejemplo, reducción de la zancada, rigidez de las extremidades), ofreciendo un marco principiado para analizar datos longitudinales sobre variedades de formas de postura.
• Generalizabilidad: Se ha demostrado que el enfoque es efectivo tanto en el análisis clínico de la marcha como en el reconocimiento general de acciones, lo que sugiere que modelar directamente sobre la variedad preserva la estructura geométrica esencial que se pierde en las aproximaciones euclidianas.
• Limitaciones: Los autores notan que el estudio está limitado por el tamaño del conjunto de datos (155 participantes para ictus, 40 para el subconjunto NTU) y el uso exclusivo de datos cinemáticos. Sugieren que el trabajo futuro podría involucrar conjuntos de datos multicéntricos más grandes, entradas multimodales (por ejemplo, EMG) y arquitecturas más expresivas, aunque potencialmente a costa de la interpretabilidad.

En conclusión, el ES-VAE proporciona un marco robusto, interpretable y de alto rendimiento para el análisis de trayectorias de posturas esqueléticas, demostrando que incorporar invariancias geométricas en la arquitectura del modelo generativo produce resultados superiores en comparación con los enfoques de aprendizaje profundo estándar que intentan aprender estas invariancias a partir de datos crudos.