Resumen Técnico: SAMoR – Modelado de Movimiento para Objetos Articulados de Cualquier Esqueleto y Topología

1. Planteamiento del Problema

El modelado de movimiento para objetos articulados con topologías de esqueleto arbitrarias (por ejemplo, humanos, cuadrúpedos, aves, insectos y estructuras mecánicas) sigue siendo un desafío significativo. Los generadores de movimiento de vanguardia actuales, particularmente los sistemas de texto a movimiento, están vinculados a un esqueleto humano fijo (por ejemplo, SMPL) con un número de articulaciones, orden y conectividad específicos. Aunque existen extensiones para categorías animales, estas generalmente asumen una topología predefinida.

Los enfoques de topología cruzada han surgido, pero enfrentan limitaciones:

• Enfoques de token único (K=1): Colapsan los detalles distintos del movimiento en una representación global, perdiendo la dinámica de las extremidades y apéndices.
• Enfoques por articulación (K=J): Tratan cada articulación de forma independiente, lo que impide compartir un vocabulario de movimiento discreto entre estructuras con diferentes conteos de articulaciones.
• Falta de Vocabulario Compartido: No existe un vocabulario de movimiento discreto de tamaño fijo que pueda reutilizarse en esqueletos heterogéneos para tareas como la transferencia de movimiento o la generación basada en tokens.

La dificultad central radica en que, si bien el movimiento a nivel de articulación no se corresponde limpiamente entre especies (debido a los diferentes conteos de articulaciones y conectividad), los grupos funcionales de articulaciones (por ejemplo, un brazo humano, una pata delantera de un lobo y un ala de un ave) comparten estructuras de movimiento semánticas.

2. Metodología: SAMoR

Los autores proponen SAMoR (Representación de Movimiento Consciente del Esqueleto para Objetos Articulados), una representación de movimiento de topología cruzada que codifica segmentos de movimiento en un pequeño número fijo de K=8 tokens de partes compartidos entre esqueletos arbitrarios.

Descripción de la Arquitectura

SAMoR se implementa como un VQ-VAE de Partes Consciente del Esqueleto (Autoencoder Variacional de Cuantización Vectorial) con los siguientes componentes:

1. Representación de Entrada:

   • Características de Movimiento: Posiciones y velocidades por articulación ($x_t^j \in \mathbb{R}^6$). Las rotaciones locales se omiten en el entorno de topología cruzada debido a la inconsistencia de las poses de reposo entre activos heterogéneos.
   • Condicionamiento del Esqueleto: El codificador y el decodificador están condicionados al esqueleto de destino mediante tres señales:
     • Anclas de Pose: Ubicaciones 3D por articulación (primera trama para topología cruzada; pose de reposo canónica para HumanML3D).
     • Embeddings de Nombres de Articulaciones: Embeddings de CLIP de los nombres de las articulaciones (por ejemplo, "antebrazo", "ala_L1").
     • Estructura de Grafo: Sesgos aprendidos inyectados en los logits de atención espacial basados en la distancia de salto del árbol cinemático, membresía de cadena y tipo de arista.

2. Codificador (Graph-Transformer):

   • Procesa fragmentos de movimiento utilizando una pila de bloques transformer que alternan entre autoatención temporal (a lo largo del tiempo $T$) y autoatención espacial (a lo largo de las articulaciones $J$).
   • La atención espacial utiliza los sesgos estructurales de grafo definidos anteriormente.
   • Una convolución 1D con paso (strided) reduce la dimensión del eje temporal por un factor de 4$\times$.

3. Agrupación de Partes (Articulaciones a Tokens):

   • Agrupación por Atención Cruzada (Cross-Attention Pooling): $K=8$ vectores de consulta (queries) aprendibles comprimen las $J$ articulaciones codificadas en $K$ tokens de partes de tamaño fijo.
   • Mecanismo de Especialización: Sin supervisión, estas consultas tienden a colapsar en distribuciones idénticas (efectivamente $K=1$). Para evitar esto, los autores introducen una Supervisión de Atención.
   • Pérdida de Supervisión de Atención ($L_{attn}$): Durante el entrenamiento, etiquetas de grupos funcionales canónicos (derivadas de los nombres de las articulaciones) guían los mapas de atención cruzada. Cada consulta es alentada a atender a un grupo funcional distinto (por ejemplo, pata izquierda, cola, cabeza). Las articulaciones sin etiquetas coincidentes ($y_j = -1$) contribuyen con cero a la pérdida, pero siguen siendo dirigidas por la atención aprendida.
   • Dropout de Nombre de Articulación: Para asegurar la robustez ante estructuras con nombres faltantes o no semánticos, los embeddings de los nombres de las articulaciones se eliminan aleatoriamente durante el entrenamiento. Esto obliga al modelo a depender de los patrones de movimiento y la topología del esqueleto en lugar de solo en las etiquetas de texto.

4. Cuantización:

   • Los $K$ tokens de partes se cuantizan utilizando Cuantización Vectorial Residual (RVQ) con un código compartido. Esto crea un vocabulario de movimiento discreto ($Z \in \{1, \dots, V\}$) compartido entre todos los esqueletos.

5. Decodificador:

   • Es un espejo del codificador, pero expande los $K$ tokens de partes cuantizados de vuelta a las $J$ articulaciones de destino mediante atención cruzada inversa.
   • El decodificador está condicionado por la ancla de pose del esqueleto objetivo, los nombres de las articulaciones y los sesgos del grafo. Esto permite que los mismos tokens de origen se decodifiquen en una estructura completamente diferente (transferencia de topología cruzada) sin necesidad de reentrenamiento.

Tareas Derivadas

• Generación Condicionada por Texto: Se entrena un transformer MaskGIT sobre la rejilla de tokens de $(T/4) \times K$, condicionado por el texto y el esqueleto de destino.
• Edición por Partes: Se pueden enmascarar y completar partes específicas de los tokens, permitiendo la edición localizada de grupos funcionales (por ejemplo, cambiar el movimiento de las piernas mientras se preserva el movimiento de los brazos).

3. Contribuciones Clave

1. Tokenización de Movimiento basada en Graph-Transformer: Un VQ-VAE que comprime el movimiento de esqueletos arbitrarios en $K=8$ tokens de partes compartidos, produciendo un único vocabulario de movimiento discreto para esqueletos heterogéneos.
2. Supervisión de Atención para la Especialización de Consultas: Una función de pérdida novedosa que rompe la simetría de las consultas anclando cada consulta a un grupo distinto de articulaciones funcionales, evitando que las $K=8$ consultas colapsen en una única representación global. Combinado con el dropout de nombres de articulaciones, esto generaliza a esqueletos no vistos.
3. Corpus de Movimiento Heterogéneo Unificado: Un conjunto de datos curado de aproximadamente 71k personajes y 100k movimientos de HumanML3D (humanos), Truebones Zoo (65 especies animales) y activos animados de Objaverse-XL. Esto incluye el emparejamiento de articulaciones canónicas automatizado y anotaciones de grupos funcionales.
4. Capacidades Derivadas Demostradas: El espacio de tokens de partes compartido permite la transferencia de movimiento de topología cruzada, la generación condicionada por texto y la edición localizada por partes.

4. Resultados Experimentales

Los autores evaluaron SAMoR en personajes con esqueletos no vistos.

• Reconstrucción de Topología Cruzada:

  • SAMoR logró un MPJPE normalizado de 2.75 $\times 10^{-2}$.
  • Esto es 5.8$\times$ menor (mejor) que la base más fuerte de tokenizador de variable-$J$ adaptado (MoGenTS, 16.14 $\times 10^{-2}$).
  • Supera significativamente tanto a las representaciones globales de token único ($K=1$) como a las tokenizaciones por articulación ($K=J$).
  • Los estudios de ablación confirmaron que eliminar la supervisión de atención ($L_{attn}$) casi duplica el error, y eliminar el RVQ aumenta el error en un 44%.

• Benchmark HumanML3D:

  • Cuando se instancia en un entorno compatible con HumanML3D, SAMoR sigue siendo competitivo con los especialistas de esqueleto fijo.
  • Texto a Movimiento: FID de 0.039, comparable a MoGenTS (0.033) y mejor que MoMask (0.045).
  • Reconstrucción VQ-VAE: SAMoR-H3D alcanzó 17.3 mm de MPJPE, superando a MoMask (29.5 mm) y T2M-GPT (58.0 mm).

• Transferencia de Topología Cruzada:

  • Los resultados cualitativos (Fig. 3) muestran que SAMoR preserva la dinámica de los apéndices (extremidades, colas, alas) a través de cambios de topología, mientras que las bases $K=1$ retienen solo el ritmo corporal grueso.
  • La consistencia de ida y vuelta (Fuente $\to$ SMPL $\to$ Fuente) fue la más alta para SAMoR, indicando que la representación de tokens de partes preserva la estructura del movimiento a través de topologías intermedias.

5. Significación y Reivindicaciones

El artículo afirma que SAMoR aborda la limitación fundamental de los modelos de movimiento actuales al estar ligados a topologías fijas. Al identificar que los grupos funcionales de articulaciones son la abstracción apropiada para el movimiento de topología cruzada (en lugar de articulaciones individuales o todo el cuerpo), SAMoR permite:

• Reutilización: Un único código de vocabulario puede usarse para humanos, animales y estructuras mecánicas.
• Transferencia: El movimiento puede transferirse directamente en el momento de la decodificación a esqueletos no vistos.
• Edición: La edición localizada de grupos funcionales es posible sin reentrenamiento.

Los autores enfatizan que la granularidad intermedia ($K=8$) es crucial; $K=1$ pierde detalle, mientras que $K=J$ impide el uso de un vocabulario compartido. Se identifica la pérdida de supervisión de atención como el componente crítico que evita el colapso de las consultas, permitiendo que el modelo aprenda grupos funcionales a partir de una mezcla de movimiento, estructura y etiquetas de texto (opcionales).

Limitaciones Reconocidas:

• En el entorno de topología cruzada, SAMoR opera sobre posiciones de articulación en lugar de rotaciones porque los activos heterogéneos carecen de una referencia de pose de reposo unificada. Recuperar las rotaciones de los huesos para el Skinning de Mezcla Lineal (LBS) requiere un post-proceso de Cinemática Inversa (IK), lo que introduce ambigüedad de torsión.
• El agrupamiento de $K=8$ es una elección de diseño fija; aprender automáticamente el número y la estructura de los grupos se sugiere como trabajo futuro.