💻 computer science

T-MOR: Learning Motion-Aware Skeleton Representations for Human Action Recognition

Este artículo propone T-MOR, un marco de trabajo consciente del movimiento que aprovecha un nuevo conjunto de datos a gran escala PoseCap-1M y el aprendizaje contrastivo multimodal para alinear secuencias de esqueletos con representaciones de video y lenguaje, logrando así un rendimiento de reconocimiento de acciones humanas superior y generalizable mediante una inferencia ligera de solo esqueleto.

Autores originales: Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a entender las acciones humanas, como "jugar al tenis" o "sacudir los muebles".

La mayoría de los modelos de IA actuales son como turistas con una cámara. Miran un video e intentan adivinar qué está pasando basándose en cómo se ven las cosas: el color de la camisa, el paisaje de fondo o la forma de la raqueta de tenis. Si la iluminación cambia o la persona usa una camisa diferente, el robot se confunde.

Otros modelos son como artistas de figuras de palitos. Solo observan el esqueleto (las articulaciones y los huesos) para ver cómo se mueve el cuerpo. Esto es genial porque ignora el fondo desordenado, pero estos modelos suelen necesitar que se les enseñe cada acción desde cero. Si les muestras una nueva acción que nunca han visto, se pierden.

T-MOR es un nuevo marco de trabajo propuesto en este artículo que intenta obtener lo mejor de ambos mundos. Piensa en él como un instructor de baile que ha visto millones de videos y leído millones de libros, pero que solo necesita ver el esqueleto del bailarín para entender el movimiento.

Así es como funciona, desglosado en conceptos simples:

1. El "Súper-Profesor" (Aprendizaje Multimodal)

Durante su fase de entrenamiento, T-MOR es como un estudiante sentado en un aula con tres profesores diferentes:

El Profesor Visual: Le muestra videos de personas realizando acciones.
El Profesor de Lenguaje: Lee descripciones de esas acciones (por ejemplo, "Una persona está sacudiendo los muebles").
El Profesor de Movimiento: Le muestra los datos del esqueleto (el movimiento real de las articulaciones).

El objetivo es enseñar al modelo que el movimiento del esqueleto, la apariencia del video y las palabras que describen la acción significan lo mismo. Utiliza una técnica llamada "aprendizaje contrastivo", que es como un juego de "emparejar pares". Aprende a decir: "Este movimiento de esqueleto coincide con este clip de video y esta descripción de texto".

2. El "Juego de Agrupación" (Aprendizaje Guiado por Clústeres)

Uno de los trucos ingeniosos del artículo es cómo maneja los errores. Imagina que estás clasificando una enorme pila de fotos mezcladas. Si solo tomas fotos al azar para compararlas, podrías accidentalmente elegir dos fotos de la misma acción y pensar que son diferentes (un "falso negativo").

T-MOR utiliza una estrategia de "agrupación". Antes de comparar, organiza los movimientos en clústeres (como clasificar fotos en carpetas). Luego, compara los movimientos dentro de la misma carpeta como "amigos" (pares positivos) y los movimientos en diferentes carpetas como "extraños" (pares negativos). Esto ayuda al modelo a entender la verdadera estructura del movimiento humano sin confundirse con el ruido aleatorio.

3. La "Nueva Biblioteca" (PoseCap-1M)

Para enseñar a este modelo, los autores se dieron cuenta de que necesitaban una biblioteca masiva de datos que combinara videos, texto y esqueletos al mismo tiempo. No pudieron encontrar una lo suficientemente grande, así que construyeron la suya propia: PoseCap-1M.

Piensa en esto como una biblioteca con más de un millón de entradas.
Cada entrada tiene un clip de video, los datos del esqueleto correspondientes y una descripción de texto.
Este enorme conjunto de datos permite que el modelo aprenda reglas generales sobre cómo se mueven los humanos, en lugar de solo memorizar ejemplos específicos.

4. El "Rendimiento Ligero" (Inferencia)

Esta es la parte más importante para el uso en el mundo real. Después de que el modelo ha aprendido de todos esos videos y textos, ya no los necesita más.

Entrenamiento: Utiliza datos pesados de video y texto para aprender.
Prueba (Inferencia): Solo necesita el esqueleto.

Es como un chef que aprendió a cocinar probando miles de platos y leyendo recetas, pero ahora puede cocinar una comida perfecta con solo mirar la lista de ingredientes (el esqueleto) sin necesidad de la receta original o el menú de degustación. Esto lo hace muy rápido y eficiente, perfecto para dispositivos con energía limitada.

¿Qué descubrieron?

Los autores probaron T-MOR en varios desafíos del mundo real:

Reconocimiento de Acciones: Mejoró su capacidad para identificar acciones como "jugar al tenis" o "sacudir" en comparación con métodos anteriores, incluso cuando el fondo era desordenado o la iluminación era mala.
Detección de Tiempos: Podía decir exactamente cuándo comenzaba y terminaba una acción en un video largo.
La "Magia" del Zero-Shot: Esta es la parte más impresionante. Le pidieron al modelo que reconociera acciones que nunca había visto antes (como "jugar un juego específico" para el cual no fue entrenado). Debido a que aprendió el concepto del movimiento a través del lenguaje y el video, pudo adivinar la acción simplemente leyendo el nombre de la acción y mirando el esqueleto. Funcionó tan bien como o mejor que los modelos que habían sido entrenados específicamente para esas acciones.

Resumen

En resumen, T-MOR es un sistema que aprende a entender el movimiento humano estudiando videos y leyendo texto, pero solo necesita ver un esqueleto de figura de palitos para hacer su trabajo. Al utilizar un nuevo conjunto de datos masivo y una inteligente estrategia de "agrupación", crea un modelo que es preciso, rápido y capaz de comprender nuevas acciones que nunca ha encontrado antes.

Resumen Técnico: T-MOR

Planteamiento del Problema

Aunque los Modelos de Lenguaje y Visión (VLMs) como CLIP han logrado el éxito en la comprensión visual, dependen principalmente de la supervisión a nivel de apariencia y carecen de un modelado explícito del movimiento humano. Esta limitación obstaculiza su eficacia en tareas de reconocimiento de acciones centradas en humanos y de grano fino, donde las acciones se definen por movimientos corporales temporalmente estructurados y físicamente fundamentados. Por el contrario, los métodos existentes basados en esqueletos suelen operar en entornos de conjunto cerrado, lo que dificulta su transferencia a nuevas acciones o tareas sin un reentrenamiento extensivo. El desafío central abordado es cómo aprovechar la supervisión semántica a gran escala (de video y texto) para aprender representaciones de movimiento humano transferibles, físicamente fundamentadas y temporalmente coherentes que sigan siendo robustas y ligeras para la inferencia.

Metodología

Los autores proponen T-MOR (Transferable skeleton MOtion Representation), un marco de trabajo consciente del movimiento diseñado para aprender representaciones de acción transferibles a partir de secuencias de esqueletos utilizando supervisión de video y lenguaje durante el entrenamiento.

1. Arquitectura y Extracción de Características

Representación Central: El marco utiliza secuencias de esqueletos ( $s_k$ ) como la entrada principal para la inferencia. El codificador de movimiento ( $E_M$ ) se basa en UNIK, una arquitectura híbrida que combina Transformers y TCNs para capturar las relaciones espaciales de las articulaciones y la evolución temporal.
Alineación Multimodal: Durante el preentrenamiento, T-MOR alinea las incrustaciones de movimiento ( $E_M(s_k)$ $E_{M} (s_{k})$ ) con:
- Incrustaciones Visuales ( $E_V(v)$ ): Extraídas de fotogramas de video RGB utilizando un codificador de video ViCLIP congelado.
- Incrustaciones Textuales ( $E_T(a)$ ): Extraídas de descripciones de acciones utilizando un codificador de texto ViCLIP congelado.
Eficiencia de Inferencia: Los codificadores de video y texto se mantienen congelados y se descartan después del preentrenamiento. En el momento de la inferencia, el modelo utiliza únicamente el ligero codificador de esqueleto, lo que lo hace adecuado para escenarios con recursos limitados.

2. Aprendizaje Contrastivo Multimodal Guiado por Clústeres

T-MOR emplea una estrategia de entrenamiento de dos etapas mejorada por un mecanismo de contraste guiado por clústeres para refinar la selección de muestras positivas y negativas, mitigando los falsos negativos causados por el muestreo aleatorio en los bancos de memoria.

Clustering (Agrupamiento): Después de cada época, las incrustaciones de movimiento se agrupan mediante DBSCAN. Las muestras dentro del mismo clúster se tratan como pares positivos, mientras que las de otros clústeres sirven como negativos.
Preentrenamiento Auto-supervisado (Movimiento-Video): El modelo optimiza una función de pérdida ( $L_{self} = L_{mm} + L_{mv}$ ) para alinear pares de movimiento-movimiento y pares de movimiento-video sin utilizar anotaciones de acción. Esto aprende un codificador de esqueleto transferible alineado con pistas visuales de movimiento.
Alineación Supervisada (Movimiento-Texto): Una segunda etapa alinea las representaciones de movimiento con la semántica del lenguaje ( $L_{mt}$ ) para permitir la transferencia zero-shot. El objetivo supervisado total es $L_{sup} = L_{mm} + L_{mv} + L_{mt}$ .
Formulación de la Pérdida: La pérdida contrastiva utiliza la similitud de coseno con escalado de temperatura, fomentando que las incrustaciones de movimiento formen variedades semánticamente compactas pero discriminativas a través de las modalidades.

3. Conjunto de Datos PoseCap-1M

Para apoyar el preentrenamiento a gran escala, los autores construyeron PoseCap-1M, un nuevo conjunto de datos que contiene más de un millón de tríos sincronizados de video, esqueleto y texto. Este conjunto de datos cubre diversas actividades humanas y aborda la falta de recursos multimodales de esqueletos a gran escala en los conjuntos de datos públicos existentes.

Contribuciones Clave

Marco T-MOR: Un nuevo marco que aprende representaciones de esqueleto transferibles alineando las inclexiones de movimiento con las incrustaciones visuales y de lenguaje mediante el aprendizaje contrastivo multimodal guiado por clústeres.
Conjunto de Datos PoseCap-1M: Un conjunto de datos de acción a gran escala que proporciona tríos de movimiento-video-texto para facilitar el preentrenamiento multimodal de modelos basados en esqueletos.
Rendimiento y Generalización: Experimentos extensos que demuestran que T-MOR mejora el rendimiento en las tareas de clasificación de acciones y detección temporal fotograma a fotograma, destacando la importancia del modelado de movimiento corporal para la comprensión de acciones transferibles.

Resultados Experimentales

Los autores evaluaron T-MOR en múltiples bancos de pruebas, incluyendo Toyota Smarthome, UAV-Human, Penn Action, TSU y Charades, bajo configuraciones de linear probing y ajuste fino (fine-tuning).

Clasificación de Acciones: T-MOR superó consistentemente a los métodos anteriores basados en esqueletos de estado del arte (SoTA). Por ejemplo, en el conjunto de datos Penn Action, T-MOR logró una precisión Top-1 del 97.8% (ajuste fino con preentrenamiento V+M+T), comparado con el 97.3% del SoTA anterior y el 29.8% del backbone UNIK entrenado desde cero.
Detección de Acciones: En los conjuntos de datos TSU y Charades, T-MOR mostró ganancias significativas. En el ajuste fino en TSU, alcanzó un 38.3% de precisión CS, superando al SoTA anterior (SD-TCN) que alcanzó el 31.2%.
Transferencia Zero-Shot: T-MOR demostró una fuerte generalización en entornos zero-shot. En el conjunto de datos Smarthome, logró un 21.9% de precisión utilizando únicamente entradas de movimiento, superando a los modelos de esqueleto existentes entrenados con características visual-textuales y compitiendo con los modelos fundacionales de video-lenguaje.
Transferencia 3D: El marco también mostró una fuerte transferibilidad a la detección de acciones 3D en el conjunto de datos PKU-MMD, logrando un 94.3% de mAP con IoU 0.1.

Significado y Reivindicaciones

El artículo afirma que T-MOR cierra con éxito la brecha entre la supervisión semántica a gran escala y el modelado de movimiento físicamente fundamentado. Al aprovechar los datos de video y lenguaje durante el entrenamiento, pero dependiendo únicamente de las entradas de esqueleto durante la inferencia, el marco ofrece una solución práctica para escenarios del mundo real donde los recursos computacionales son limitados.

Los autores enfatizan que las representaciones centradas en el movimiento y corporizadas (embodied) son cruciales para la comprensión de acciones transferibles. Los resultados sugieren que los datos de video a gran escala pueden beneficiar significativamente las tareas de esqueleto descendentes incluso sin etiquetas de acción explícitas durante el preentrenamiento. Además, el enfoque propuesto demuestra que combinar características de movimiento con características de video-lenguaje (o usar solo el movimiento en entornos zero-shot) conduce a una mayor generalización en escenarios desafiantes de reconocimiento de acciones de grano fino. El trabajo posiciona las representaciones de movimiento conscientes y corporizadas como una dirección clave para la futura comprensión de la acción humana.