💻 computer science

Fine-grained Human Motion Understanding with Language Models

Este artículo presenta \methodname, un modelo basado en LLM que logra un estado del arte en la comprensión de movimiento humano de grano fino mediante la representación de poses esqueléticas con marcas de tiempo explícitas y el aprovechamiento de una supervisión diversa a nivel de pose y de movimiento, permitiendo un rendimiento superior tanto en evaluaciones de 2D como de 3D sin depender de captura de movimiento 3D de verdad fundamental.

Autores originales: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot muy inteligente cómo entender el movimiento humano. La mayoría de los robots actuales intentan aprender viendo vídeos, como una grabación de una cámara de seguridad. Pero los vídeos son desordenados: son archivos enormes, muestran la ropa y el fondo (lo que puede ser una distracción o un riesgo para la privacidad), y si los aceleras o ralentizas, el robot se confunde sobre cuándo ocurrieron las cosas.

Este artículo presenta un nuevo cerebro robótico llamado FiGMo (Comprensión de Movimiento de Grano Fino). En lugar de ver un vídeo, FiGMo observa el "esqueleto de palitos" de la persona. Pero aquí está el truco de magia: FiGMo no solo ve el esqueleto de palitos; ve el esqueleto de palitos con un reloj adjunto a cada una de las poses.

Así es como funciona, desglosado en conceptos sencillos:

1. La analogía del "Esqueleto con Marca de Tiempo"

Imagina que estás intentando describir un baile a un amigo por teléfono.

La forma antigua: Dices: "Hizo un giro, luego un salto, luego una sentadilla". Tu amigo conoce el orden, pero no tiene ni idea de cuánto duró el giro o si el salto fue un pequeño brinco rápido o un salto lento y amplio.
La forma de FiGMo: Dices: "A los 0.0 segundos, comienza a girar. A los 2.4 segundos, deja de girar y salta. A los 3.2 segundos, aterriza en una sentadilla".

FiGMo trata el movimiento humano exactamente así. Descompone el movimiento en una secuencia de poses estáticas y le dice explícitamente a la IA: "Esta pose ocurrió en este segundo exacto". Esto permite que la IA responda preguntas como "¿Cuánto duró la sentadilla?" o "¿Qué pasó justo antes de que se levantara?" con una precisión increíble.

2. El "Traductor Universal" (El Codificador de Poses)

Normalmente, los modelos de IA son exigentes. Algunos solo entienden datos de movimiento 3D perfectos capturados en un laboratorio con trajes especiales (como un estudio de captura de movimiento de Hollywood). Otros solo entienden dibujos 2D de cámaras normales.

FiGMo tiene un "Traductor Universal" especial (llamado Codificador de Poses Unificado). Piensa en ello como un traductor que habla tanto el idioma "Traje de Laboratorio" (3D) como el de "Cámara de Teléfono" (2D).

Si le alimentas con un esqueleto 2D desordenado y ruidoso de un vídeo normal, lo limpia y lo entiende.
Si le alimentas con datos 3D perfectos, también los entiende.
El resultado: FiGMo es tan bueno en esto que, incluso cuando solo utiliza esqueletos 2D (que tienen menos detalle), supera a otros modelos que dependen de datos 3D de alta calidad y costosos.

3. El "Currículo Escolar" (Estrategia de Entrenamiento)

Para enseñar a FiGMo a ser tan inteligente, los investigadores no se limitaron a volcar un montón gigante de datos sobre él. Construyeron un currículo, como un sistema escolar:

Etapa 1 (Lo básico): Le enseñaron a describir una pose única y congelada. "Mira esta rodilla; está doblada".
Etapa 2 (Los detalles): Le enseñaron a responder preguntas específicas sobre partes del cuerpo. "¿Está el brazo izquierdo más alto que el derecho?".
Etapa 3 (La historia): Empezaron a conectar poses en secuencias cortas. "¿Qué acción está ocurriendo aquí?".
Etapa 4 (La película): Finalmente, le enseñaron a manejar secuencias largas y complejas con preguntas de tiempo. "¿Cuánto duró la fase de carrera?".

El artículo encontró que la parte más importante de esta escuela fue la variedad de las lecciones. Era crucial enseñarle al robot tanto sobre poses individuales como sobre secuencias de movimiento completas. El enfoque "por etapas" (aprender paso a paso) ayudó un poco, pero su superpoder principal provino de la diversidad de los datos de entrenamiento. La diversidad de los datos de entrenamiento fue la clave.

4. Por qué esto importa (Privacidad y Precisión)

El artículo destaca dos ventajas principales:

Privacidad: Debido a que FiGMo solo observa el esqueleto (el esqueleto de palitos), no ve la cara de la persona, su ropa o su entorno. Es como ver un espectáculo de sombras en lugar de una película. Esto lo hace seguro para usar en lugares donde grabar vídeo es ilegal o poco ético, como un gimnasio o un hospital.
Precisión: Debido a que tiene el "reloj" en cada pose, puede captar detalles sutiles. Puede distinguir entre una sentadilla lenta y controlada y una rápida y brusca, algo que es difícil de hacer para una IA basada en vídeo.

La Conclusión

FiGMo es una nueva forma para que las computadoras entiendan el movimiento humano. En lugar de ver un vídeo borroso, lee un "guion de esqueleto" donde cada movimiento está etiquetado con una marca de tiempo. Al enseñar a la IA a leer este guion utilizando una mezcla de descripciones de poses simples e historias de movimiento complejas, se ha convertido en la mejor en su trabajo, incluso cuando utiliza datos 2D sencillos en lugar de datos 3D costosos. Demuestra que no necesitas una película de Hollywood para entender el movimiento humano; solo necesitas el "guion de esqueleto" adecuado y un buen reloj.

Resumen Técnico: FiGMo – Comprensión de Movimiento Humano de Grano Fino con Modelos de Lenguaje

Declaración del Problema

La comprensión del movimiento humano con precisión temporal de grano fino es un paso crítico hacia la construcción de sistemas de IA centrados en el ser humano para aplicaciones como la interacción humano-robot, el monitoreo de la rehabilitación y el entrenamiento deportivo. Si bien los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs) han expandido el razonamiento multimodal, los enfoques existentes enfrentan limitaciones significativas:

Limitaciones Centradas en el Video: La mayoría de los métodos dependen de entradas de video sin procesar, lo cual es computacionalmente costoso, requiere un submuestreo temporal agresivo (que oscurece la dinámica rápida o sutil) e introduce preocupaciones de privacidad debido a la información de identidad y de fondo.
Pérdida de Anclaje Temporal: Los LLMs basados en esqueletos existentes suelen comprimir el movimiento en tokens discretos (por ejemplo, mediante VQ-VAE) o concatenar secuencias de poses sin marcas de tiempo explícitas. Esto trata los clips de movimiento como unidades atómicas, lo que impide que el modelo razone sobre el tiempo exacto, la duración y el ritmo de acciones específicas.
Restricciones de Datos: Muchos trabajos previos dependen exclusivamente de datos de captura de movimiento (MoCap) 3D limpios y controlados, lo que limita su aplicabilidad a escenarios del mundo real donde el movimiento se deriva de detectores de pose 2D ruidosos a partir de videos monoculares.

Metodología

Los autores proponen FiGMo (Fine-Grained Motion), un marco basado en LLM que modela explícitamente el movimiento humano como una secuencia temporalmente anclada de poses esqueléticas.

1. Codificador de Pose Unificado

Para manejar entradas tanto 2D como 3D de manera robusta, los autores adaptan el codificador de movimiento de MotionBERT.

Arquitectura: El codificador retiene únicamente bloques de transformadores espaciales para codificar poses estáticas individuales en lugar de un movimiento continuo.
Pre-entrenamiento: El codificador es pre-entrenado para reconstruir poses 3D a partir de entradas corruptas (ruido aditivo y enmascaramiento de articulaciones aleatorio). Se entrena en una mezcla de poses 2D detectadas, datos MoCap 3D y proyecciones 2D de secuencias 3D. Esto produce un codificador unificado capaz de manejar detecciones 2D ruidosas y datos 3D limpios de manera consistente.

2. Estructura de LLM Multimodal con Anclaje Temporal

La innovación central radica en cómo se representa el movimiento para el LLM:

Traductor de Poses: Un MLP ligero de dos capas proyecta las incrustaciones (embeddings) de las poses en el espacio semántico del LLM.
Marcado de Tiempo Explícito: A diferencia de la concatenación ingenua de poses, FiGMo concatena cada incrustación de pose con un token de marca de tiempo específico (por ejemplo, Time: 0.00s <pose>, Time: 0.03s <pose>). Esto permite al LLM razonar sobre el orden, la duración y el ritmo del movimiento a nivel de pose.
Contexto de Video Opcional: La arquitectura admite la entrada de video opcional a través de un codificador visual para proporcionar pistas contextuales sin restringir el espacio de representación del movimiento.

3. Estrategia de Supervisión Diversa

Los autores investigan la necesidad de diferentes niveles de supervisión construyendo una mezcla de entrenamiento diversa que abarca cuatro módulos:

Supervisión a Nivel de Pose: Incluye descripción de poses (PS-short, PS-fine) y preguntas-respuestas de poses (PS-QA, PF-fine) derivadas de los conjuntos de datos PoseScript y PoseFix. Estas tareas se centran en configuraciones corporales estáticas y relaciones espaciales.
Supervisión a Nivel de Movimiento: Incluye descripción de movimiento (BABEL-cap) y preguntas-respuestas de movimiento (HML3D-QA, BABEL-QA, FTM-QA). El módulo FTM-QA está diseñado específicamente para supervisar el razonamiento temporal de grano fino (duración, tiempos de inicio/finalización, ordenación).
Programa de Entrenamiento: Los autores comparan un enfoque de entrenamiento de una sola etapa contra un currículo por etapas (Pose $\to$ Movimiento). El enfoque por etapas introduce primero las tareas de nivel de pose, seguidas de las tareas de nivel de movimiento, para establecer la alineación antes de abordar el razonamiento temporal complejo.

Principales Contribuciones

Arquitectura FiGMo: Un método basado en LLM que representa explícitamente el movimiento como una secuencia de poses esqueléticas con marcas de tiempo, permitiendo el razonamiento de grano fino sobre el orden, la duración y el ritmo de la acción.
Codificador 2D/3D Unificado: Un codificador de poses pre-entrenado en datos mixtos y corruptos, que permite que el mismo modelo opere tanto en detecciones 2D prácticas como en secuencias MoCap 3D.
Análisis de Supervisión: Un estudio de ablación que demuestra que la supervisión diversa a nivel de pose y de movimiento es el principal motor de las mejoras de rendimiento, mientras que el entrenamiento por etapas proporciona un beneficio adicional menor. Crucialmente, el estudio muestra que la supervisión a nivel de pose es esencial para la comprensión del movimiento posterior.
Rendimiento de Vanguardia (SOTA): El método alcanza el máximo rendimiento en múltiples evaluaciones, con un hallazgo notable de que una variante solo de 2D supera a los métodos previos basados en 3D.

Resultados Experimentales

FiGMo fue evaluado en cinco evaluaciones: BABEL-QA, HuMMan-QA, CompMo, NTU-RGB+D y QEVD-Coach.

BABEL-QA (Preguntas de Movimiento): FiGMo (3D) logró una precisión general de 0.758, superando a métodos previos de vanguardia como HuMoCon (0.711). Sorprendentemente, la variante FiGMo (2D) alcanzó un 0.750, superando a todos los métodos previos basados en 3D a pesar de usar solo entrada esquelética 2D. Las ganancias fueron particularmente significativas en consultas filtradas temporalmente ("Antes", "Después", "En medio").
HuMMan-QA: El método logró el mejor rendimiento en todas las métricas (General: 0.824 para 3D, 0.792 para 2D), demostrando una fuerte generalización más allá de BABEL.
CompMo (Descripción Densa): FiGMo superó sustancialmente a UniMotion y DEMO tanto en métricas de descripción (por ejemplo, CIDEr: 456.95 vs. 134.44) como en localización temporal (tIoU: 98.44 vs. 77.94), validando la efectividad del anclaje temporal explícito.
NTU-RGB+D 120 (Reconocimiento de Acción de Un Solo Paso): Usando solo entrada de movimiento 2D, FiGMo logró un 69.2% de precisión, superando a los métodos anteriores. Agregar el video como una modalidad auxiliar elevó esto a 77.4%.
QEVD-Coach (Retroalimentación de Ejercicio): El modelo basado en movimiento superó a los LLM de solo video al proporcionar retroalimentación sobre la ejecución de ejercicios, resaltando la eficacia de las representaciones esqueléticas explícitas.

Significado y Reivindicaciones

El artículo sostiene que la codificación temporal explícita y la supervisión diversa son las claves para la comprensión de movimiento humano de grano fino.

Privacidad y Eficiencia: Al depender de poses esqueléticas en lugar de video sin procesar, FiGMo ofrece una alternativa que preserva la privacidad y es computacionalmente eficiente, adecuada para dispositivos de borde y aplicaciones sensibles como la rehabilitación.
Robustez a la Modalidad de Entrada: La capacidad de la variante solo 2D para superar a las bases de comparación basadas en 3D desafía la suposición de que el MoCap 3D de alta fidelidad es estrictamente necesario para el razonamiento de grano fino, siempre que el modelo sea entrenado con la supervisión y el codificador apropiados.
Jerarquía de Supervisión: El trabajo establece que la comprensión a nivel de pose es un prerrequisito para un razonamiento efectivo a nivel de movimiento, sugiriendo que los futuros modelos de lenguaje de movimiento deberían incorporar tareas de pose estática incluso cuando el objetivo final es el razonamiento temporal.

Los autores concluyen que, si bien su método representa un paso significativo hacia adelante, el trabajo futuro podría explorar la integración del contexto de la escena y los objetos, ya que las poses esqueléticas por sí solas omiten la información sobre las interacciones con objetos y la disposición de la escena 3D.