🤖 machine learning

VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation

El artículo presenta VSMP-IMU, un marco de trabajo basado en video que genera datos sintéticos de IMU controlables mediante Programas de Movimiento Semántico estructurados para superar la escasez de datos y mejorar significativamente el rendimiento del reconocimiento de actividad humana portátil en escenarios de bajos recursos, desequilibrados y de generalización de sujetos.

Autores originales: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

Publicado 2026-08-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer cuándo estás bailando, corriendo o haciendo yoga. Para lograr esto, el robot necesita "sentir" tus movimientos, generalmente a través de un reloj inteligente o un sensor sujeto a tu cuerpo que registra cómo te sacudes y giras. Este campo se llama Reconocimiento de Actividad Humana. El problema es que enseñar a un robot requiere miles de ejemplos de personas reales moviéndose, y conseguir esos ejemplos es una pesadilla. Tienes que colocar sensores en humanos reales, pedirles que repitan el mismo movimiento una y otra vez, y esperar que no se cansen o cambien su forma de hacerlo. Es costoso, lento y, a menudo, deja al robot confundido cuando conoce a una persona nueva que se mueve de forma ligeramente distinta.

Para resolver esto, los científicos han intentado "falsificar" los datos del sensor. Algunos intentan observar un video de una persona y adivinar qué sentiría el sensor (como mirar un video de baile y adivinar el ritmo). Otros intentan escribir una descripción de texto como "saltar arriba y abajo" y hacen que una computadora imagine el movimiento. Pero estos métodos tienen fallas: el método de video se confunde si el ángulo de la cámara es extraño, y el método de texto es demasiado vago, creando a menudo movimientos que suenan bien pero se sienten mal para un sensor. La gran pregunta es: ¿podemos crear datos de sensores falsos que sean lo suficientemente realistas para enseñar al robot y lo suficientemente flexibles para cubrir todas las diferentes formas en que los humanos se mueven realmente?

Aquí entra VSMP-IMU, un nuevo sistema que actúa como un director superinteligente para una película sobre el movimiento. En lugar de solo adivinar a partir de un video o una instrucción de texto, este sistema utiliza un "Programa de Movimiento Semántico" (SMP). Piensa en un SMP como una tarjeta de receta detallada para un movimiento. No dice simplemente "jumping jacks"; desglosa el movimiento en pasos específicos: "pararse, saltar abriendo, cerrar, repetir", y anota exactamente qué partes del cuerpo están involucradas, qué tan rápido debe ser y qué tan amplio debe ser el balanceo de los brazos.

Así es como ocurre la magia: el sistema observa un video de una persona real realizando una actividad y extrae esta "tarjeta de receta". Luego, se vuelve creativo. Puede ajustar la receta; tal vez pedir que los jumping jacks se hagan superrápido o con grandes balanceos de brazos, manteniendo la identidad central del movimiento (siguen siendo jumping jacks). Una vez que la receta es ajustada, una computadora genera una animación 3D de una persona haciendo exactamente eso. Finalmente, el sistema simula lo que un sensor sujeto al cuerpo de esa persona animada sentiría, convirtiendo el movimiento 3D en datos de sensores falsos.

Los investigadores probaron esto alimentando el cerebro de un robot con estos nuevos datos falsos para ver si este mejoraba en el reconocimiento de movimientos humanos reales. Los resultados fueron impresionantes. Cuando el robot fue entrenado solo con datos reales, obtuvo una puntuación de aproximadamente 68.6 de 100. Cuando añadieron los datos falsos de VSMP-IMU, la puntuación saltó a 78.3. Es una mejora enorme, especialmente cuando no hay muchos datos reales para empezar. En situaciones donde el robot tenía muy pocos datos reales para aprender (como solo el 1% de la cantidad habitual), el sistema ayudó al robot a mejorar su puntuación en casi 19 puntos en comparación con aprender solo de datos reales.

El sistema también demostró que podía seguir instrucciones. Cuando los investigadores le pidieron al sistema generar movimientos con una velocidad específica, el movimiento resultante coincidió con la petición el 92% de las veces. Cuando le pidieron un número específico de repeticiones, el sistema lo logró correctamente dentro de un conteo el 90.6% de las veces. Sin embargo, el artículo señala que, si bien el sistema es excelente para movimientos grandes de todo el cuerpo como saltar o hacer sentadillas, a veces tiene dificultades con movimientos de manos diminutos y precisos (como atrapar una pelota) porque la animación 3D subyacente no muestra cada pequeño espasmo de los dedos.

En resumen, VSMP-IMU sugiere que, al usar una "receta" estructurada para guiar la creación de datos de sensores falsos, podemos enseñar a los robots a entender el movimiento humano mucho mejor que antes. Cierra la brecha entre observar un video y sentir una vibración, creando una biblioteca de movimientos sintéticos que son diversos, controlables y sorprendentemente realistas. Aunque no es perfecto para cada detalle minúsculo del movimiento humano, ofrece una nueva forma poderosa de entrenar la próxima generación de tecnología vestible sin necesidad de colocar sensores en miles de personas reales.

Resumen Técnico: VSMP-IMU

1. Planteamiento del Problema

El Reconocimiento de Actividad Humana (HAR) mediante dispositivos vestibles (wearables) se ve significativamente obstaculizado por la escasez de datos etiquetados de Unidades de Medición Inercial (IMU), particularmente en escenarios de bajos recursos, desbalance de clases y generalización de sujetos. Si bien la generación de datos sintéticos ofrece una solución potencial para reducir la dependencia de la recolección en el mundo real, los métodos existentes enfrentan un compromiso fundamental:

Los métodos impulsados por video (p. ej., IMUTube) están fundamentados visualmente, pero sufren de sensibilidad a los errores de estimación de pose, oclusiones y ambigüedad de perspectiva. A menudo carecen de control sobre las variaciones de ejecución que preservan la etiqueta (p. ej., tempo, amplitud).
Los métodos impulsados por texto (p. ej., IMUGPT 2.0) ofrecen una alta capacidad de control, pero a menudo carecen de un fundamento sólido en los patrones espaciotemporales específicos de cómo se realizan realmente las actividades, lo que puede generar movimientos que coinciden con una etiqueta pero carecen de detalles relevantes para un dispositivo vestible.
La aumentación de señales clásica (p. ej., jittering, escalado) mejora la robustez, pero no introduce nuevos patrones de movimiento semánticos ni variaciones físicamente plausibles de una actividad.

El desafío central es generar datos de IMU sintéticos que preserven los invariantes que definen la actividad mientras permiten variaciones controlables y preservadoras de la etiqueta en la ejecución del movimiento y la realización del sensor, sin depender de estimaciones de pose por fotograma frágiles o prompts de texto sin fundamento.

2. Metodología: VSMP-IMU

Los autores proponen VSMP-IMU (Programas de Movimiento Semántico Basados en Video), un marco que introduce una representación intermedia estructurada llamada Programa de Movimiento Semántico (SMP) para cerrar la brecha entre la comprensión de video y la síntesis inercial.

2.1 El Programa de Movimiento Semántico (SMP)

El SMP es un esquema estructurado que separa la semántica que define la actividad de los atributos de ejecución. Se define como un conjunto de campos:
$S = \{y, P, D, B, T, A, O, C, U\}$
Donde:

Invariantes (Fijos): Etiqueta de actividad ( $y$ ), secuencia de primitivas ( $P$ ), implicación de partes del cuerpo ( $B$ ), e información de objeto/contacto ( $O$ ). Estos definen la identidad de la actividad.
Variantes (Aumentables): Duraciones de las primitivas ( $D$ ), organización temporal ( $T$ ), atributos de ejecución ( $A$ ) como tempo, amplitud, lado dominante y simetría. Estos permiten la variación controlada sin cambiar la etiqueta de la clase.
Restricciones y Incertidumbre: Las restricciones de aumentación ( $C$ ) y la incertidumbre a nivel de campo ( $U$ ) guían las perturbaciones seguras.

2.2 El Pipeline VSMP-IMU

El marco opera a través de las siguientes etapas:

Extracción de SMP Basada en Video: Un Modelo de Lenguaje-Visión (VLM, específicamente GPT-5.3 en la implementación) extrae un SMP inicial de un video de actividad de entrada. El VLM es instruido para producir campos estructurados (etiqueta, primitivas, partes del cuerpo, atributos, incertidumbre) en lugar de texto de formato libre.
Refinamiento Semántico: El SMP extraído se somete a verificaciones de consistencia (compatibilidad etiqueta-primitiva, consistencia de partes del cuerpo, coherencia temporal, consistencia de objeto/contacto). Los campos que fallan las verificaciones son corregidos o marcados con alta incertidumbre.
Aumentación Restringida: El SMP refinado se aumenta para generar $K$ variantes. La aumentación está condicionada por la incertidumbre: los campos con baja incertidumbre (alta confianza) se perturban de forma más agresiva, mientras que los campos de alta incertidumbre se cambian mínimamente o se dejan fijos. Crucialmente, los campos invariantes permanecen sin cambios.
Verbalización y Síntesis de Movimiento: Cada SMP aumentado se convierte en un prompt de lenguaje natural compatible con HY-Motion, un generador de movimiento basado en texto congelado. HY-Motion sintetiza una secuencia de movimiento humano en 3D ( $M$ ) basada en el prompt.
Síntesis de IMU: El movimiento 3D se convierte en señales de IMU virtuales utilizando IMUSim. Los sensores virtuales se fijan a segmentos corporales específicos con configuraciones nominales (sesgo, ruido, montaje).
Anclaje Consciente del Sensor (Sensor-Aware Grounding): Para cerrar la brecha entre los datos sintéticos y los reales, se aplican dos pasos de adaptación:
- Optimización de Simulación en el Bucle (Simulation-in-the-loop): Los residuales físicos acotados (p. ej., orientación de montaje, sesgo, escala de ruido) se optimizan para coincidir con las estadísticas temporales y multivariadas ( $D_{stat}$ ) de los datos de entrenamiento reales.
- Anclaje Basado en Rangos (Rank-Based Grounding): La señal se alinea con las convenciones del conjunto de datos objetivo (orden de ejes, signo, gravedad, unidades) y luego se mapea a las distribuciones marginales del dominio objetivo mediante el emparejamiento de cuantiles basado en rangos ( $D_{rank}$ ).
Filtrado de Calidad: Las muestras generadas se filtran según la plausibilidad del movimiento, la fidelidad de la clase (usando un validador de HAR ligero) y la redundancia (verificación de vecino más cercano basada en embeddings).

3. Contribuciones Clave

Programas de Movimiento Semántico (SMP): La introducción de una representación intermedia estructurada que separa explícitamente los invariantes que definen la actividad de los atributos de ejecución que preservan la etiqueta, permitiendo una variación controlada.
Framework VSMP-IMU: Un pipeline completo para la generación de datos de IMU sintéticos basados en video que integra la extracción de SMP, la aumentación restringida, la síntesis de texto-a-movimiento y el anclaje consciente del sensor.
Evaluación Exhaustiva: Evaluación extensa a través de cinco conjuntos de datos públicos (MM-Fit, UTD-MHAD, MMAct, PAMAP2, HAD-AW) bajo tres configuraciones: LOPO estándar (Dejar a una persona fuera), Bajos Recursos y Cola Larga (clases desbalanceadas).
Análisis de Controlabilidad: Un estudio end-to-end riguroso que evalúa si los atributos de SMP solicitados (tempo, amplitud, conteo de repeticiones, duración de la primitiva, simetría) se realizan en el movimiento generado y son observables en las señales de IMU ancladas.

4. Resultados

4.1 Mejoras de Rendimiento

LOPO Estándar: VSMP-IMU logró un Macro-F1 promedio de 78.33%, superando al entrenamiento solo con datos Reales (68.56%) por 9.77% y al precedente sintético más fuerte (IMUTube, 74.30%) por 4.04%.
Bajos Recursos: En configuraciones con datos de entrenamiento reducidos (p. ej., 1% de presupuesto de etiquetas), VSMP-IMU mejoró sobre el entrenamiento solo con datos Reales en un 18.54% y sobre el precedente más fuerte por un 6.76%.
Cola Larga: Para las clases subrepresentadas (cola), VSMP-IMU mejoró el Macro-F1 en un 19.86% respecto al entrenamiento solo con datos Reales y en un 4.76% respecto al SOTA, demostrando una cobertura superior para actividades escasas.

4.2 Hallazgos de Controlabilidad

El estudio evaluó la realización de los controles solicitados a través del pipeline ( $S \to M \to \text{IMU Raw} \to \text{IMU Anclado}$ ):

Tempo y Conteo de Repeticiones: Mostraron una fuerte concordancia al nivel de movimiento ( $\rho=0.92$ y $\rho=0.93$ ), pero experimentaron una atenuación significativa tras la síntesis de IMU y el anclaje ( $\rho=0.61$ ).
Amplitud: Mostró un control moderado en el nivel de movimiento ( $\rho=0.86$ ), pero se preservó mejor en el IMU anclado ( $\rho=0.75$ ) en comparación con otros atributos.
Duración de la Primitiva: Exhibió un error creciente a través del pipeline (MAPE 9.8% en movimiento $\to$ 14.1% en IMU anclado).
Simetría: Evaluada solo al nivel de movimiento debido a la falta de sensores bilaterales en el conjunto de datos; alcanzó un 86% de precisión.
Retención de la Etiqueta: Se observaron altas tasas de retención (93.5%–97.1%), lo que indica que las variaciones rara vez alteraron la identidad central de la actividad.

4.3 Estudios de Ablación

Estructurado vs. No Estructurado: La representación estructurada SMP proporcionó una mayor ganancia de rendimiento (+2.90 Macro-F1) que simplemente añadir instrucciones de atributos a descripciones genéricas.
Contribuciones de Componentes: La adaptación al dominio del sensor (simulación en el bucle + anclaje basado en rangos) fue el componente más crítico, contribuyendo con la mayor caída de rendimiento cuando se eliminaba.

5. Significado y Reivindicaciones

El artículo afirma que las semánticas estructuradas basadas en video proporcionan una base práctica para generar datos de sensores sintéticos controlables y relevantes para wearables. Al separar la identidad de la actividad de la variación de la ejecución, VSMP-IMU aborda las limitaciones tanto de los enfoques puramente visuales como de los puramente textuales.

Los autores enfatizan que:

El marco es más beneficioso en entornos de bajos recursos y de cola larga, donde la diversidad semánticamente significativa es más valiosa que la simple perturbación de la señal.
El enfoque se extiende con éxito más allá de los ejercicios periódicos hacia gestos dominantes de la muñeca y acciones no periódicas, aunque las ganancias son menores para actividades que dependen de la articulación fina de la mano o el contacto con objetos (p. ej., atrapar, golpear) debido a las limitaciones del backend de movimiento de cuerpo completo.
El método no pretende generar un movimiento de dedos articulados perfecto o transiciones de estado de objetos, sino que sirve como un suplemento estructurado para datos de wearables a nivel de cuerpo y muñeca.

El trabajo sugiere que combinar representaciones intermedias estructuradas con pipelines de simulación calibrados es una dirección prometedora para superar la escasez de datos en la computación vestible.