🤖 machine learning

VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation

O artigo apresenta o VSMP-IMU, um framework fundamentado em vídeo que gera dados de IMU sintéticos controláveis usando Programas de Movimento Semântico estruturados para superar a escassez de dados e melhorar significativamente o desempenho do reconhecimento de atividade humana vestível em cenários de baixo recurso, desbalanceados e de generalização de sujeito.

Autores originais: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

Publicado 2026-08-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer quando você está dançando, correndo ou fazendo ioga. Para fazer isso, o robô precisa "sentir" seus movimentos, geralmente através de um smartwatch ou de um sensor preso ao seu corpo que registra como você balança e gira. Este campo é chamado de Reconhecimento de Atividade Humana. O problema é que ensinar um robô requer milhares de exemplos de pessoas reais se movendo, e obter esses exemplos é um pesadelo. Você tem que prender sensores em humanos reais, pedir que eles repitam o mesmo movimento repetidas vezes e torcer para que não se cansem ou mudem a forma como o fazem. É caro, lento e frequentemente deixa o robô confuso quando ele encontra uma pessoa nova que se move de forma ligeiramente diferente.

Para resolver isso, cientistas tentaram "fingir" os dados dos sensores. Alguns tentam assistir a um vídeo de uma pessoa e adivinhar o que o sensor sentiria (como olhar para um vídeo de dança e adivinhar o ritmo). Outros tentam escrever uma descrição em texto como "pular para cima e para baixo" e fazem um computador imaginar o movimento. Mas esses métodos têm falhas: o método de vídeo fica confuso se o ângulo da câmera for estranho, e o método de texto é muito vago, criando frequentemente movimentos que parecem certos, mas que "parecem" errados para um sensor. A grande questão é: podemos criar dados de sensores falsos que sejam realistas o suficiente para ensinar o robô e flexíveis o suficiente para cobrir todas as diferentes maneiras como os humanos realmente se movem?

Apresentamos o VSMP-IMU, um novo sistema que atua como um diretor superinteligente para um filme sobre movimento. Em vez de apenas adivinhar a partir de um vídeo ou de um comando de texto, este sistema utiliza um "Programa de Movimento Semântico" (SMP). Pense em um SMP como um cartão de receita detalhado para um movimento. Ele não diz apenas "polichinelos"; ele decompõe o movimento em etapas específicas: "parar, pular abrindo, fechar, repetir" e nota exatamente quais partes do corpo estão envolvidas, quão rápido deve ser e quão largo deve ser o balanço dos braços.

Aqui está como a mágica acontece: o sistema assiste a um vídeo de uma pessoa real realizando uma atividade e extrai este "cartão de receita". Então, ele fica criativo. Ele pode ajustar a receita — talvez pedir para os polichinelos serem feitos super rápido ou com grandes balanços de braço — enquanto mantém a identidade central do movimento (ainda é um polichinelo). Uma vez que a receita é ajustada, um computador gera uma animação 3D de uma pessoa fazendo exatamente aquilo. Finalmente, o sistema simula o que um sensor preso ao corpo dessa pessoa animada sentiria, transformando o movimento 3D em dados de sensores falsos.

Os pesquisadores testaram isso alimentando o cérebro de um robô com esses novos dados falsos para ver se ele melhorava o reconhecimento de movimentos humanos reais. Os resultados foram impressionantes. Quando o robô foi treinado apenas com dados reais, obteve uma pontuação de cerca de 68,6 de 100. Quando adicionaram os dados falsos do VSMP-IMU, a pontuação saltou para 78,3. Esse é um grande progresso, especialmente quando não há muitos dados reais para começar. Em situações onde o robô tinha muito pouco dado real para aprender (como apenas 1% da quantidade usual), o sistema ajudou o robô a melhorar sua pontuação em quase 19 pontos em comparação com o aprendizado apenas com dados reais.

O sistema também provou que consegue seguir instruções. Quando os pesquisadores pediram ao sistema para gerar movimentos com uma velocidade específica, o movimento resultante correspondeu ao pedido 92% das vezes. Quando pediram um número específico de repetições, o sistema acertou dentro de uma contagem 90,6% das vezes. No entanto, o artigo observa que, embora o sistema seja ótimo para movimentos grandes de corpo inteiro como pular ou agachar, ele às vezes tem dificuldade com movimentos manuais minúsculos e precisos (como pegar uma bola) porque a animação 3D subjacente não mostra cada tremor dos dedos.

Em resumo, o VSMP-IMU sugere que, ao usar uma "receita" estruturada para guiar a criação de dados de sensores falsos, podemos ensinar os robôs a entender o movimento humano muito melhor do que antes. Ele preenche a lacuna entre assistir a um vídeo e sentir uma vibração, criando uma biblioteca de movimentos sintéticos que são diversos, controláveis e surpreendentemente realistas. Embora não seja perfeito para cada detalhe minúsculo do movimento humano, oferece uma nova maneira poderosa de treinar a próxima geração de tecnologia vestível sem a necessidade de prender sensores em milhares de pessoas reais.

Resumo Técnico: VSMP-IMU

1. Declaração do Problema

O Reconhecimento de Atividade Humana (HAR) vestível é significativamente dificultado pela escassez de dados rotulados de Unidade de Medição Inercial (IMU), particularmente em cenários de poucos recursos, desbalanceamento de classes e generalização de sujeitos. Embora a geração de dados sintéticos ofereça uma solução potencial para reduzir a dependência da coleta no mundo real, os métodos existentes enfrentam um trade-off fundamental:

Métodos baseados em vídeo (ex: IMUTube) são visualmente fundamentados, mas sofrem com a sensibilidade a erros de estimativa de pose, oclusão e ambiguidade de viewpoint. Eles carecem frequentemente de controle sobre variações de execução que preservam o rótulo (ex: tempo, amplitude).
Métodos baseados em texto (ex: IMUGPT 2.0) oferecem alta controlabilidade, mas são frequentemente fracamente fundamentados nos padrões espaço-temporais específicos de como as atividades são realmente executadas, podendo gerar movimentos que correspondem a um rótulo, mas carecem de detalhes relevantes para dispositivos vestíveis.
Aumentação de sinal clássica (ex: jittering, scaling) melhora a robustez, mas não introduz novos padrões semânticos de movimento ou variações fisicamente plausíveis de uma atividade.

O desafio central é gerar dados de IMU sintéticos que preservem os invariantes definidores da atividade, permitindo simultaneamente variações controláveis e preservadoras de rótulo na execução do movimento e na realização do sensor, sem depender de estimativas de pose por quadro frágeis ou prompts de texto sem fundamentação.

2. Metodologia: VSMP-IMU

Os autores propõem o VSMP-IMU (Semantic Motion Programs Grounded in Video), um framework que introduz uma representação intermediária estruturada chamada Programa de Movimento Semântico (SMP) para fazer a ponte entre a compreensão de vídeo e a síntese inercial.

2.1 O Programa de Movimento Semântico (SMP)

O SMP é um esquema estruturado que separa a semântica definidora da atividade dos atributos de execução. Ele é definido como um conjunto de campos:
$S = \{y, P, D, B, T, A, O, C, U\}$_}$
Onde:

Invariantes (Fixos): Rótulo da atividade ( $y$ ), sequência primitiva ( $P$ ), envolvimento de partes do corpo ( $B$ ) e informações de objeto/contato ( $O$ ). Estes definem a identidade da atividade.
Variantes (Aumentáveis): Durações das primitivas ( $D$ ), organização temporal ( $T$ ), atributos de execução ( $A$ ) como tempo, amplitude, lado dominante e simetria. Estes permitem variação controlada sem alterar o rótulo da classe.
Restrições e Incerteza: Restrições de aumentação ( $C$ ) e incerteza por nível de campo ( $U$ ) guiam perturbações seguras.

2.2 O Pipeline VSMP-IMU

O framework opera através das seguintes etapas:

Extração de SMP Baseada em Vídeo: Um Modelo de Linguagem-Visão pré-treinado (VLM, especificamente GPT-5.3 na implementação) extrai um SMP inicial de um vídeo de atividade de entrada. O VLM é instruído a produzir campos estruturados (rótulo, primitivas, partes do corpo, atributos, incerteza) em vez de texto livre.
Refinamento Semântico: O SMP extraído passa por verificações de consistência (compatibilidade rótulo-primitiva, consistência de parte do corpo, coerência temporal, consistência de objeto/contato). Campos que falham nas verificações são corrigidos ou marcados com alta incerteza.
Aumentação Restrita: O SMP refinado é aumentado para gerar $K$ variantes. A aumentação é condicionada à incerteza: campos com baixa incerteza (alta confiança) são perturbados de forma mais agressiva, enquanto campos de alta incerteza são alterados minimamente ou mantidos fixos. Crucialmente, os campos invariantes permanecem inalterados.
Verbalização e Síntese de Movimento: Cada SMP aumentado é convertido em um prompt de linguagem natural compatível com o HY-Motion, um gerador de texto-para-movimento congelado. O HY-Motion sintetiza uma sequência de movimento humano 3D ( $M$ ) baseada no prompt.
Síntese de IMU: O movimento 3D é convertido em sinais de IMU virtuais usando o IMUSim. Sensores virtuais são anexados a segmentos corporais específicos com configurações nominais (bias, ruído, montagem).
Fundamentação Consciente do Sensor: Para preencher a lacuna entre os dados sintéticos e reais, duas etapas de adaptação são aplicadas:
- Otimização de Simulação no Loop: Resíduos físicos limitados (ex: orientação de montagem, bias, escala de ruído) são otimizados para corresponder às estatísticas temporais e multivariadas ( $D_{stat}$ ) dos dados de treinamento reais.
- Fundamentação Baseada em Rank: O sinal é alinhado às convenções do dataset alvo (ordem de eixos, sinal, gravidade, unidades) e então mapeado para as distribuições marginais do domínio alvo usando correspondência de quantis baseada em rank ( $D_{rank}$ ).
Filtragem de Qualidade: Amostras geradas são filtradas com base na plausibilidade do movimento, fidelidade à classe (usando um validador de HAR leve) e redundância (verificação de vizinho mais próximo baseada em embedding).

3. Principais Contribuições

Programas de Movimento Semântico (SMP): A introdução de uma representação intermediária estruturada que separa explicitamente a identidade da atividade da variação de execução, permitindo uma variação controlada.
Framework VSMP-IMU: Um pipeline completo para geração de IMU sintético baseado em vídeo que integra extração de SMP, aumentação restrita, síntese de texto-para-movimento e fundamentação consciente do sensor.
Avaliação Abrangente: Avaliação extensa em cinco datasets públicos (MM-Fit, UTD-MHAD, MMAct, PAMAP2, HAD-AW) sob três configurações: LOPO Padrão (Leave-One-Person-Out), Baixo Recurso e Cauda Longa (desbalanceamento de classes).
Análise de Controlabilidade: Um estudo end-to-end rigoroso avaliando se os atributos de SMP solicitados (tempo, amplitude, contagem de repetição, duração da primitiva, simetria) são realizados no movimento gerado e observáveis nos sinais de IMU fundamentados.

4. Resultados

4.1 Melhorias de Desempenho

LOPO Padrão: O VSMP-IMU alcançou um Macro-F1 médio de 78,33%, superando o treinamento apenas com Dados Reais (68,56%) em 9,77% e a base sintética anterior mais forte (IMUTube, 74,30%) em 4,04%.
Baixo Recurso: Em configurações com dados de treinamento reduzidos (ex: orçamento de 1% de rótulos), o VSMP-IMU melhorou o treinamento apenas com Dados Reais em 18,54% e sobre a base anterior mais forte em 6,76%.
Cauda Longa: Para classes sub-representadas (cauda), o VSMP-IMU melhorou o Macro-F1 em 19,86% sobre o treinamento apenas com Dados Reais e em 4,76% sobre o SOTA, demonstrando cobertura superior para atividades escassas.

4.2 Achados de Controlabilidade

O estudo avaliou a realização dos controles solicitados através do pipeline ( $S \to M \to \text{IMU Bruto} \to \text{IMU Fundamentado}$ ):

Tempo e Contagem de Repetição: Mostraram forte concordância no nível de movimento ( $\rho=0,92$ e $\rho=0,93$ ), mas sofreram atenuação significativa após a síntese de IMU e fundamentação ( $\rho=0,61$ ).
Amplitude: Mostrou controle moderado no nível de movimento ( $\rho=0,86$ ), mas foi melhor preservada no IMU fundamentado ( $\rho=0,75$ ) comparado a outros atributos.
Duração da Primitiva: Exibiu erro crescente através do pipeline (MAPE de 9,8% no movimento $\to$ 14,1% no IMU fundamentado).
Simetria: Avaliada apenas no nível de movimento devido à falta de sensores bilaterais no dataset; alcançou 86% de precisão.
Retenção de Rótulo: Altas taxas de retenção (93,5%–97,1%) foram observadas, indicando que as variações raramente alteraram a identidade central da atividade.

4.3 Estudos de Ablação

Estruturado vs. Não Estruturado: A representação estruturada de SMP proporcionou um ganho de desempenho maior (+2,90 Macro-F1) do que simplesmente adicionar instruções de atributo a legendas genéricas.
Contribuições de Componentes: A adaptação ao domínio do sensor (simulação no loop + fundamentação baseada em rank) foi o componente mais crítico, contribuindo com a maior queda de desempenho quando removido.

5. Significância e Alegações

O artigo afirma que semânticas estruturadas baseadas em vídeo fornecem uma base prática para gerar dados de sensores sintéticos controláveis e relevantes para wearables. Ao separar a identidade da atividade da variação de execução, o VSMP-IMU aborda as limitações de abordagens puramente visuais e puramente textuais.

Os autores enfatizam que:

O framework é mais benéfico em cenários de baixo recurso e cauda longa, onde a diversidade semanticamente significativa é mais valiosa do que a simples perturbação de sinal.
A abordagem estende-se com sucesso além de exercícios periódicos para gestos dominantes de pulso e ações não periódicas, embora os ganhos sejam menores para atividades que dependem de articulação fina das mãos ou contato com objetos (ex: agarrar, bater à porta) devido às limitações do backend de movimento de corpo inteiro.
O método não pretende gerar movimentos perfeitos de articulação de dedos ou transições de estado de objetos, mas serve como um suplemento estruturado para dados de sensores de corpo e pulso.

O trabalho sugere que combinar representações intermediárias estruturadas com pipelines de simulação calibrados é uma direção promissora para superar a escassez de dados em computação vestível.