Resumo Técnico: AnyMo

Declaração do Problema

Dispositivos vestíveis e móveis oferecem um meio prático para detectar continuamente o movimento humano em ambientes reais. No entanto, os sinais da Unidade de Medição Inercial (IMU) são altamente dependentes da configuração de sensoriamento, incluindo a localização no corpo, a posição de montagem, a orientação do sensor, o hardware do dispositivo e os protocolos de amostragem. Essa "dependência da configuração" cria uma barreira significativa: modelos treinados em uma configuração frequentemente falham ao transferir para outras, limitando a utilidade mais ampla das IMUs vestíveis além de tarefas de reconhecimento em conjunto fechado.

Além disso, fechar a lacuna entre sinais inerciais contínuos de múltiplos sensores e conceitos textuais discretos (linguagem) permanece desafiador. Abordagens existentes enfrentam três limitações acopladas:

1. Escassez de Dados e Supervisão: Dados reais de IMU estão fragmentados entre diferentes posicionamentos e dispositivos, frequentemente limitados a rótulos de atividade grosseiros e em conjunto fechado, em vez de descrições ricas.
2. Realismo Limitado da Augmentação Sintética: Pipelines de geração sintética existentes frequentemente dependem de rótulos específicos ou posicionamentos esparsos de sensores, falhando em capturar o realismo físico das variações densas na superfície do corpo.
3. Lacuna de Modalidade: Conectar diretamente fluxos brutos de IMU a Modelos de Linguagem de Grande Escala (LLMs) é ineficiente devido a problemas de escalabilidade de tokens, e o alinhamento contrastivo simples falha em resolver a lacuna à medida que a complexidade do sensor aumenta.

Metodologia

Os autores propõem o AnyMo, um framework consciente da geometria para modelagem de movimento humano agnóstico à configuração. O framework opera através de três etapas principais:

1. Simulação de IMU Consciente da Geometria e Fundamentada na Física

Em vez de simulação centrada nas articulações, o AnyMo sintetiza sinais de IMU sobre posicionamentos densos na superfície do corpo usando o modelo corporal Nymeria (23 segmentos anatômicos).

• Modelagem de Superfície: Para cada segmento anatômico, o sistema seleciona vértices de superfície candidatos na malha do corpo. Calcula um centróide do segmento e define um quadro de sensor local baseado na normal da superfície, um eixo anatômico e uma direção tangente.
• Síntese Baseada em Física: O sistema simula trajetórias de sensores virtuais transformando o movimento global do corpo em quadros de sensores locais, levando em conta variações na orientação de montagem (rotação no plano e inclinação) e priores de ruído do dispositivo estimados a partir de dados reais.
• Resultado: Isso gera uma distribuição diversificada de sinais sintéticos de IMU plausíveis em toda a superfície do corpo, fechando a lacuna entre o pré-treinamento sintético e as observações esparsas do mundo real.

2. Pré-treinamento Agnóstico à Configuração e Consciente da Geometria

O framework aprende representações robustas tratando a variação da configuração como variação estruturada da superfície do corpo, e não como ruído arbitrário.

• Codificador de Grafos: Um codificador de grafos espaço-temporal modela o corpo inteiro como um grafo onde os nós representam segmentos anatômicos e as arestas seguem a árvore cinemática.
• Aprendizado Contrastivo Preditivo de Visão Cruzada Mascarada: O modelo é treinado para reconstruir o latente do movimento do corpo inteiro a partir de uma visão mascarada e esparsa do grafo. Especificamente, constrói duas visões completas do grafo (A e B) amostrando diferentes posicionamentos e orientações de superfície. Em seguida, mascara nós em uma visão e prevê o latente da visão completa da outra. Isso força o codificador a aprender representações de movimento agnósticas à configuração que são estáveis entre diferentes posicionamentos de sensores.

3. Tokenização de IMU de Corpo Inteiro e Alinhamento Movimento-Linguagem

Para conectar entradas vestíveis esparsas com LLMs, o AnyMo introduz uma estratégia de tokenização compacta.

• Tokenização: Um tokenizador VAE com quantização de produto discretiza os latentes de sequência contínuos e estáveis à configuração do codificador em tokens de IMU compactos. Isso evita a ineficiência de alimentar fluxos brutos de IMU diretamente em um LLM.
• Modelagem Movimento-Linguagem: O LLM (Qwen2.5-0.5B) é estendido com o vocabulário de IMU. Os vetores do livro de códigos do tokenizador são projetados no espaço de incorporação do LLM para fornecer incorporações conscientes do movimento.
• Ajuste Fino Contrastivo Multi-tarefa: O modelo é ajustado finamente usando uma combinação de:
  • Geração de Instruções: Para legendagem de movimento e reconhecimento de múltipla escolha.
  • Alinhamento Contrastivo: Uma perda contrastiva simétrica IMU-texto alinha tokens de IMU com narrativas de movimento e rótulos de atividade. Prompts suaves aprendíveis são usados para otimizar o contexto textual sem engenharia manual de modelos.

Principais Contribuições

1. Simulação Consciente da Geometria: Os autores propõem um método de simulação fundamentado na física sobre posicionamentos densos na superfície do corpo, gerando sinais sintéticos diversos que fecham a lacuna sintético-real mais efetivamente do que métodos centrados nas articulações.
2. Aprendizado de Representação Agnóstico à Configuração: Desenvolvem um método de pré-treinamento usando aprendizado contrastivo preditivo de visão cruzada mascarada e tokenização de corpo inteiro, permitindo que o modelo aprenda representações de movimento que generalizam entre diferentes posicionamentos e orientações de sensores.
3. Modelo Generalista IMU-Linguagem: O AnyMo introduz um modelo unificado que suporta reconhecimento de atividade zero-shot, recuperação cross-modal e legendagem de movimento, fundamentando efetivamente o sensoriamento vestível na linguagem.

Resultados Experimentais

O AnyMo foi avaliado em três tarefas complementares em 14 conjuntos de dados downstream completamente não vistos, incluindo benchmarks em ambientes reais (EgoExo4D, Ego4D) e conjuntos de dados HAR padrão (UCI-HAR, Opportunity, etc.).

• Reconhecimento de Atividade Zero-Shot: O AnyMo alcançou uma Precisão média de 35,7%, macro-F1 de 29,5% e Recall@2 de 57,5%. Isso representa uma melhoria de 11,7% na Precisão, 11,6% no F1 e 22,6% no Recall@2 sobre a linha de base mais forte (UniMTS).
• Recuperação Cross-Modal: No conjunto retido do Nymeria (transferência sim-to-real), o AnyMo melhorou a Taxa Média de Reciprocidade (MRR) de IMU para Texto de 10,0 para 44,6 e de Texto para IMU de 6,7 para 46,7.
• Legendagem de Movimento: Na legendagem zero-shot no EgoExo4D, o AnyMo alcançou uma pontuação BERT-F1 de 67,1, superando significativamente linhas de base baseadas em prompts como GPT-5.4 Mini e Gemma 4 26B.

Estudos de ablação confirmaram que a remoção da simulação consciente da geometria ou do objetivo contrastivo de visão cruzada mascarada causou degradação severa de desempenho, validando a necessidade tanto da modelagem de superfície densa quanto do objetivo específico de pré-treinamento.

Significado e Alegações

O artigo afirma que o AnyMo estabelece um novo caminho para a compreensão generalista de movimento vestível. Ao tratar a variação da configuração vestível como variação estruturada da superfície do corpo e não como ruído arbitrário, e ao conectar essas variações à linguagem através de tokens compactos de corpo inteiro, o AnyMo demonstra que é possível aprender representações robustas que transferem entre diversos dispositivos, posicionamentos e conjuntos de dados sem exigir ajuste fino específico para a tarefa.

Os autores posicionam o AnyMo não meramente como um classificador melhor, mas como um passo fundamental em direção a sistemas de IA proativos e conscientes do contexto que podem interpretar o movimento humano em ambientes reais usando a semântica rica e aberta da linguagem. Os resultados sugerem que combinar simulação consciente da geometria com modelagem movimento-linguagem é uma direção promissora para superar os desafios de escassez de dados e dependência de configuração que historicamente limitaram as aplicações de IMU vestível.