Encoder-Free Human Motion Understanding via Structured Motion Descriptions

1. O Problema

A compreensão de movimento humano a partir de dados esqueléticos (como sequências de posições de articulações) é fundamental para tarefas como Resposta a Perguntas sobre Movimento (Motion QA) e Legendagem de Movimento (Motion Captioning).

• Limitações das Abordagens Atuais: Os métodos baseados em Grandes Modelos de Linguagem (LLMs) existentes geralmente seguem um paradigma "baseado em codificador" (encoder-based). Eles utilizam codificadores de movimento aprendidos (como VQ-VAE, VAE contínuo ou projeção linear) para mapear dados numéricos de movimento para o espaço de embeddings do LLM.
• Desafios: Essa abordagem exige:
  1. Alinhamento Multimodal Complexo: Treinamento em múltiplos estágios para alinhar representações de movimento e texto.
  2. Acoplamento Específico: O sistema fica atrelado a um backbone específico de LLM.
  3. Fragilidade: Os tokens aprendidos não são legíveis por humanos e podem não generalizar bem entre diferentes fontes de dados de captura de movimento.
  4. Subutilização do Conhecimento do LLM: Os LLMs já possuem conhecimento pré-treinado sobre partes do corpo, direções espaciais e semântica de movimento, mas os métodos atuais não exploram isso diretamente, forçando o modelo a aprender representações latentes opacas.

2. Metodologia: Structured Motion Description (SMD)

Os autores propõem uma abordagem sem codificador (encoder-free) que converte sequências de posições de articulações em descrições de texto estruturadas e determinísticas, permitindo que o LLM processe o movimento diretamente em sua modalidade nativa (texto).

O processo consiste em duas etapas principais:

Etapa 1: Conversão Determinística (Regras Biomecânicas)

Uma função determinística $f_{SMD}$ transforma os dados brutos de movimento em texto estruturado, sem aprendizado de máquina. O processo segue quatro passos:

1. Cálculo de Ângulos Articulares: Baseado em convenções biomecânicas, calculam-se 26 ângulos articulares (ex: flexão do quadril, rotação do ombro) projetando vetores ósseos em planos de referência anatômicos locais.
2. Descrição de Trajetória Global: Analisa-se a trajetória do centro de massa (representado pela pélvis) em eixos de translação (frente/trás, lateral, altura) e rotação (guinada do corpo). O sinal é suavizado e segmentado em intervalos contínuos (ex: "move-se para frente 0.00m → 1.23m [0.0s–2.5s]").
3. Descrição dos Ângulos Articulares: Os sinais de ângulos são segmentados e rotulados com verbos de ação baseados na mudança de valor (ex: "aumenta", "diminui", "mantém", "repete ciclos"). Isso comprime séries temporais longas em intervalos descritivos concisos.
4. Montagem do Texto (SMD): As informações são organizadas hierarquicamente em um único bloco de texto contendo:
   • Metadados (duração, FPS).
   • Trajetória Global.
   • Ângulos Articulares agrupados por parte do corpo.

Etapa 2: Ajuste Fino (Fine-tuning) com LoRA

O texto SMD é usado como prompt de entrada para um LLM pré-treinado.

• Treinamento: Apenas uma adaptação LoRA (Low-Rank Adaptation) leve é aplicada ao LLM (congelando os pesos base). Não há treinamento de codificador de movimento ou módulos de alinhamento.
• Tarefas: O modelo é ajustado para duas tarefas:
  • Motion QA: Responder a perguntas de múltipla escolha sobre o movimento.
  • Motion Captioning: Gerar uma legenda natural e concisa descrevendo a ação.

3. Principais Contribuições

1. Abordagem sem Codificador (Encoder-Free): Elimina a necessidade de codificadores de movimento aprendidos e pipelines de alinhamento complexos, substituindo-os por uma conversão baseada em regras biomecânicas.
2. Flexibilidade Agnóstica ao LLM: A mesma entrada de texto funciona em qualquer LLM. Os autores validaram isso em 8 LLMs de 6 famílias diferentes (incluindo Qwen, LLaMA, Gemma, GLM), exigindo apenas o re-treinamento do adaptador LoRA leve (~40M parâmetros).
3. Interpretabilidade Inerente: Como a representação é texto legível por humanos, é possível realizar análise de atenção para entender exatamente quais partes do corpo ou segmentos de trajetória o modelo utilizou para gerar a resposta, algo difícil com tokens latentes opacos.
4. Desempenho Superior: Atingiu resultados state-of-the-art (SOTA) em benchmarks padrão, superando métodos que usam codificadores aprendidos e modelos especializados.

4. Resultados Experimentais

Os resultados foram avaliados em três benchmarks principais: BABEL-QA, HuMMan-QA (QA) e HumanML3D (Legendagem).

• Motion QA:

  • BABEL-QA: 66.7% de precisão (vs. 60.1% do SOTA anterior, IMoRe).
  • HuMMan-QA: 90.1% de precisão (vs. 75.2% do IMoRe).
  • Comparação Controlada: Ao usar a mesma arquitetura de LLM (Qwen2.5-7B), o método SMD superou significativamente uma versão que usava tokens latentes aprendidos (MotionGPT3-Qwen), que obteve apenas 22.0% no HuMMan-QA. Isso demonstra que a representação textual baseada em regras é mais robusta e informativa do que representações latentes aprendidas.

• Motion Captioning (HumanML3D):

  • R@1: 0.584 (Superior ao MotionGPT3 de 0.573).
  • CIDEr: 53.16 (Superior ao MotionGPT3 de 40.65), indicando uma melhoria de 31% na qualidade semântica e consenso com legendas humanas.
  • O método superou todos os baselines anteriores, incluindo modelos baseados em VQ-VAE e VAE contínuo.

• Análises Adicionais:

  • Zero-Shot: Mesmo sem ajuste fino, o LLM conseguiu interpretar parcialmente as descrições SMD (35.6% de precisão em QA), provando que o texto captura a semântica do movimento.
  • Portabilidade: O método funcionou consistentemente em modelos de 3B a 14B parâmetros, com custos de treinamento extremamente baixos (2-8 horas de GPU para QA, 6-12 para legendagem).

5. Significado e Conclusão

O trabalho demonstra que a representação textual baseada em regras é uma alternativa superior e mais eficiente aos métodos de alinhamento multimodal tradicionais para a compreensão de movimento humano.

• Impacto: Reduz drasticamente a complexidade de treinamento (de pipelines de 3 estágios para 1 etapa de LoRA), aumenta a portabilidade entre modelos e oferece transparência total no processo de decisão do modelo.
• Limitações: A principal desvantagem é a latência de inferência, pois o texto SMD é mais longo (1.000 a 4.000 tokens) do que os tokens latentes compactos (256 tokens) usados por métodos anteriores. Além disso, a conversão atual depende de regras manuais e pode não capturar nuances de esqueletos muito detalhados (como dedos).

Em resumo, o SMD alinha a representação de movimento com a capacidade nativa de linguagem dos LLMs, permitindo que o conhecimento pré-treinado sobre o corpo humano e a física seja aplicado diretamente à compreensão de movimento, sem a necessidade de aprender representações intermediárias complexas.