Resumo Técnico: T-MOR

Declaração do Problema

Embora os Modelos de Visão-Linguagem (VLMs) como o CLIP tenham alcançado sucesso na compreensão visual, eles dependem primariamente de supervisão de nível de aparência e carecem de modelagem explícita de movimento humano. Essa limitação prejudica sua eficácia em tarefas de reconhecimento de ação centradas no ser humano e de grão fino, onde as ações são definidas por movimentos corporais temporalmente estruturados e fisicamente fundamentados. Por outro lado, os métodos baseados em esqueleto existentes frequentemente operam em configurações de conjunto fechado (closed-set), tornando-os difíceis de transferir para novas ações ou tarefas sem um re-treinamento extensivo. O desafio central abordado é como aproveitar a supervisão semântica de larga escala (de vídeo e texto) para aprender representações de movimento humano transferíveis, fisicamente fundamentadas e temporalmente coerentes que permaneçam robustas e leves para inferência.

Metodologia

Os autores propõem o T-MOR (Transferable skeleton MOtion Representation), um framework de consciência de movimento projetado para aprender representações de ação transferíveis a partir de sequências de esqueleto usando supervisão de vídeo e linguagem durante o treinamento.

1. Arquitetura e Extração de Características

• Representação Central: O framework utiliza sequências de esqueleto ($s_k$) como a entrada primária para inferência. O codificador de movimento ($E_M$) é baseado no UNIK, uma arquitetura híbrida que combina Transformers e TCNs para capturar relações espaciais entre articulações e a evolução temporal.
• Alinhamento Multimodal: Durante o pré-treinamento, o T-MOR alinha as incorporações (embeddings) de movimento ($E_M(s_k)$) com:
  • Incorporações Visuais ($E_V(v)$): Extraídas de quadros de vídeo RGB usando um codificador de vídeo ViCLIP congelado.
  • Incorporações Textuais ($E_T(a)$): Extraídas de descrições de ação usando um codificador de texto ViCLIP congelado.
• Eficiência de Inferência: Os codificadores de vídeo e texto são congelados e descartados após o pré-treinamento. No momento da inferência, o modelo utiliza apenas o leve codificador de esqueleto, tornando-o adequado para cenários com recursos limitados.

2. Aprendizado Contrastivo Multimodal Guiado por Agrupamento (Cluster-Guided)

O T-MOR emprega uma estratégia de treinamento em dois estágios, aprimorada por um mecanismo contrastivo guiado por agrupamento para refinar a seleção de amostras positivas e negativas, mitigando falsos negativos causados pela amostragem aleatória em bancos de memória.

• Agrupamento (Clustering): Após cada época, as incorporações de movimento são agrupadas usando DBSCAN. Amostras dentro do mesmo grupo são tratadas como pares positivos, enquanto aquelas em outros grupos servem como negativos.
• Pré-treinamento Autossupervisionado (Movimento-Vídeo): O modelo otimiza uma função de perda ($L_{self} = L_{mm} + L_{mv}$) para alinhar pares movimento-movimento e movimento-vídeo sem usar anotações de ação. Isso aprende um codificador de esqueleto transferível alinhado com pistas visuais de movimento.
• Alinhamento Supervisionado (Movimento-Texto): Um segundo estágio alinha as representações de movimento com a semântica da linguagem ($L_{mt}$) para permitir a transferência zero-shot. O objetivo supervisionado total é $L_{sup} = L_{mm} + L_{mv} + L_{mt}$.
• Formulação de Perda: A perda contrastiva utiliza similaridade de cosseno com escalonamento de temperatura, incentivando as incorporações de movimento a formar variedades (manifolds) semanticamente compactas, porém discriminativas, através das modalidades.

3. Conjunto de Dados PoseCap-1M

Para suportar o pré-treinamento de larga escala, os autores construíram o PoseCap-1M, um novo conjunto de dados contendo mais de um milhão de tripletos sincronizados de vídeo, esqueleto e texto. Este conjunto de dados cobre diversas atividades humanas e aborda a falta de recursos multimodais de esqueleto em larga escala nos conjuntos de dados públicos existentes.

Principais Contribuições

1. Framework T-MOR: Um framework inovador que aprende representações de esqueleto transferíveis ao alinhar incorporações de movimento com incorporações visuais e de linguagem via aprendizado contrastivo multimodal guiado por agrupamento.
2. Dataset PoseCap-1M: Um conjunto de dados de ação de larga escala fornecendo tripletos de movimento-vídeo-texto para facilitar o pré-treinamento multimodal de modelos baseados em esqueleto.
3. Desempenho e Generalização: Experimentos extensivos demonstrando que o T-MOR melhora o desempenho em tarefas de classificação de ação e detecção temporal quadro a quadro, destacando a importância da modelagem de movimento incorporado para a compreensão de ação transferível.

Resultados Experimentais

Os autores avaliaram o T-MOR em múltiplos benchmarks, incluindo Toyota Smarthome, UAV-Human, Penn Action, TSU e Charades, sob configurações de sondagem linear (linear probing) e ajuste fino (fine-tuning).

• Classificação de Ação: O T-M0R superou consistentemente os métodos anteriores de estado da arte (SoTA) baseados em esqueleto. Por exemplo, no conjunto de dados Penn Action, o T-MOR alcançou 97,8% de precisão Top-1 (ajustado com pré-treinamento V+M+T), comparado a 97,3% do SoTA anterior e 29,8% para o backbone UNIK treinado do zero.
• Detecção de Ação: Nos conjuntos de dados TSU e Charades, o T-MOR mostrou ganhos significativos. No ajuste fino em TSU, alcançou 38,3% de precisão CS, superando o SoTA anterior (SD-TCN) que atingiu 31,2%.
• Transferência Zero-Shot: O T-MOR demonstrou forte generalização em configurações zero-shot. No conjunto de dados Smarthome, alcançou 21,9% de precisão usando apenas entradas de movimento, superando modelos de esqueleto existentes treinados com características visual-textuais e competindo com modelos de fundação de vídeo-linguagem.
• Transferência 3D: O framework também mostrou forte transferibilidade para detecção de ação 3D no conjunto de dados PKU-MMD, alcançando 94,3% de mAP com IoU 0.1.

Significância e Alegações

O artigo afirma que o T-MOR consegue preencher a lacuna entre a supervisão semântica de larga escala e a modelagem de movimento fisicamente fundamentada. Ao aproveitar dados de vídeo e linguagem durante o treinamento, mas depender exclusivamente de entradas de esqueleto durante a inferência, o framework oferece uma solução prática para cenários do mundo real onde os recursos computacionais são limitados.

Os autores enfatizam que representações centradas no movimento e incorporadas (embodied) são cruciais para a compreensão de ação transferível. Os resultados sugerem que dados de vídeo de larga escala podem beneficiar significativamente tarefas subsequentes baseadas em esqueleto, mesmo sem rótulos de ação explícitos durante o pré-treinamento. Além disso, a abordagem proposta demonstra que combinar características de movimento com características de vídeo-linguagem (ou usar apenas o movimento em configurações zero-shot) leva a uma generalização mais forte em cenários desafiadores de reconhecimento de ação de grão fino. O trabalho posiciona as representações de movimento conscientes como uma direção fundamental para a futura compreensão de ação humana.