iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning

Resumo Técnico: iMiGUE-3K: Um Benchmark de Grande Escala para Análise de Microgestos com Aprendizado Auto-supervisionado

Declaração do Problema
A pesquisa atual em computação afetiva e compreensão de emoções depende predominantemente de expressões faciais e fala, frequentemente negligenciando a linguagem corporal. Embora existam conjuntos de dados existentes para comportamentos faciais posados ou espontâneos, há uma lacuna significativa em recursos de grande escala para Microgestos (MGs) — movimentos involuntários e subconscientes impulsionados por sentimentos internos (por exemplo, esfregar as mãos devido ao estresse). Esses gestos são cruciais para entender emoções suprimidas, mas são difíceis de capturar e analisar devido à sua natureza espontânea. Além disso, os conjuntos de dados de gestos existentes são frequentemente de pequena escala, levando ao sobreajuste e à transferência limitada em modelos de base. Adicionalmente, muitos conjuntos de dados existentes dependem de dados biométricos sensíveis, levantando preocupações de privacidade. Atualmente, não existe um conjunto de dados de grande escala, em ambiente natural (in-the-wild), projetado para apoiar o pré-treinamento de modelos de base especificamente para análise de microgestos.

Metodologia
O artigo propõe um framework abrangente composto por um novo conjunto de dados, uma estratégia de amostragem de dados e uma série de modelos de base.

1. Construção do Conjunto de Dados iMiGUE-3K:

   • Fonte: Vídeos foram coletados de conferências de imprensa pós-jogo de jogadores profissionais de tênis ao longo de sete anos. Este cenário fornece um gatilho emocional natural (vitória/derrota) e minimiza o tempo de preparação, elicitando MGs espontâneos.
   • Escala: O conjunto de dados contém 3.484 clipes de vídeo (totalizando >37 milhões de quadros) de 332 sujeitos distintos.
   • Anotação: Inclui 32 classes de microgestos organizadas em cinco grupos de partes do corpo (Corpo, Cabeça, Mão, Corpo-Mão, Cabeça-Mão) e rótulos de emoção em nível de vídeo (Vitória/Derrota).
   • Particionamento: O conjunto de dados é dividido em um subconjunto rotulado (341 vídeos, 17.800 instâncias de MG anotadas manualmente) para avaliação downstream e um grande subconjunto não rotulado (aproximadamente 3.000 vídeos) para pré-treinamento auto-supervisionado.
   • Características: Os dados exibem uma distribuição de cauda longa de categorias de gestos e cobrem diversas origens culturais e de gênero.

2. Estratégia de Amostragem de Dados para Aprendizado Auto-supervisionado (SSL):

   • Para utilizar os vídeos não rotulados sem anotações temporais exaustivas, os autores propõem uma estratégia de amostragem para gerar clipes candidatos de alta qualidade.
   • Mecanismo: A estratégia amostra clipes com base em um prior de duração empírico derivado do conjunto de treinamento rotulado. Impõe restrições de visibilidade de pontos-chave faciais (garantindo que âncoras como nariz e olhos sejam detectáveis) e filtragem de não sobreposição temporal para reduzir redundância e ruído.
   • Saída: Este processo produz 120 mil clipes de esqueleto não rotulados adequados para pré-treinamento.

3. MG-FMs (Modelos de Base):

   • Os autores introduzem MG-FMs, uma série de modelos de base discriminativos projetados para aprender representações transferíveis para MGs.
   • Arquitetura: O framework inclui dois ramos específicos de modalidade:
     • MG-FM-Skele: Um modelo baseado em esqueleto que adapta a arquitetura USDRL com um Codificador Espacial-Temporal Denso de Duplo Fluxo (DSTE). Utiliza objetivos de decorrelação de características (similaridade, variância, correlação cruzada) em visualizações aumentadas (jitter de velocidade, descarte de quadros, corrupção de articulações).
     • MG-FM-RGB: Um modelo baseado em RGB usando um framework de modelagem de vídeo mascarado estilo professor-aluno SMILE. Reconstrói alvos semânticos de alto nível (extraídos por um encoder ViCLIP congelado) em vez de pixels brutos, empregando uma estratégia de pré-treinamento progressivo em duas etapas.

4. Protocolos de Avaliação:
   O benchmark avalia os modelos em cinco tarefas:

   • Reconhecimento de MG não supervisionado (sondagem linear).
   • Reconhecimento de MG semi-supervisionado (ajuste fino com 10% de dados rotulados).
   • Reconhecimento de MG supervisionado (ajuste fino completo).
   • Recuperação de MG (busca por vizinho mais próximo sem treinamento).
   • Reconhecimento de emoção baseado em MG (classificação binária em nível de vídeo: Vitória vs. Derrota).

Principais Contribuições

1. iMiGUE-3K: O primeiro conjunto de dados de grande escala, em ambiente natural, especificamente projetado para análise de microgestos, apoiando o pré-treinamento de modelos de base. Ele preenche a lacuna entre reconhecimento de comportamento e compreensão de emoção, vinculando MGs a estados emocionais (vitória/derrota).
2. Benchmark Ampliado: Estende o escopo além da classificação de conjunto fechado para incluir recuperação de MG e reconhecimento de emoção baseado em MG, avançando em direção à análise afetiva em nível de instância e vídeo.
3. Estratégia de Amostragem Novel: Um método escalável para gerar clipes candidatos de alta qualidade e comprimento de MG a partir de vídeos não rotulados usando priores de duração empíricos e restrições de visibilidade, permitindo SSL eficaz.
4. MG-FMs: Uma série de modelos pré-treinados auto-supervisionados (ramos de esqueleto e RGB) que aprendem representações transferíveis para microgestos.
5. Avaliação Abrangente: Experimentos extensivos demonstrando que o pré-treinamento auto-supervisionado em grande escala melhora significativamente o desempenho em diversas tarefas downstream, muitas vezes igualando ou superando baselines totalmente supervisionadas.

Resultados

• Reconhecimento Não Supervisionado: A variante multi-fluxo baseada em esqueleto (MG-FM-Skele) alcançou 57,61% de precisão Top-1 via sondagem linear, performando em par com o BlockGCN de 4 fluxos totalmente supervisionado (57,85%). O ramo RGB alcançou 43,59%.
• Reconhecimento Semi-supervisionado: Com apenas 10% de dados rotulados, o MG-FM-RGB melhorou significativamente para 60,16% Top-1, enquanto o ramo de esqueleto permaneceu competitivo.
• Reconhecimento Supervisionado: O MG-FM-RGB alcançou a maior precisão entre os métodos comparados, com 69,42% Top-1. Um ensemble multimodal (combinando esqueleto e RGB) alcançou 71,60% Top-1, superando métodos de ensemble supervisionados existentes.
• Recuperação: O modelo de esqueleto demonstrou desempenho superior de recuperação sem treinamento (40,06% Top-1 para o fluxo de movimento) em comparação com o modelo RGB (22,56%).
• Reconhecimento de Emoção: Na tarefa em nível de vídeo (prever vitória/derrota), o método de dois fluxos proposto alcançou 0,64 de precisão, superando baselines externas (0,63) que utilizavam pipelines mais complexos incluindo características faciais.

Significado e Alegações
O artigo afirma que este trabalho fornece ferramentas abrangentes para análise de microgestos e estabelece uma base sólida para pesquisas futuras em diagnóstico psicológico, computação afetiva e interação humano-computador. Ao demonstrar que o aprendizado auto-supervisionado em dados de grande escala e que preservam a privacidade (não específicos de biométricos) pode produzir representações altamente transferíveis para tarefas downstream, os autores argumentam que a análise baseada em microgestos é uma abordagem viável e eficaz para melhorar a compreensão de emoções. O trabalho destaca que máquinas podem reconhecer e interpretar com precisão esses sinais sutis e involuntários para inferir estados emocionais, oferecendo uma alternativa que preserva a privacidade em relação ao reconhecimento tradicional de emoções baseado em biométricos.