Probing Identity-Specific Motion Signatures: A Controlled Diagnostic Study

Resumo Técnico: Sondagem de Assinaturas de Movimento Específicas de Identidade

Definição do Problema
O reconhecimento de identidade (ex: reidentificação de pessoas) tradicionalmente baseou-se em pistas de aparência estática, como características faciais, vestimentas e texturas. Embora o movimento seja teoricamente uma assinatura robusta e individual específica que persiste através de mudanças de aparência, não está claro se os modelos de vídeo modernos realmente utilizam essas pistas dinâmicas para o reconhecimento. Uma alta precisão em cenários não controlados pode resultar de modelos que exploram atalhos estáticos ou correlações específicas de conjuntos de dados (ex: vincular identidade a tipos específicos de câmeras, tipos de ação ou níveis de habilidade) em vez de aprender padrões cinemáticos genuínos. A questão diagnóstica central é: Quando pistas de movimento específicas de identidade estão claramente presentes, até que ponto os modelos de vídeo modernos as utilizam para o reconhecimento?

Metodologia
Para abordar isso, os autores introduzem o BALLER120, um benchmark de diagnóstico controlado projetado para isolar o movimento da aparência estática.

• Construção do Conjunto de Dados: O BALLER120 compreende 4.583 sequências de lances livres de 120 jogadores profissionais da NBA. Ao focar em uma única ação padronizada de múltiplas fases (preparação, ascensão, lançamento, acompanhamento) realizada por especialistas, o conjunto de dados minimiza variações grosseiras de tipo de ação e nível de habilidade.
• Regimes de Entrada: Para desacoplar movimento de aparência, os autores geram três regimes de entrada distintos para cada clipe:
  1. Aparência: Vídeo RGB completo com o fundo removido.
  2. Silhueta: Máscaras binárias que preservam a forma corporal e a dinâmica do movimento, enquanto suprimem rostos, camisas e texturas.
  3. Esqueleto: Pontos-chave esparsos do corpo derivados de estimativa de pose, abstraindo ainda mais a forma corporal.
• Protocolo Experimental: O estudo reaproveita backbones de reconhecimento de ação pré-treinados (MViTv2, VideoMAEV2, UniFormerV2) para reconhecimento de identidade. Os modelos são ajustados (fine-tuning) sob três condições:
  • Divisão Padrão (Standard Split): Os dados de treinamento e teste compartilham distribuições de aparência sobrepostas.
  • Divisão de Aparência Disjunta (Appearance-Disjoint Split): Os dados de treinamento e teste possuem aparências de camisas disjuntas para testar a robustez contra mudanças de aparência.
  • Avaliação de Conjunto Aberto (Open-Set Evaluation): Teste em identidades não vistas para verificar a transferibilidade das assinaturas de movimento.
• Análise: Os autores utilizam análise de saliência baseada em CAM para visualizar em quais regiões os modelos prestam atenção e realizam verificações de sanidade (ex: desfocar contornos de silhueta) para distinguir entre pistas de forma fixa e pistas de movimento dependentes da execução.

Principais Contribuições

1. Benchmark BALLER120: Um conjunto de dados controlado projetado especificamente para a sondagem diagnóstica de assinaturas de movimento em ações especializadas, complementando os benchmarks existentes de Re-ID e marcha ao reduzir vieses de aquisição correlacionados à identidade.
2. Protocolo de Diagnóstico: Um framework que suprime sistematicamente pistas de aparência estática para forçar os modelos a depender de evidências cinemáticas, permitindo uma comparação direta de como as estratégias de reconhecimento mudam com base na modalidade de entrada.
3. Descobertas Empíricas sobre o Comportamento dos Modelos: O estudo demonstra que, embora os modelos de vídeo modernos possam alcançar alta precisão usando aparência estática, eles frequentemente ignoram as pistas de movimento disponíveis. Quando a aparência é suprimida, os modelos conseguem mudar para o aprendizado de micropadrões de movimento (ex: posicionamento de pés, flexão de cotovelo) que servem como assinaturas específicas de identidade.

Resultados

• Desempenho na Divisão Padrão: Modelos de aparência completa alcançam precisão quase perfeita (Top-1 > 97%). Modelos de silhueta e esqueleto também alcançam precisão competitiva (ex: MViTv2 Silhueta Top-1: 98,39%), indicando que o movimento específico de identidade é aprendível mesmo sem pistas estáticas.
• Robustez de Aparência Disjunta: Quando as aparências das camisas diferem entre treinamento e teste, os modelos de aparência completa degradam significamente (ex: MViTv2 Top-1 cai de 98,60% para 5,31%). Em contraste, os modelos de silhueta e esqueleto permanecem robustos (MViTv2 Silhueta Top-1: 89,07%), superando os modelos de aparência por uma margem ampla. Isso confirma que os modelos de aparência dependem de atalhos estáticos que falham na transferência, enquanto os modelos suprimidos dependem de assinaturas de movimento estáveis.
• Análise de Saliência:
  • Modelos de Aparência: Focam em regiões estáticas (rostos, camisas) independentemente da fase da ação.
  • Modelos de Silhueta: Exibem atenção dinâmica que muda temporalmente com as fases da ação (ex: focando nas pernas durante a ascensão, nos braços durante o lançamento), confirmando que rastreiam a execução em vez da identidade estática.
  • Estabilidade: Essas assinaturas de movimento permanecem consistentes através de diferentes pontos de vista de câmera e são distintas para diferentes jogadores realizando a mesma ação.
• Verificações de Sanidade: Desfocar contornos de silhueta (degradando a fidelidade da forma) tem impacto mínimo no desempenho, sugerindo que o reconhecimento depende da dinâmica do movimento e não de contornos corporais precisos.
• Estático vs. Dinâmico: Embora quadros estáticos contenham alguma informação de identidade, os modelos de vídeo que utilizam relações temporais alcançam maior confiança e precisão, indicando que o movimento contínuo é uma pista mais forte do que poses isoladas.

Significância
O artigo afirma que as assinaturas de movimento específicas de identidade estão presentes, são informativas e aprendíveis, mas são frequentemente negligenciadas pelos modelos de vídeo modernos em favor de atalhos estáticos mais fáceis. O estudo destaca um "viés de aparência induzido pela tarefa": os modelos otimizam para o sinal preditivo mais fácil disponível. Para o reconhecimento de identidade, isso é frequentemente a aparência estática; para o reconhecimento de ação, é o movimento. As descobertas sugerem que, para capturar de forma confiável a dinâmica individual refinada, os modelos de vídeo podem exigir restrições explícitas ou supervisão que suprima as pistas de aparência estática. O BALLER120 serve como uma ferramenta de diagnóstico para verificar se os modelos realmente aprenderam padrões de movimento interpretáveis por humanos em vez de correlações específicas de conjuntos de dados.