Resumo Técnico: Avaliação Automática da Qualidade de Movimentos de Dança via Aprendizado de Representação Esquelética Espaçotemporal

1. Definição do Problema

O artigo aborda o desafio da avaliação automática da qualidade de movimentos de dança, distinguindo-a do reconhecimento de ações padrão. Enquanto o reconhecimento de ações foca em identificar o que movimento é realizado, a avaliação de qualidade deve avaliar quão bem ele é executado. Isso exige que os modelos sejam sensíveis a variações dependentes da execução (ex: configuração articular, tempo, amplitude, coordenação), mantendo-se robustos a diferenças de coreografia, identidade do performer e métodos de aquisição de dados.

Uma dificuldade primária reside na heterogeneidade da supervisão entre os conjuntos de dados públicos:

• ImperialDance fornece rótulos categóricos ordenados (Iniciante < Intermediário < Especialista), mas não pontuações contínuas.
• CDRG-UNIMAS-TIKTOK fornece preferências humanas pareadas (Performance $i$ > Performance $j$) sem classificações absolutas.
• AIST++ oferece dados de movimento 3D de alta qualidade, mas carece de anotações de qualidade, servindo principalmente para aprendizado de representação.

Métodos existentes frequentemente falham porque ou suprimem a variação intra-classe (tratando-a como ruído) ou dependem de alinhamentos temporais fixos (ex: Dynamic Time Warping) que podem inadvertidamente remover erros de tempo relevantes para a qualidade. Além disso, muitas abordagens não separam explicitamente erros de execução espacial de desvios de fase temporal.

2. Metodologia: RSDQ-Net

Os autores propõem a Rede de Qualidade de Desvio Espaçotemporal Sensível à Referência (RSDQ-Net). O framework opera em uma representação esquelética canônica unificada de 19 nós derivada de fontes heterogêneas (SMPL, captura de movimento e vídeo RGB reconstruído).

2.1 Representação Canônica

Todas as sequências de entrada são mapeadas para uma topologia compartilhada de 19 nós (cobrindo tronco, membros superiores e inferiores). Cada nó é representado por um vetor de características de 10 dimensões composto por:

• Posição normalizada ($P_{t,v}$)
• Deslocamento temporal ($V_{t,v}$)
• Vetor ósseo anatômico ($B_{t,v}$)
• Confiança de observação ($C_{t,v}$)
  Trajetória global e normalização espacial (centrada na raiz, invariante de escala) são aplicadas para garantir consistência entre os datasets.

2.2 Codificador de Relações Espaçotemporais

O codificador utiliza uma arquitetura baseada em grafos compartilhada para processar movimentos alvo ($X_s$) e de referência ($X_r$). Ele modela duas relações complementares:

1. Relações Anatômicas: Baseadas na conectividade física do esqueleto.
2. Relações de Coordenação: Conectando regiões não locais, mas funcionalmente relacionadas (ex: membros bilaterais).
   O codificador emprega propagação de grafo sensível à relação seguida de convoluções temporais multiescala (fatores de dilatação $\{1, 2, 4\}$) e uma camada de autoatenção temporal para capturar tanto transições locais quanto dependências de longo alcance.

2.3 Alinhamento de Fase Condicionado à Referência

Em vez de uma comparação rígida quadro a quadro, a RSDQ-Net aprende uma correspondência suave (soft) entre as fases do alvo e da referência.

• Mecanismo: Uma matriz de peso de alinhamento aprendível é computada usando um mecanismo de atenção de produto escalar escalonado, restringido por um prior de fase temporal. Este prior penaliza transições de fase para trás e mudanças abruptas, garantindo que o alinhamento respeite o fluxo temporal da coreografia.
• Resultado: Isso estabelece uma correspondência "suave" alvo-referência que permite o deslocamento temporal (diferenças de velocidade) enquanto identifica fases de movimento semanticamente equivalentes.

2.4 Modelagem de Desvio Espaçotemporal

Crucialmente, o modelo separa os desvios em dois componentes distintos em vez de colapsá-los em uma única pontuação de similaridade:

• Desvio Espacial ($D_{spa}$): A diferença entre as características dos nós do alvo e as características dos nós da referência alinhados, capturando erros de postura e configuração.
• Desvio Temporal ($d_{temp}$): O deslocamento da fase de referência esperada em relação à fase do alvo, capturando erros de tempo (aceleração/atraso).
  Essas características são agregadas em representações regionais e globais para formar uma variável latente sensível à qualidade ($Z_q$).

2.5 Aprendizado de Qualidade Consistente com a Ordem

Para lidar com a supervisão heterogênea, o modelo mapeia a variável latente $Z_q$ para uma pontuação de qualidade escalar $q$.

• Calibração: Uma função de calibração monotônica ($q_d = a_d q + b_d$) adapta o espaço latente para distribuições específicas de datasets sem inverter a ordem.
• ImperialDance: Utiliza probabilidades ordinais cumulativas para modelar os limiares ordenados entre Iniciante, Intermediário e Especialista.
• CDRD: Utiliza perda de classificação pareada (pairwise ranking loss) para modelar preferências relativas ($Q_i > Q_j$).
  Ambos os objetivos restringem a mesma variável de qualidade latente, evitando a necessidade de uma escala de pontuação absoluta artificial.

2.6 Estratégia de Treinamento

O modelo é treinado em duas etapas:

1. Estágio I (Pré-treinamento): O codificador é inicializado no AIST++ usando reconhecimento de gênero de dança para aprender representações de movimento específicas de dança.
2. Estágio II (Aprendizado de Qualidade): O framework completo é otimizado usando mini-batches alternados do ImperialDance e CDRG, aprendendo conjuntamente o alinhamento, a modelagem de desvio e o mapeamento de qualidade consistente com a ordem.

3. Principais Contribuições

1. Alinhamento de Fase Aprendível: Um mecanismo condicionado à referência que estabelece correspondência suave alvo-referência sob um prior de fase temporal, preservando o desvio temporal como um sinal de qualidade em vez de eliminá-lo.
2. Modelagem Explícita de Desvio: Uma estratégia para modelar separadamente erros de execução espacial e desvios de fase temporal, reconhecendo que erros visualmente semelhantes podem originar-se de mecanismos subjacentes diferentes.
3. Aprendizado Consistente com a Ordem: Um framework unificado que integra rótulos de expertise ordinais e classificações pareadas humanas em um espaço de qualidade latente compartilhado sem construir uma pontuação contín�ua artificial.
4. Avaliação Cross-Dataset: Um framework de avaliação abrangente através de AIST++, ImperialDance e CDRG-UNIMAS-TIKTOK, testando aprendizado de representação, avaliação de coreografias não vistas e ranking independente de sujeito.

4. Resultados Experimentais

Experimentos foram conduzidos em três datasets com protocolos complementares:

• Aprendizado de Representação (AIST++): O codificador RSDQ alcançou 93,6% de acurácia e 93,3% de Macro-F1, superando baselines fortes como ST-GCN, 2s-AGCN e HD-GCN. Isso confirma a eficácia da codificação sensível à relação para movimentos específicos de dança.
• Avaliação Ordinal (ImperialDance): Sob um protocolo de coreografia disjunta, a RSDQ-Net alcançou um QWK de 0,814 e um MAE Ordinal de 0,207. Isso representa uma melhoria significativa sobre o baseline mais forte (2T-GCN, QWK 0,755), com uma redução relativa de erro ordinal de aproximadamente 20,7%.
• Classificação Pareada (CDRG): Sob um protocolo de sujeito disjunto, a RSDQ-Net alcançou 81,4% de Acurácia Pareada e um Kendall $\tau_b$ de 0,638, superando o melhor baseline (CTR-GCN + RankNet) em 4,6 pontos percentuais de acurácia.
• Estudos de Ablação: Remover qualquer componente central (pré-treinamento, grafo de coordenação, alinhamento de referência ou aprendizado consistente com a ordem) resultou em degradação de desempenho. Notavelmente, remover o alinhamento de referência causou a maior queda (QWK caiu para 0,724), validando a necessidade de correspondência de fase aprendível.
• Robustez: O modelo demonstrou superior estabilidade contra ruído de coordenadas, articulações ausentes e perturbações de velocidade temporal comparado aos baselines, atribuído ao contexto estrutural complementar do codificador sensível à relação e ao mecanismo de alinhamento suave.

5. Significância e Alegações

O artigo alega que a RSDQ-Net fornece uma formulação mais interpretável e eficaz para a avaliação da qualidade da dança ao tratá-la como um problema de desvio de execução condicionado à referência, em vez de uma tarefa de classificação padrão.

• Impacto Metodológico: O estudo demonstra que separar desvios espaciais e temporais e usar aprendizado consistente com a ordem permite que modelos generalizem através de tipos de supervisão heterogêneos (ordinal vs. pareado) sem exigir uma escala de pontuação absoluta unificada.
• Aplicação Prática: O framework é posicionado como uma ferramenta para treinamento e avaliação de dança guiada por referência. Pode fornecer aos alunos estimativas de qualidade relativa e feedback específico sobre configurações espaciais ou erros de tempo em comparação com uma demonstração profissional.
• Limitações: Os autores notam modestamente que o sistema avalia a qualidade da execução esquelética e não captura expressão artística, sincronização musical ou intenção estilística. Além disso, a dependência de movimento 3D reconstruído para o dataset CDRG introduz incerteza potencial em relação aos erros de recuperação de pose.

O trabalho conclui que o aprendizado de representação esquelética sensível à referência, combinado com a modelagem explícita de desvio e supervisão consistente com a ordem, oferece uma base robusta para a avaliação automatizada e escalável de movimentos de dança.