Generating Key Postures of Bharatanatyam Adavus with Pose Estimation

1. Problema e Contexto

O artigo aborda o desafio de preservar e digitalizar danças tradicionais codificadas, especificamente o Bharatanatyam, uma forma clássica de dança indiana. Diferente de danças contemporâneas que permitem movimento livre, o Bharatanatyam é governado por regras estritas de estrutura geométrica, alinhamento corporal e simbolismo.

• O Desafio: A unidade fundamental de movimento, o Adavu, consiste em uma sequência de Posturas Chave (Key Postures - KPs). Gerar essas posturas sinteticamente é difícil porque modelos de geração de imagem padrão tendem a introduzir distorções anatômicas ou ignorar o alinhamento culturalmente definido (como a simetria e a posição específica das mãos e pés).
• A Lacuna: Existem poucos conjuntos de dados específicos para danças clássicas e a maioria dos trabalhos de síntese de imagem humana foca em cenários genéricos ou moda, não respeitando as restrições espaciais e simbólicas rigorosas da dança clássica.

2. Metodologia

Os autores propõem um framework generativo consciente da pose (pose-aware), integrado a um módulo de estimativa de pose. O objetivo é gerar imagens de posturas de dança que sejam visualmente realistas e anatomicamente corretas.

Abordagem Geral

O problema é formulado como uma geração de imagem condicional: $G: (z, y) \rightarrow I$, onde $z$ é um vetor de ruído, $y$ é o rótulo da classe da postura (tipo de Adavu) e $I$ é a imagem gerada.

Mecanismo de Supervisão Consciente da Pose

Para garantir a fidelidade cultural e anatômica, o sistema utiliza um módulo de estimativa de pose pré-treinado (baseado no MediaPipe) para extrair pontos-chave (juntas) tanto das imagens reais quanto das geradas. Duas funções de perda específicas são introduzidas:

1. Perda de Alinhamento de Pontos-Chave ($L_{kp}$):
   • Penaliza o desvio nas coordenadas normalizadas dos pontos-chave entre a imagem gerada e a imagem real.
   • Garante precisão pixel a pixel na localização das juntas.
2. Perda de Consistência de Pose ($L_{pose}$):
   • Foca nas relações geométricas internas (distâncias relativas e ângulos entre juntas), em vez de coordenadas absolutas.
   • É invariante a translações ou rotações globais, promovendo simetria e fidelidade estrutural, essenciais para a dança clássica.

Arquiteturas Testadas

Os autores avaliaram quatro configurações para comparar o impacto da supervisão de pose:

1. cGAN (Conditional GAN): Modelo padrão.
2. cGAN com Supervisão de Pose (CGPE): cGAN + $L_{kp}$ e $L_{pose}$.
3. Difusão Condicional (Conditional Diffusion): Modelo baseado em difusão sem supervisão explícita de pose.
4. Difusão Condicional com Supervisão de Pose (CDMPE): Modelo de difusão + $L_{kp}$ e $L_{pose}$.

A função de perda total é definida como:
$$L_{total} = L_{gen} + \lambda_{kp}L_{kp} + \lambda_{pose}L_{pose}$$
Onde $L_{gen}$ é a perda de geração específica do modelo (adversarial para GANs, reconstrução para Difusão).

3. Contribuições Principais

• Primeira Tentativa Estruturada: É o primeiro trabalho a tentar gerar posturas-chave do Bharatanatyam usando modelos generativos profundos, abordando restrições espaciais, simbólicas e estéticas específicas da dança indiana.
• Mecanismo de Orientação por Pose: Integração de um mecanismo de supervisão que impõe consistência em nível de pontos-chave e de pose, garantindo alinhamento esquelético e simetria das juntas.
• Análise Comparativa Abrangente: Avaliação detalhada entre GANs e Modelos de Difusão, com e sem estimativa de pose, demonstrando que a supervisão de pose é crucial para a precisão estrutural em contextos culturalmente restritos.
• Dataset Curado: Utilização e análise de um conjunto de dados específico contendo gravações de 10 dançaristas executando 15 Adavus fundamentais (58 variantes), totalizando 1.276 vídeos de alta qualidade.

4. Resultados e Avaliação

Avaliação Quantitativa

Os modelos foram avaliados usando FID (Fréchet Inception Distance) para qualidade visual e MS-SSIM (Multi-Scale Structural Similarity) para similaridade estrutural.

• Melhor Desempenho: O modelo Conditional Diffusion with Pose Estimation (CDMPE) superou todos os outros.
  • FID: 19.32 (o menor valor, indicando maior fidelidade).
  • MS-SSIM: 0.78 (o maior valor, indicando melhor similaridade estrutural).
• Impacto da Supervisão: A adição das perdas de pose ($L_{kp}$ e $L_{pose}$) melhorou consistentemente os resultados tanto no cGAN quanto no modelo de Difusão. Por exemplo, o cGAN com pose teve FID de 24.28, enquanto o cGAN padrão teve 26.27.
• Comparação com Baselines: O método proposto (CDMPE) superou modelos de geração de corpo inteiro existentes (como InsetGAN, StyleGAN-Human, PCGAN) em métricas de estrutura e fidelidade.

Avaliação Qualitativa

• As imagens geradas pelo CDMPE demonstraram texturas mais suaves e maior fidelidade anatômica.
• O modelo preservou corretamente as restrições estruturais e o alinhamento dos gestos das mãos (mudras), que são críticos para o significado simbólico do Bharatanatyam.
• Modelos sem supervisão de pose tendiam a variar em posturas complexas ou assimétricas, falhando em manter a geometria codificada da dança.

5. Significado e Conclusão

O trabalho demonstra que a integração de estimativa de pose em modelos generativos é fundamental para a preservação digital de danças clássicas.

• Preservação Cultural: O framework permite a geração de posturas de alta fidelidade sem comprometer a precisão cultural, facilitando a documentação, análise e transmissão do patrimônio imaterial para um público global.
• Aplicabilidade: A abordagem é generalizável para outras formas de dança codificada (como Kathak, Ballet) e rituais que exigem coordenação precisa de membros.
• Futuro: Embora o modelo seja eficaz para o corpo, os autores notam que a geração de expressões faciais sutis (abhinaya) e movimentos oculares ainda representa um desafio, sendo uma área para trabalhos futuros.

Em resumo, o artigo estabelece um novo padrão para a síntese de movimentos de dança clássica, provando que a supervisão estrutural baseada em pontos-chave é essencial para manter a integridade artística e anatômica em ambientes de IA generativa.