Generating Key Postures of Bharatanatyam Adavus with Pose Estimation

1. Planteamiento del Problema

El artículo aborda el desafío de preservar y digitalizar danzas tradicionales intangibles, específicamente el Bharatanatyam, una danza clásica india. A diferencia de la danza contemporánea, el Bharatanatyam se basa en un sistema codificado de movimientos llamados Adavus, que consisten en secuencias de Posturas Clave (Key Postures - KPs).

Los principales obstáculos identificados son:

• Precisión Espacial e Integridad Cultural: Las posturas requieren una alineación anatómica exacta (simetría, ángulos específicos) y gestos simbólicos (mudras). Cualquier desviación menor distorsiona el significado cultural y la estética.
• Escasez de Datos: No existen conjuntos de datos de alta calidad específicamente curados para posturas de danza clásica. Los datasets existentes se centran en acciones contemporáneas o danzas modernas, careciendo de la granularidad cultural necesaria.
• Limitaciones de los Modelos Generativos Actuales: Los modelos generativos estándar (como GANs o Diffusion) tienden a priorizar la diversidad visual sobre la precisión estructural, lo que resulta en posturas anatómicamente incorrectas o culturalmente inexactas, inaceptables para la preservación de este arte.

2. Metodología

Los autores proponen un marco generativo consciente de la pose (pose-aware generative framework) que integra un módulo de estimación de pose dentro del proceso de generación. El objetivo es generar imágenes de posturas de danza condicionadas a etiquetas de clase (tipo de Adavu) manteniendo la fidelidad estructural.

Componentes Clave:

1. Formulación del Problema: Se trata como un problema de generación de imágenes condicionada: $G: (z, y) \rightarrow I$, donde $z$ es ruido latente, $y$ es la etiqueta de la postura clave y $I$ es la imagen generada.

2. Arquitectura del Modelo: Se evaluaron cuatro configuraciones:

   • cGAN (Red Generativa Antagónica Condicional) estándar.
   • cGAN con supervisión de pose.
   • Difusión Condicional (Conditional Diffusion) estándar.
   • Difusión Condicional con Supervisión de Pose (CDMPE): El enfoque propuesto como el más efectivo.

3. Mecanismo de Supervisión de Pose:
   Se utiliza un módulo pre-entrenado de estimación de pose (basado en MediaPipe) para extraer puntos clave (keypoints) esqueléticos tanto de las imágenes reales como de las generadas. Esto permite calcular dos funciones de pérdida adicionales:

   • Pérdida de Alineación de Puntos Clave ($L_{kp}$): Penaliza la distancia euclidiana normalizada entre las coordenadas de las articulaciones generadas y las reales. Asegura precisión a nivel de píxel en la ubicación de las articulaciones.
   • Pérdida de Consistencia de Pose ($L_{pose}$): Evalúa las relaciones geométricas internas (distancias relativas y ángulos entre articulaciones) en lugar de coordenadas absolutas. Esto fomenta la simetría y la fidelidad geométrica, siendo invariante a traslaciones o rotaciones globales.

4. Función de Objetivo Total:
   El modelo se optimiza minimizando una pérdida compuesta:
   $$L_{total} = L_{gen} + \lambda_{kp}L_{kp} + \lambda_{pose}L_{pose}$$
   Donde $L_{gen}$ es la pérdida de generación específica del modelo (adversarial para GANs o de reconstrucción para Diffusion) y los términos de pose guían la estructura anatómica.

3. Contribuciones Clave

• Primera aproximación estructurada: Es el primer intento documentado de generar posturas clave de Bharatanatyam anatómica y culturalmente fieles utilizando modelos generativos profundos, abordando restricciones espaciales y simbólicas específicas.
• Mecanismo de Guía Consciente de la Pose: Integración de un módulo de estimación de pose en el pipeline generativo para imponer pérdidas a nivel de keypoints y consistencia de pose, asegurando la alineación esquelética y la simetría articular.
• Evaluación Comparativa Exhaustiva: Análisis detallado entre cGANs y modelos de Difusión, con y sin supervisión de pose. Los resultados demuestran que la Difusión Condicional con Estimación de Pose (CDMPE) es superior en preservar la fidelidad estilística y la precisión estructural.
• Dataset Curado: Creación y uso de un dataset específico con grabaciones de 10 bailarines ejecutando 15 Adavus fundamentales (58 variantes), anotado por expertos para garantizar la precisión cultural.

4. Resultados

La evaluación se realizó utilizando métricas cuantitativas (FID y MS-SSIM) y análisis cualitativo visual.

• Métricas Cuantitativas:
  • El modelo CDMPE (Difusión Condicional con Pose) obtuvo los mejores resultados: FID de 19.32 (más bajo es mejor) y MS-SSIM de 0.78 (más alto es mejor).
  • En comparación, el cGAN con pose obtuvo un FID de 24.28 y MS-SSIM de 0.73.
  • El modelo superó a baselines de generación humana existentes como StyleGAN-Human y InsetGAN.
• Análisis Cualitativo:
  • Las imágenes generadas por el modelo CDMPE mostraron una alineación anatómica superior, preservando la simetría corporal y la alineación de las manos (mudras) esenciales para el Bharatanatyam.
  • Los modelos sin supervisión de pose tendían a generar variaciones estilísticas inapropiadas o distorsiones en posturas complejas y asimétricas.
  • La inclusión de las pérdidas $L_{kp}$ y $L_{pose}$ fue crítica para mantener la coherencia espacial y la autenticidad cultural.

5. Significado e Impacto

Este trabajo tiene implicaciones significativas para la preservación del patrimonio cultural y la educación:

• Preservación Digital: Ofrece un enfoque escalable para documentar y transmitir danzas tradicionales a audiencias globales sin perder la precisión cultural.
• Educación y Pedagogía: Permite la generación de ejemplos de posturas correctas para el aprendizaje, superando las barreras geográficas y socioeconómicas para acceder a maestros expertos.
• Generalización: El marco propuesto es aplicable a otras formas de danza clásica (como Kathak o Ballet) y sistemas de movimiento ritual que requieren una representación precisa de la pose y una estricta adherencia a reglas geométricas.
• Futuro: Aunque el modelo logra una alta fidelidad estructural, los autores reconocen que la generación de expresiones faciales (abhinaya) y movimientos oculares sutiles sigue siendo un desafío pendiente para lograr una representación completa de la danza.

En resumen, el artículo demuestra que la integración de la estimación de pose en modelos generativos avanzados es fundamental para sintetizar movimientos culturales complejos, equilibrando la creatividad de la IA con la rigidez de las tradiciones artísticas.