Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production

Resumen Técnico: Difusión Autorregresiva Sensible al Contexto para la Producción de Lengua de Señas por Glosas

Planteamiento del Problema
Los métodos actuales de Producción de Lengua de Señas (SLP, por sus siglas en inglés) enfrentan desafíos significativos para generar movimientos de señas naturales a nivel de oración. Los enfoques de extremo a extremo que generan secuencias completas de una sola vez suelen sufrir de deriva temporal y desenfoque del movimiento de las manos a medida que aumenta la longitud de la oración, lo que provoca la acumulación de errores de predicción y una degradación de detalles semánticos críticos como la articulación de los dedos. Por el contrario, los métodos que ensamblan segmentos de glosas precompuestos suelen fallar en capturar la coarticulación natural inherente a la lengua de señas—el fenómeno donde la ejecución de una glosa influye en la siguiente. Los métodos de recuperación basados en glosas existentes carecen de un modelado explícito del acoplamiento cinemático y semántico entre glosas consecutivas, lo que resulta en transiciones de frontera abruptas, rotaciones desajustadas y una limitada variación de movimiento.

Metodología: Marco de Trabajo GARD
Los autores proponen el modelo Context-Aware Gloss-wise AutoRegressive Diffusion (GARD), un marco diseñado para generar movimientos de señas glosa por glosa, modelando explícitamente la coarticulación.

1. Proceso de Difusión Autorregresiva:

   • GARD trata la glosa como la unidad semántica fundamental. Genera el movimiento para la $n$-ésima glosa ($m_n$) secuencialmente, condicionándose en la palabra de la glosa actual ($g_n$) y la palabra de la glosa anterior ($g_{n-1}$).
   • El modelo utiliza un Denoiser Sensible al Contexto basado en un Transformer Encoder. Este toma una muestra de movimiento con ruido y predice el ruido inyectado para reconstruir el movimiento limpio.
   • Multicondicionamiento: El denoiser está condicionado por tres vectores:
     • Contexto semántico de la glosa actual ($\tau_{gloss}(g_n)$).
     • Contexto semántico de la glosa anterior ($\tau_{gloss}(g_{n-1})$).
     • Contexto cinemático del movimiento anterior ($\omega_{motion}(m_{n-1})$).
   • Los contextos semánticos se extraen mediante un modelo mBART ajustado, mientras que los contextos cinemáticos se codifican utilizando un Transformer encoder entrenable.

2. Guía de Transición Entre Glosas (IG-Guidance):

   • Para abordar las brechas de pose en las fronteras entre glosas consecutivas, la IG-Guidance aplica un control basado en gradientes durante el proceso de muestreo de difusión.
   • Minimiza la discrepancia rotacional entre el primer cuadro de la glosa actual y el último cuadro de la glosa anterior (la "pista cinemática").
   • Crucialmente, utiliza la distancia Geodésica en el manifold de rotación $SO(3)$ en lugar de la distancia Euclídea para medir el error de rotación, asegurando una alineación geométricamente precisa de las rotaciones de las articulaciones.

3. Armonizador de Movimiento Global (GM-Harmonizer):

   • Mientras que la IG-Guidance alinea la frontera, el GM-Harmonizer propaga esta influencia de alineación a través de toda la secuencia de movimiento de la glosa.
   • Implementado como una copia entrenable del denoiser principal con una estrategia de aprendizaje residual, recibe la pista cinemática y refina los cuadros subsiguientes.
   • Utiliza capas lineales con inicialización en cero para inyectar correcciones jerárquicamente, asegurando que el flujo natural establecido en la frontera se mantenga a lo largo de toda la duración de la glosa sin interrumpir la generación inicial.

Contribuciones Clave

• Arquitectura GARD: Un novedoso marco basado en difusión que realiza la generación autorregresiva por glosas, aprovechando tanto el contexto semántico (lingüístico) como el cinemático (de movimiento) para modelar la coarticulación.
• Estrategias de Coarticulación: La introducción de dos módulos especializados:
  • IG-Guidance: Alinea las poses de frontera utilizando optimización basada en gradientes en manifolds de rotación para asegurar una consistencia de pose sin fisuras.
  • GM-Harmonizer: Refina la secuencia de movimiento global para propagar la alineación de la frontera, asegurando dinámicas temporalmente suaves y coherentes.
• Desempeño: El modelo alcanza resultados de vanguardia tanto en precisión lingüística como en similitud de movimiento, superando a los métodos existentes de SLP.

Resultados Experimentales
Los autores evaluaron GARD en dos benchmarks de gran escala: PHOENIX-2014T (Lengua de Señas Alemana) y CSL-Daily (Lengua de Señas China).

• Desempeño Cuantitativo: GARD logró puntuaciones superiores en comparación con los métodos basados en keypoints y en mallas 3D de última generación.
  • En Phoenix-T, alcanzó un BLEU-4 de 13.16 y un ROUGE de 37.47, con un DTW-Hand de 1.21 (menor es mejor).
  • En CSL-Daily, logró un BLEU-4 de 12.73 y un ROUGE de 36.76, con un DTW-Hand de 1.56.
  • La mejora significativa en DTW-Hand (Dynamic Time Warping para articulaciones de las manos) indica una captura superior de la articulación fina de los dedos, lo cual es crítico para el significado semántico en la lengua de señas.
• Estudios de Ablación:
  • Contexto: Combinar tanto el contexto semántico como el cinemático produjo el mayor desempeño, siendo el contexto semántico el que proporcionó la reducción más sustancial en la Tasa de Error de Palabra (WER).
  • Módulos: Eliminar la IG-Guidance o el GM-Harmonizer resultó en caídas de desempeño. Se demostró que la IG-Guidance corrige la desalineación espacial en las fronteras, mientras que el GM-Harmonizer fue esencial para mantener la suavidad temporal en los cuadros subsiguientes.
  • Geometría: El uso de la distancia Geodésica para la IG-Guidance superó a la distancia L2 estándar.
• Análisis Cualitativo: Las comparaciones visuales demostraron que GARD produce movimientos de dedos y transiciones corporales más naturales en comparación con modelos como SOKE y S-MotionGPT, que a menudo sufren de poses promediadas o transiciones abruptas.

Significancia y Limitaciones
El artículo afirma que GARD aborda la limitación fundamental de los métodos actuales de SLP al modelar explícitamente la dependencia entre glosas. Al tratar las glosas como la unidad primaria y forzar la continuidad cinemática mediante la guía de difusión, el modelo genera secuencias de señas que son tanto lingüísticamente precisas como visualmente naturales.

Los autores reconocen una limitación principal: la dependencia de un proceso de muestreo de difusión iterativo y autorregresivo resulta en velocidades de inferencia que actualmente son desafiantes para la interacción en tiempo real. Sin embargo, este trabajo establece un nuevo estándar para la síntesis de lengua de señas de alta fidelidad y sensible al contexto.