Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production

Résumé Technique : Diffusion Autorégressive Sensible au Contexte pour la Production de Langue des Signes par Glosses

Énoncé du Problème
Les méthodes actuelles de production de langue des signes (SLP - Sign Language Production) sont confrontées à des défis importants pour générer des mouvements de signes naturels au niveau de la phrase. Les approches de bout en bout qui génèrent des séquences entières d'un seul coup souffrent souvent de dérive temporelle et de flou de mouvement des mains à mesure que la longueur de la phrase augmente, ce qui entraîne une accumulation d'erreurs de prédiction et une dégradation des détails sémantiques critiques comme l'articulation des doigts. Inversement, les méthodes qui assemblent des segments de glosses pré-composés échouent souvent à capturer la coarticulation naturelle inhérente à la langue des signes — le phénomène où l'exécution d'un gloss influence le suivant. Les méthodes de recherche de glosses existantes manquent de modélisation explicite du couplage cinématique et sémantique entre les glosses consécutives, ce qui entraîne des transitions de bordure abruptes, des rotations mal assorties et une variation de mouvement limitée.

Méthodologie : Cadre GARD
Les auteurs proposent le modèle GARD (Context-Aware Gloss-wise AutoRegressive Diffusion), un cadre conçu pour générer des mouvements de signes gloss par gloss tout en modélisant explicitement la coarticulation.

1. Processus de Diffusion Autorégressif :

   • GARD traite le gloss comme l'unité sémantique fondamentale. Il génère le mouvement pour le $n$-ième gloss ($m_n$) séquentiellement, en se conditionnant sur le mot gloss actuel ($g_n$) et le gloss précédent ($g_{n-1}$).
   • Le modèle utilise un Dénoiseur Sensible au Contexte basé sur un encodeur Transformer. Il prend un échantillon de mouvement bruité et prédit le bruit injecté pour reconstruire le mouvement propre.
   • Multi-Conditionnement : Le dénoiseur est conditionné par trois vecteurs :
     • Le contexte sémantique du gloss actuel ($\tau_{gloss}(g_n)$).
     • Le contexte sémantique du gloss précédent ($\tau_{gloss}(g_{n-1})$).
     • Le contexte cinématique du mouvement précédent ($\omega_{motion}(m_{n-1})$).
   • Les contextes sémantiques sont extraits via un modèle mBART affiné, tandis que les contextes cinématiques sont encodés à l'aide d'un encodeur Transformer entraînable.

2. Guidage de Transition Inter-Glosses (IG-Guidance) :

   • Pour remédier aux écarts de pose aux limites entre les glosses consécutives, l'IG-Guidance applique un contrôle basé sur le gradient pendant le processus d'échantillonnage de la diffusion.
   • Il minimise la divergence rotationnelle entre la première image du gloss actuel et la dernière image du gloss précédent (l'« indice cinématique »).
   • Crucialement, il utilise la distance Géodésique sur la variété de rotation $SO(3)$ plutôt que la distance Euclidienne pour mesurer l'erreur de rotation, garantissant un alignement géométriquement précis des rotations articulaires.

3. Harmonisateur de Mouvement Global (GM-Harmonizer) :

   • Alors que l'IG-Guidance aligne la bordure, le GM-Harmonizer propage cette influence d'alignement à travers toute la séquence de mouvement du gloss.
   • Implémenté comme une copie entraînable du dénoiseur principal avec une stratégie d'apprentissage résiduel, il reçoit l'indice cinématique et affine les images suivantes.
   • Il utilise des couches linéaires initialisées à zéro pour injecter des corrections de manière hiérarchique, garantissant que le flux naturel établi à la bordure est maintenu sur toute la durée du gloss sans perturber la génération initiale.

Contributions Clés

• Architecture GARD : Un nouveau cadre basé sur la diffusion qui effectue une génération autorégressive par gloss, exploitant à la fois les contextes sémantiques (linguistiques) et cinématiques (mouvement) pour modéliser la coarticulation.
• Stratégies de Coarticulation : L'introduction de deux modules spécialisés :
  • IG-Guidance : Aligne les poses de bordure en utilisant une optimisation basée sur le gradient sur les variétés de rotation pour assurer une cohérence de pose fluide.
  • GM-Harmonizer : Affine la séquence de mouvement globale pour propager l'alignement de la bordure, assurant une dynamique temporellement lisse et cohérente.
• Performance : Le modèle atteint des résultats de pointe (state-of-the-art) tant en précision linguistique qu'en similitude de mouvement, surpassant les méthodes existantes de SLP.

Résultats Expérimentaux
Les auteurs ont évalué GARD sur deux benchmarks à grande échelle : PHOENIX-2014T (langue des signes allemande) et CSL-Daily (langue des signes chinoise).

• Performance Quantitative : GARD a obtenu des scores supérieurs par rapport aux méthodes basées sur les points clés (keypoints) et les maillages 3D (3D meshes).
  • Sur Phoenix-T, il a atteint un BLEU-4 de 13,16 et un ROUGE de 37,47, avec un score DTW-Hand de 1,21 (plus bas est mieux).
  • Sur CSL-Daily, il a atteint un BLEU-4 de 12,73 et un ROUGE de 36,76, avec un score DTW-Hand de 1,56.
  • L'amélioration significative du DTW-Hand (Dynamic Time Warping pour les articulations de la main) indique une capture supérieure de l'articulation fine des doigts, ce qui est critique pour le sens sémantique en langue des signes.
• Études d'Ablation :
  • Contexte : La combinaison des contextes sémantique et cinématique a produit la performance la plus élevée, le contexte sémantique fournissant la réduction la plus substantielle du taux d'erreur de mots (WER).
  • Modules : Supprimer soit l'IG-Guidance, soit le GM-Harmonizer a entraîné des baisses de performance. L'IG-Guidance a montré qu'elle corrigeait le désalignement spatial aux bordures, tandis que le GM-Harmonizer était essentiel pour maintenir la fluidité temporelle dans les images suivantes.
  • Géométrie : L'utilisation de la distance Géodésique pour l'IG-Guidance a surpassé la distance L2 standard.
• Analyse Qualitative : Les comparaisons visuelles ont démontré que GARD produit des mouvements de doigts et des transitions corporelles plus naturels par rapport à des modèles comme SOKE et S-MotionGPT, qui souffrent souvent de poses moyennées ou de transitions abruptes.

Signification et Limites
L'article affirme que GARD répond à la limitation fondamentale des méthodes actuelles de SLP en modélisant explicitement la dépendance entre les glosses. En traitant les glosses comme l'unité primaire et en imposant une continuité cinématique via un guidage basé sur la diffusion, le modèle génère des séquences de signes qui sont à la fois linguistiquement précises et visuellement naturelles.

Les auteurs reconnaissent une limite principale : la dépendance à un processus d'échantillonnage de diffusion itératif et autorégressif entraîne des vitesses d'inférence qui sont actuellement difficiles pour une interaction en temps réel. Cependant, ce travail établit un nouveau standard pour la synthèse de langue des signes de haute fidélité et sensible au contexte.