Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

Résumé technique : Traduction multimodale à faibles ressources de mots parlés en népalais vers des avatars de langue des signes conditionnés par l'émotion

Énoncé du problème
Les systèmes actuels de passage de la parole à la langue des signes échouent souvent à capturer le contexte émotionnel de la parole, ce qui entraîne des interactions robotiques, lexicalement précises mais émotionnellement plates. Cette limitation est particulièrement aiguë pour les langues à faibles ressources comme le népalais et sa langue des signes correspondante (la langue des signes népalaise, NSL), où la recherche et les ensembles de données sont rares. Les solutions existantes négligent fréquemment l'intégration de l'expression émotionnelle, qui est essentielle pour une communication naturelle et centrée sur l'humain. De plus, de nombreux systèmes actuels manquent de l'efficacité computationnelle requise pour un déploiement sur des appareils de bord (edge devices), limitant ainsi leur accessibilité dans des environnements à ressources limitées.

Méthodologie
Les auteurs proposent NEST-V1 (Nepali Emotion and Speech Transformer – Version 1), un cadre multimodal léger, conçu pour traduire le népalais parlé en animations d'avatars NSL conditionnées par l'émotion. Le système fonctionne via une architecture d'encodeur acoustique partagé et unifié qui effectue simultanément la reconnaissance automatique de la parole (ASR) et la classification de l'émotion.

• Création du jeu de données : L'étude utilise un jeu de données pilote comprenant 600 échantillons audio étiquetés provenant de 50 locuteurs (âgés de 15 à 45 ans). Le jeu de données couvre quatre mots courants en népalais (« merci », « bonjour », « maison », « moi ») à travers trois états émotionnels (joyeux, neutre, triste). Les mots ont été sélectionnés pour inclure à la fois des gestes dynamiques (impliquant un mouvement continu) et des gestes statiques (poses fixes). Pour pallier la rareté des données, les auteurs ont employé des techniques d'augmentation, notamment le décalage de demi-ton, la perturbation de la longueur du tractus vocal (VTLP) et des variations de vitesse, élargissant le jeu de données à plus de 4 400 échantillons.
• Prétraitement audio : Les fichiers audio bruts ont été normalisés à 16 kHz, découpés ou complétés pour une durée de 2 secondes, et convertis en spectrogrammes de Mel (128 bandes de fréquence × 200 cadres temporels). Ils ont été redimensionnés en images en niveaux de gris de 128×128 pour servir d'entrée au modèle transformer.
• Architecture du modèle : NEST-V1 adapte un Vision Transformer (ViT) pour les spectrogrammes audio. L'architecture traite les spectrogrammes comme des images 2D, les divisant en patchs de 16×16. Elle emploie un encodeur partagé composé de trois couches Transformer avec 12 têtes d'attention et une dimension d'encodage de 768. Le modèle utilise un jeton [CLS] unique pour la classification, alimentant deux têtes parallèles : une pour la reconnaissance de mots-clés (4 classes) et une pour la classification de l'émotion (3 classes). Cette conception d'encodeur partagé réduit la redondance des paramètres.
• Génération d'avatar : Lors de la classification, le système récupère des images d'avatar pré-rendues. Un pipeline de mélange de trames par interpolation linéaire (alpha blending) génère des animations fluides en effectuant une transition entre une pose neutre de base et une variante expressive sur le plan émotionnel. La sortie est un GIF animé en boucle, garantissant que le système reste léger et déployable sur des navigateurs web et des appareils mobiles sans nécessiter de rendu graphique de haute performance.

Principales contributions

1. Premier jeu de données émotionnel pour la NSL : L'article présente le premier jeu de données de parole basé sur la NSL annoté avec un contexte émotionnel, comblant une lacune critique dans la recherche sur les langues des signes à faibles ressources.
2. Pipeline modulaire et léger : Le système présente une architecture modulaire avec des composants indépendants pour l'ASR et la reconnaissance de l'émotion, facilitant la scalabilité. Il est spécifiquement conçu pour un déploiement à faibles ressources, supportant les applications de bord.
3. Efficacité des paramètres : En partageant l'encodeur acoustique entre les tâches, le modèle parvient à une réduction de 37 % des paramètres par rapport aux architectures de modèles séparés, maintenant une empreinte de seulement 22,1 millions de paramètres.

Résultats expérimentaux
Le modèle a été évalué sur une division du jeu de données augmenté (ensembles d'entraînement, de validation et de test).

• Performance : Le système a atteint une précision d'ASR de 81,1 % et une précision de reconnaissance d'émotion de 79,21 % sur l'ensemble de test. Les précisions de validation ont atteint 79,6 % pour l'ASR et 76,54 % pour la reconnaissance d'émotion.
• Efficacité : Le modèle NEST-V1 nécessite environ 22,1 M de paramètres et de 2,189 M de FLOPs (pour l'encodage des patchs) à 473,4 M de FLOPs (total), avec une empreinte mémoire d'environ 89 Mo lors de l'inférence. C'est nettement plus efficace que les modèles ViT standards (86,6 M de paramètres) et comparable ou supérieur aux hybrides CNN-LSTM en termes de nombre de paramètres tout en maintenant une précision compétitive.
• Métriques de classification : Les scores F1 pour les quatre classes de gestes variaient de 0,69 à 0,78, tandis que les classes d'émotions ont obtenu des scores F1 compris entre 0,70 et 0,83.

Signification et affirmations
Les auteurs positionnent ce travail comme une étude pilote de preuve de concept démontrant la faisabilité technique de la génération d'avatars de langue des signes conditionnés par l'émotion à partir d'une entrée vocale dans des contextes à faibles ressources. La signification réside dans l'établissement d'une base évolutive pour des systèmes de communication en temps réel, émotionnellement expressifs, destinés à la communauté des malentendants.

L'article affirme que NEST-V1 comble avec succès l'écart entre la traduction lexicale et le contexte émotionnel, passant d'une imitation de gestes robotiques à une interaction humaine plus authentique. Bien que la portée actuelle soit limitée à un petit vocabulaire et trois émotions, les auteurs soutiennent que le cadre offre une voie claire vers une expansion future vers des vocabulaires plus larges, des expressions émotionnelles diverses et des applications d'assistance en conditions réelles. Le travail souligne que de tels systèmes peuvent être déployés sur des appareils de bord, rendant la technologie d'assistance avancée plus accessible.