Cross-Lingual Transfer Learning and LLM-Assisted Gloss Generation for Low-Resource Tamil Voice and Text to Sign Language Pose Generation
Cet article présente le premier système de génération de poses de langue des signes à partir de la voix et du texte pour le tamoul, une langue à faibles ressources, en combinant la génération de gloses assistée par LLM via le réglage fin LoRA avec l'apprentissage par transfert translinguistique à partir de la langue des signes allemande, atteignant des performances de pointe grâce à un pipeline qui transcrit la parole, génère des gloses et synthétise des poses validées par rétrotraduction.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La communication est un besoin humain fondamental, pourtant, pour des millions de personnes sourdes ou malentendantes, le pont entre la langue parlée et leur langue des signes maternelle reste souvent brisé. Bien que les ordinateurs soient devenus remarquablement doués pour lire du texte ou comprendre la parole, leur apprendre à générer les mouvements fluides et continus de la langue des signes s'est avéré difficile, en particulier pour les langues qui manquent de vastes bibliothèques numériques d'exemples enregistrés. Ce défi est particulièrement aigu pour la langue des signes tamoule, utilisée par une large population en Inde mais manquant des ensembles de données massifs et annotés sur lesquels les chercheurs comptent habituellement pour entraîner l'intelligence artificielle. Sans ces ressources, construire un système capable de traduire automatiquement une phrase parlée en une séquence de mouvements des mains et du corps revient à essayer d'enseigner une compétence complexe à un étudiant sans avoir assez de manuels ou de partenaires d'entraînement.
Le cœur de ce problème réside dans la nature même de la langue des signes. Il ne s'agit pas simplement d'une série de gestes statiques des mains, mais d'un flux dynamique de mouvement impliquant les mains, les bras, le visage et le corps, le tout se déplaçant selon un rythme spécifique. Pour enseigner cela à un ordinateur, les chercheurs ont généralement besoin de milliers d'heures de vidéos montrant des signants natifs exécutant des phrases spécifiques. Lorsque de telles données sont rares, comme c'est le cas pour le tamoul, les méthodes standards échouent. La solution nécessite une approche différente : une approche qui emprunte des connaissances à d'autres domaines et les adapte soigneusement aux besoins spécifiques d'une langue à faibles ressources. C'est ici qu'intervient le travail de Ramya Cauvery D et de la Dre Josephine Usha L, offrant une nouvelle façon de construire un pont entre le tamoul parlé et la langue visuelle des signes.
Les chercheurs ont entrepris de créer le premier système capable de prendre du tamoul parlé ou écrit et de le convertir directement en une séquence de poses corporelles représentant une performance en langue des signes. Leur objectif n'était pas seulement de traduire des mots, mais de générer les mouvements physiques réels qu'une personne effectuerait. Pour ce faire, ils ont dû surmonter deux obstacles majeurs : le manque d'un grand ensemble de données de la langue des signes tamoule et la difficulté d'apprendre à un ordinateur à bouger naturellement sans rester bloqué par les données limitées dont ils disposaient. Ils ont abordé ces problèmes en divisant le problème en deux étapes distinctes et en utilisant une stratégie astucieuse consistant à emprunter des connaissances à une langue entièrement différente.
Premièrement, l'équipe a traité la traduction des mots vers les signes. En linguistique des langues des signes, il existe un concept appelé « gloss », qui sert de représentation symbolique simplifiée d'un signe, de la même manière qu'une définition de dictionnaire résume un mot. Au lieu d'essayer de passer directement d'une phrase parlée à un mouvement 3D complexe, les chercheurs ont utilisé une étape intermédiaire : la conversion de la phrase tamoule en cette séquence de gloss symbolique. Pour gérer la rareté des données, ils ont employé un grand modèle de langage, un type d'intelligence artificielle entraînée sur de vastes quantités de texte, et l'ont adapté spécifiquement pour cette tâche en utilisant une technique qui lui permet d'apprendre à partir de très peu d'exemples sans oublier ce qu'il sait déjà. Ce modèle a pris la phrase d'entrée et a généré la séquence correcte de glosss, agissant efficacement comme un traducteur linguistique qui comprenait la structure des signes tamouls même avec un entraînement limité.
Une fois que le système a obtenu la séquence de gloss, le second défi était de transformer ces symboles en un mouvement réel. C'est ici que les chercheurs ont appliqué une stratégie connue sous le nom d'apprentissage par transfert translinguistique. Ils ont réalisé que, bien que les mots et la grammaire de la langue des signes allemande et de la langue des signes tamoule soient différents, la physique du mouvement humain est universelle. Une main se déplaçant de la poitrine vers la tête suit les mêmes règles physiques, quelle que soit la langue signée. Pour tirer parti de cela, ils ont pris un modèle informatique puissant qui avait déjà été entraîné sur des milliers d'heures de vidéos de la langue des signes allemande. Ce modèle avait appris les schémas généraux de la façon dont le corps humain bouge lors de la signature. Les chercheurs ont ensuite pris ce modèle pré-entraîné et l'ont affiné en utilisant leur propre petit ensemble de données personnalisé de vidéos de signes tamouls. Cela a permis au système de partir d'une compréhension solide du mouvement humain et simplement d'ajuster ses connaissances pour correspondre au style et au rythme spécifiques des signants tamouls.
Les données utilisées pour cet entraînement ont été soigneusement construites pour garantir que le système puisse fonctionner pour n'importe qui, et pas seulement pour les personnes ayant enregistré les vidéos. L'équipe a enregistré cinq signants natifs, chacun exécutant trois cents phrases différentes, ce qui a produit mille cinq cents clips vidéo. Pour tester si le système comprenait réellement la langue et pouvait se généraliser à de nouvelles personnes, ils ont utilisé une méthode de test rigoureuse où ils entraînaient le modèle sur quatre des signants et le testaient sur le cinquième, répétant ce processus jusqu'à ce que chaque signant ait été le sujet du test. Cela a permis de s'assurer que le système apprenait la langue elle-même, plutôt que de simplement mémoriser les mouvements d'un individu spécifique.
Les résultats de cette approche ont été prometteurs. Lorsque le système générait une séquence de poses, les chercheurs évaluaient sa qualité en faisant passer les mouvements générés par un système de reconnaissance séparé et indépendant pour voir s'il pouvait « lire » les signes pour revenir à la phrase tamoule originale. Ce processus de rétro-traduction a montré que le système capturait avec succès le sens de la parole originale. Les signes générés étaient nettement plus précis et fluides que les tentatives précédentes, le système reconstruisant correctement le sens des phrases d'une manière qui surpassait les références existantes pour la production de la langue des signes tamoule. L'utilisation du modèle de mouvement pré-entraîné issu du jeu de données allemand s'est révélée cruciale, car elle a fourni la base nécessaire pour un mouvement fluide que le petit ensemble de données tamoules seul n'aurait pas pu enseigner.
Cependant, les chercheurs veillent à noter les limites de leur travail. Le système est une étape importante en avant pour une langue à faibles ressources, mais il n'est pas encore parfait. L'ensemble de données, bien que soigneusement organisé, est encore petit comparé aux bibliothèques massives utilisées pour les langues à hautes ressources. Les mouvements générés, bien que mathématiquement exacts, sont actuellement affichés à une fréquence d'images inférieure à celle qui est typiquement recommandée pour une langue des signes au rendu naturel, et le système ne capture pas encore les expressions faciales subtiles ou les formes de mains détaillées qui sont vitales pour une pleine signification linguistique. De plus, la génération de gloss repose sur l'interprétation de l'ordinateur, ce qui signifie que toute erreur dans cette étape de traduction initiale affectera le mouvement final.
Malgré ces limitations, l'étude démontre une voie viable pour les langues qui ont été laissées pour compte par la révolution numérique. En combinant un modèle de langage spécialisé pour gérer les mots avec un modèle de mouvement emprunté pour gérer le mouvement, les chercheurs ont montré qu'il est possible de construire des systèmes de langue des signes efficaces sans avoir besoin de millions d'heures de données. Ce travail suggère que pour beaucoup de langues des signes sous-représentées, la clé du progrès ne réside pas dans l'attente de l'apparition de jeux de données massifs, mais dans l'adaptation intelligente des outils existants à de nouveaux contextes. Cette approche offre l'espoir réaliste que le fossé entre les langues parlées et signées puisse être réduit, rendant la communication plus accessible pour les millions de personnes qui dépendent de la langue des signes chaque jour.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.