JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs
Cet article présente JSL-DC, le plus grand ensemble de données de la langue des signes japonaise centré sur les sourds, comprenant 36,7K vidéos et des descriptions dérivées de linguistes pour les signes confondables, ce qui permet à un nouveau modèle de surpasser les méthodes de reconnaissance de pointe de 9,8 % sur des sous-ensembles complexes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pour de nombreux enfants sourds, les années les plus critiques pour le développement du langage se déroulent avant même qu'ils n'entrent en classe. Durant cette période, ils comptent sur leurs parents pour leur apprendre à communiquer. Pourtant, les statistiques montrent que quatre-vingt-quinze pour cent des enfants sourds sont nés de parents entendants qui ne connaissent pas la langue des signes. Cela crée un fossé silencieux au sein du foyer, où les parents peinent à se connecter avec leurs enfants car ils manquent de vocabulaire pour exprer des besoins de base, des émotions ou des concepts. Bien que des vidéos en ligne existent pour aider les parents à apprendre, la véritable fluidité nécessite souvent une pratique concrète, une méthode qui s'est avérée difficile à déployer à grande échelle sans les outils adéquats. Pour construire des aides à l'apprentissage efficaces, les informaticiens ont besoin de vastes bibliothèques de données vidéo montrant comment différentes personnes exécutent les mots de la langue des signes. Cependant, pour la langue des signes japonaise (JSL), ces données étaient rares, souvent limitées à une seule personne ou à un petit ensemble de mots, ce qui rendait impossible l'entraînement des ordinateurs à reconnaître la langue auprès d'un nouvel utilisateur.
Une équipe de chercheurs a désormais comblé ce vide avec la création de JSL-DC, la plus grande collection de vidéos de la langue des signes japonaise jamais assemblée. Le projet a été porté par une réalisation simple mais profonde : pour apprendre à un ordinateur à comprendre la langue des signes, les données doivent provenir des personnes qui l'utilisent quotidiennement. Au lieu d'engager des acteurs ou des étudiants pour imiter les signes, les chercheurs ont recruté dix-neuf adultes sourds qui utilisent la langue des signes japonaise comme mode de communication principal. Ces participants se sont enregistrés en exécutant 270 mots spécifiques, choisis précisément pour aider les parents entendants à communiquer avec leurs jeunes enfants. Le jeu de données résultant contient plus de 36 000 vidéos, un volume trois fois supérieur à toute collection précédente de la langue des signes japonaise.
La véritable innovation de ce travail ne réside pas seulement dans le volume de données, mais dans la manière dont elles ont été organisées. Les chercheurs ont travaillé étroitement avec des linguistes sourds pour sélectionner les mots les plus utiles à la communication de la petite enfance, privilégiant les verbes et les adjectifs par rapport aux noms, car ceux-ci sont les briques élémentaires des premières phrases. Plus important encore, l'équipe a identifié des paires de signes qui paraissent presque identiques pour un œil non exercé mais qui portent des significations différentes. Dans de nombreux cas, ces signes ne diffèrent que par des mouvements faciaux subtils ou des formes de bouche, des indices que les modèles de vision par ordinateur standards ignorent souvent. Pour résoudre ce problème, les linguistes ont fourni des descriptions écrites expliquant exactement comment distinguer ces paires confuses. Ils ont noté, par exemple, que le signe pour « amer » et le signe pour « épicé » utilisent les mêmes mouvements de mains mais nécessitent des formes de bouche différentes pour les distinguer.
Les chercheurs ont ensuite testé si ces descriptions humaines pouvaient réellement améliorer la capacité d'un ordinateur à reconnaître les signes. Ils ont construit un système qui identifie d'abord le signe à l'aide d'une analyse vidéo standard, puis, si le signe fait partie des paires confuses, examine spécifiquement les mouvements de la bouche pour prendre la décision finale. Cette approche, directement inspirée des notes des linguistes, a considérablement amélioré la précision de l'ordinateur sur les signes difficiles. Le système a correctement identifié les mots confus près de dix pour cent de plus que les meilleures méthodes existantes. Cela prouve que l'incorporation de connaissances linguistiques humaines dans les modèles d'apprentissage automatique peut combler l'écart là où les données visuelles pures échouent.
L'équipe a également démontré comment cette technologie peut être appliquée dans le monde réel en adaptant un jeu d'arcade populaire en un outil d'apprentissage. Dans cette version, les joueurs signent un mot pour libérer une balle colorée dans un champ d'autres balles. Si l'ordinateur reconnaît correctement le signe, la balle correspond à la couleur et efface l'écran ; si le signe est erroné, la balle est de la mauvaise couleur. Ce jeu interactif permet aux parents entendants de pratiquer la langue des signes dans un environnement sans pression, en recevant un retour immédiat sur leur performance. L'ensemble du jeu de données, ainsi que les descriptions linguistiques et le logiciel du jeu, sont rendus publics pour accélérer la recherche et le développement futurs.
En centrant le projet sur la communauté sourde, du choix des mots à la révision finale de chaque vidéo, les chercheurs se sont assurés que les données sont authentiques et fiables. Chaque vidéo a été vérifiée deux fois par des experts sourds pour s'assurer que les signes étaient exécutés correctement et qu'aucune information personnelle n'avait été capturée accidentellement en arrière-plan. Ce processus rigoureux a filtré près de dix pour cent des enregistrements initiaux, laissant une ressource propre et de haute qualité. Ce travail suggère que l'avenir de la technologie de la langue des signes réside dans la collaboration entre linguistes et ingénieurs, en utilisant l'intuition humaine pour guider les machines. À mesure que ces outils s'améliorent, ils offrent une voie tangible pour combler le fossé de communication dans les foyers à travers le Japon, permettant enfin aux parents de parler la langue de leurs enfants.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.