A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Cet article introduit un ensemble de données à grande échelle, fondé sur HamNoSys, comprenant 144 000 images RGB provenant de 15 participants pour 160 classes de formes manuelles, et établit les performances de référence en utilisant divers modèles d'apprentissage profond et d'apprentissage automatique sous des protocoles d'évaluation tant dépendants du sujet que de type « leave-one-subject-out » afin de faire progresser la reconnaissance de la langue des signes à grain fin.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les langues des signes sont des langues complètes et complexes, dotées de leur propre grammaire et de leur propre structure, utilisées par des millions de personnes à travers le monde. Tout comme les langues parlées sont construites à partir de sons, les langues des signes sont construites à partir de mouvements physiques des mains, du visage et du corps. L'un des éléments constitutifs les plus critiques est la forme que prend la main. Une légère flexion d'un doigt ou une position différente du pouce peut changer entièrement le sens d'un signe, tout comme le changement d'une seule lettre peut transformer un mot en un autre. Pour que les ordinateurs puissent comprendre ou traduire ces langues, ils doivent d'abord apprendre à reconnaître ces formes de mains spécifiques avec une grande précision. Cependant, créer un système informatique capable de le faire est difficile car les mains humaines varient considérablement d'une personne à l'autre, et les différences entre des formes de mains similaires peuvent être incroyablement subtiles.
Les chercheurs cherchent depuis longtemps un moyen de décrire ces formes de mains dans un langage universel qui n'appartienne pas à un seul pays ou à une seule culture. L'un de ces systèmes, connu sous le nom de Système de Notation de Hambourg, agit comme une carte détaillée des configurations de la main, en les décomposant en parties spécifiques comme la sélection des doigts et la position du pouce. Bien que ce système fournisse une définition claire de ce à quoi une forme de main devrait ressembler, il y a eu un manque de données réelles pour enseigner aux ordinateurs comment reconnaître ces formes lorsqu'elles sont exécutées par de vraies personnes. Sans une vaste collection d'images réelles montrant ces formes spécifiques, les programmes informatiques peinent à se généraliser, échouant souvent lorsqu'ils rencontrent une nouvelle personne ou un angle légèrement différent.
Pour combler cette lacune, une équipe de chercheurs a créé un nouveau jeu de données massif conçu pour enseigner aux ordinateurs comment reconnaître 160 formes de mains distinctes. Ils ne se sont pas appuyés sur des images générées par ordinateur ou des dessins simples ; ils ont enregistré de vraies personnes. Quinze volontaires, tous étudiants universitaires, ont été invités à former chacune des 160 formes de mains spécifiques définies par le tableau officiel. Les chercheurs ont mis en place un environnement contrôlé avec un fond blanc uni et une caméra haute définition. Chaque participant tenait sa main dans la forme requise et la faisait pivoter lentement, permettant à la caméra de capturer le mouvement sous différents angles. Ce processus a généré 144 000 images en couleur individuelles, créant une riche bibliothèque où chaque image est étiquetée avec la forme de main exacte qu'elle représente.
Les chercheurs ont ensuite testé l'efficacité de différents modèles informatiques pour apprendre de cette nouvelle bibliothèque. Ils ont essayé deux approches principales. La première approche considérait les images dans leur ensemble, comme le ferait un humain, en se concentrant sur l'apparence globale de la main, de la couleur de la peau et de l'éclairage. La seconde approche ignorait entièrement l'image et se concentrait uniquement sur les coordonnées mathématiques de vingt et un points spécifiques sur la main, tels que l'extrémité des doigts et les articulations. Ils ont testé ces modèles de deux manières différentes. Dans le premier test, l'ordinateur était confronté à des images de personnes qu'il avait déjà vues lors de son entraînement, simulant un scénario où le système connaît l'utilisateur. Dans le second test, beaucoup plus difficile, l'ordinateur était confronté à des images de personnes qu'il n'avait jamais rencontrées auparavant, le forçant à se concentrer sur ce qu'il a appris sur les formes elles-mêmes plutôt que sur la personne spécifique qui les exécute.
Les résultats ont révélé une distinction claire entre connaître une personne et connaître une forme. Lorsque l'ordinateur a été testé sur des personnes qu'il avait déjà vues, il a très bien performé, identifiant correctement la forme de la main dans plus de 86 pour cent des cas en utilisant le meilleur modèle basé sur l'image. Cependant, lorsque l'ordinateur a été confronté à une nouvelle personne qu'il n'avait jamais rencontrée, sa précision a chuté de manière significative, tombant à environ 45 pour cent. Cette baisse brutale montre que si les ordinateurs sont doués pour reconnaître des motifs chez des visages familiers, ils ont encore du mal à séparer la forme universelle d'un signe de la manière unique dont un individu spécifique l'exécute. L'étude a également révélé que les modèles commettaient le plus d'erreurs avec les formes de mains qui se ressemblent presque parfaitement, ne différant que par un détail infime comme la flexion d'un seul doigt ou la position du pouce.
Ce travail fournit une base solide pour les technologies futures. En offrant une vaste collection équilibrée d'images réelles et en testant la manière dont les ordinateurs gèrent de nouveaux utilisateurs, les chercheurs ont créé un outil standard pour le domaine. Le jeu de données permet aux scientifiques de construire de meilleurs systèmes qui pourront éventuellement traduire la langue des signes en texte ou en parole pour ceux qui ne peuvent pas entendre, ou aider les personnes sourdes à communiquer plus facilement avec les entendants. Bien que les modèles actuels trouvent encore difficile de reconnaître les signes provenant d'inconnus, cette nouvelle ressource offre aux chercheurs une voie claire pour améliorer ces systèmes, garantissant que la technologie future puisse comprendre la subtile et belle complexité des mains humaines.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.