A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Cet article présente un ensemble de données de référence à grande échelle, guidé par HamNoSys, composé de 144 000 images RGB provenant de 15 participants pour 160 classes de formes de mains, établissant des références dépendantes du sujet et de type « leave-one-subject-out » en utilisant divers modèles d'apprentissage profond afin de faire progresser la reconnaissance fine de formes de mains isolées et la technologie de la langue des signes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot à comprendre la langue des signes humaine. Il ne s'agit pas seulement de regarder quelqu'un agiter les mains ; il s'agit de décoder un vocabulaire complexe et silencieux où la forme d'une main, l'angle d'un pouce ou la courbure d'un doigt peut changer entièrement un mot. Pensez à la différence entre un « pouce levé » et un « pouce baissé » — pour un humain, c'est évident, mais pour un ordinateur, ces deux gestes ne sont qu'une collection de pixels qui se ressemblent étrangement. C'est le monde de la « reconnaissance de la forme des mains à grain fin », un domaine où les scientifiques tentent de construire des dictionnaires numériques capables de lire les différences subtiles et infimes dans la façon dont les gens forment des signes. L'objectif est de créer des outils capables de traduire la langue des signes en texte ou en parole, aidant ainsi à combler le fossé de communication pour des millions de personnes sourdes ou malentendantes. Mais pour apprendre cette compétence à un ordinateur, il faut une immense bibliothèque d'exemples, et jusqu'à présent, cette bibliothèque manquait d'une section cruciale et organisée.
Entrez dans une nouvelle étude qui agit comme un bibliothécaire expert pour la langue des signes. Les chercheurs ont construit un immense album photo soigneusement organisé contenant 144 000 photos de mains, toutes prises sur 15 personnes différentes. Ils n'ont pas simplement ramassé des photos au hasard ; ils ont utilisé un « livre de règles » spécial appelé HamNoSys (Hamburg Notation System), qui est comme un alphabet universel pour les formes de mains utilisé par les linguistes pour décrire les signes sans être lié à une langue parlée spécifique. Ils ont demandé à leurs participants de poser leurs mains pour correspondre à 160 formes spécifiques de ce livre de règles, capturant chaque torsion, chaque rotation et chaque flexion de doigt.
L'équipe a ensuite testé quatre types différents d'ordinateurs « étudiants » pour voir à quel point ils pouvaient apprendre de cet album. Deux étudiants regardaient les photos réelles (comme un humain regardant une image), tandis que les deux autres ne regardaient que la carte squelettique des articulations de la main (comme un dessin de bonhomme bâton). Ils ont fait passer deux examens différents : un où les étudiants étudiaient et étaient testés sur les mêmes personnes (un test amical et facile), et un autre où ils devaient reconnaître des mains provenant de personnes qu'ils n'avaient jamais vues auparavant (un test beaucoup plus difficile, en conditions réelles).
Voici ce qu'ils ont découvert : lorsque les ordinateurs étaient autorisés à étudier les mêmes personnes sur lesquelles ils étaient testés, les étudiants lisant les photos ont très bien réussi, le modèle le plus avancé (un modèle appelé ViT-B/16) obtenant environ 86 % de bonnes réponses. Cependant, lorsque le test est passé aux « personnes inconnues », les scores ont chuté de manière significative, les meilleurs modèles n'obtenant qu'environ 45 % de bonnes réponses. Cela suggère que, bien que les ordinateurs deviennent bons pour reconnaître les formes de mains en général, ils ont encore du mal à se généraliser lorsqu'une nouvelle personne avec une taille de main ou un style différent se présente. L'étude a également souligné que certaines formes de mains sont si visuellement similaires — ne différant que par une infime courbure d'un doigt — que même les meilleurs modèles s'y perdent, les confondant comme des jumeaux dans une foule.
En fin de compte, cet article ne prétend pas avoir résolu le problème de la reconnaissance de la langue des signes. Au lieu de cela, il fournit une base solide et reproductible — un nouvel ensemble de données de haute qualité et un ensemble de scores de référence — que d'autres chercheurs pourront utiliser pour construire de meilleurs outils. Il nous montre exactement où en est la technologie actuelle et souligne que le prochain grand défi est d'apprendre aux ordinateurs à reconnaître ces formes de mains subtiles, peu importe qui les réalise.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.