La langue des signes est une conversation visuelle riche qui repose sur le mouvement précis des mains, la forme des doigts et l'orientation du corps. Pour que les ordinateurs puissent comprendre cette langue, ils doivent agir comme une seconde paire d'yeux, observant une personne signer et traduisant ces gestes en mots. Pendant des années, des chercheurs ont tenté d'enseigner cette compétence aux machines en utilisant des caméras vidéo standards. Ces caméras capturent la scène visuelle, mais elles peinent lorsque la vue est imparfaite. Si une main bouge trop rapidement, elle devient floue ; si elle passe devant un autre objet, elle disparaît ; si la lumière change ou si l'arrière-plan est chargé, l'ordinateur perd la trace des détails importants. Cela rend difficile pour une machine de distinguer deux signes qui se ressemblent mais qui signifient des choses différentes.

Pour résoudre ce problème, les scientifiques se sont également tournés vers les capteurs portables, de petits dispositifs portés sur le corps qui mesurent directement le mouvement. Ces capteurs peuvent ressentir la flexion d'un doigt ou la rotation d'un poignet, fournissant un enregistrement clair du mouvement même lorsqu'une caméra ne peut pas voir clairement. Cependant, les capteurs passent à côté du contexte visuel, tel que l'endroit où la main pointe par rapport au corps du signeur. Le défi consistait à combiner ces deux façons de voir — l'œil visuel d'une caméra et le sens physique d'un capteur — en un système unique qui soit plus fiable que l'un ou l'autre seul. Une équipe de chercheurs de l'Université de technologie de Tianjin et de l'Université de technologie de Hebei a maintenant construit un tel système, créant une méthode qui fusionne la vidéo et les données portables pour reconnaître des mots isolés de la langue des signes avec une précision remarquable, même lorsque la qualité de la vidéo est médiocre.

Les chercheurs ont commencé par construire un nouvel ensemble de données spécifiquement conçu pour tester la capacité d'un ordinateur à reconnaître des signes lorsque les conditions visuelles sont difficiles. Ils ont recruté cinq volontaires et leur ont demandé d'effectuer cent signes isolés, tels que des mots simples ou de courtes phrases. Chaque volontaire a répété chaque signe dix fois, créant un total de cinq mille échantillons. Pendant l'enregistrement, les volontaires portaient une installation spéciale comprenant de petits capteurs sur le haut du bras, l'avant-bras et la main. Ces capteurs mesuraient le mouvement inertiel des membres et la flexion des doigts. Dans le même temps, une caméra USB standard enregistrait la vidéo. L'équipe s'est assurée que la vidéo et les données des capteurs étaient parfaitement synchronisées, ce qui signifie que chaque image de la vidéo correspondait exactement au moment correspondant des données du capteur. L'environnement d'enregistrement a été configuré pour inclure des problèmes visuels courants, tels que des changements de lumière, du flou de mouvement et des parties de la main cachées, afin de simuler les défis du monde réel.

Pour apprendre à l'ordinateur à comprendre ces données, les chercheurs ont développé un système doté de deux « cerveaux » distincts qui travaillaient ensemble. Le premier cerveau se concentrait entièrement sur la vidéo. Il utilisait un modèle visuel sophistiqué pour analyser trente-deux images de la vidéo pour chaque signe, analysant comment les mains se déplaçaient dans l'espace et comment la posture du corps changeait. Ce modèle était conçu pour extraire l'histoire visuelle du signe, cherchant des motifs dans le mouvement et la forme. Le second cerveau se concentrait entièrement sur les capteurs portables. Il traitait les données brutes des capteurs de flexion et des trackers de mouvement, qui enregistraient précisément comment les doigts se pliaient et comment les bras bougeient. Pour aider ce cerveau à comprendre le flux temporel, le système calculait la différence entre un moment de mouvement et le suivant, lui permettant de ressentir la vitesse et la direction du geste. Cette branche de capteurs a été conçue pour être légère et efficace, capable d'apprendre les motifs complexes du mouvement humain à partir des chiffres bruts.

Une fois que les deux cerveaux avaient fait leur propre supposition sur le signe en cours d'exécution, le système devait décider quelle supposition croire. Les chercheurs ont constaté que les deux sources d'information divergeaient souvent. Parfois, la caméra voyait un signe clairement, mais les capteurs étaient confus par un mouvement similaire. D'autres fois, les capteurs savaient exactement ce qui se passait parce que le mouvement était distinct, même si la vidéo était floue ou la main partiellement cachée. Pour gérer cela, l'équipe a créé une méthode pour mélanger les deux suppositions. Ils n'ont pas simplement fait la moyenne des deux réponses. Au lieu de cela, ils ont ajusté la confiance de chaque supposition en fonction de la certitude que le système ressentait pour ce type spécifique de données. Ils ont ensuite combiné les probabilités ajustées en utilisant un poids spécifique qui a été choisi pour obtenir le meilleur résultat possible. Ce processus a permis au système final de s'appuyer davantage sur les données des capteurs lorsque la vidéo était peu claire, et davantage sur la vidéo lorsque les données de mouvement étaient ambiguës.

Les résultats de cette approche ont été frappants. Lorsque les chercheurs ont testé le système sur de nouvelles personnes qui ne faisaient pas partie du groupe d'entraînement, le système basé uniquement sur la vidéo a donné la bonne réponse environ soixante-huit pour cent du temps. Le système basé uniquement sur les capteurs a été bien plus performant, trouvant la bonne réponse environ quatre-vingt-quinze pour cent du temps. Cela a confirmé que les capteurs portables fournissaient un signal beaucoup plus stable pour la reconnaissance de ces signes spécifiques que la vidéo, surtout dans les conditions visuelles difficiles que l'équipe avait créées. Cependant, le système fusionné, qui combinait les deux sources, a été encore plus performant. Il a atteint une précision de quatre-vingt-dix-sept pour cent, identifiant correctement le signe dans presque tous les cas. Cette amélioration signifiait que le système commettait beaucoup moins d'erreurs que la version basée uniquement sur les capteurs, corrigeant les erreurs que les capteurs seuls ne pouvaient résoudre.

L'équipe a également examiné de près les erreurs que le système fusionné commettait encore. Ils ont constaté que les erreurs restantes survenaient principalement entre des paires de signes qui sont naturellement très similaires, tels que des signes utilisant la même forme de main mais pointant dans des directions légèrement différentes, ou des signes qui reposent sur des différences subtiles de flexion des doigts. Ce sont les types de distinctions qu'un humain peut difficilement faire sans une attention particulière, et encore moins une machine. L'analyse a montré que lorsque la vidéo et les capteurs étaient d'accord, le système était presque toujours correct. Lorsqu'ils divergeaient, la méthode de fusion utilisait avec succès la source la plus fiable pour corriger l'erreur. Cela a démontré que les deux types de données étaient véritablement complémentaires : les capteurs fournissaient une base robuste de mouvement, tandis que la vidéo ajoutait les détails visuels nécessaires pour distinguer les signes les plus similaires.

Ce travail suggère que l'avenir de la reconnaissance de la langue des signes ne reposera pas sur un seul type de technologie. Au lieu de cela, combiner la perspective visuelle d'une caméra avec les mesures physiques directes des capteurs portables crée un système résilient aux imperfections de l'enregistrement du monde réel. Bien que l'étude actuelle ait été limitée à un petit groupe de volontaires et à un ensemble spécifique de signes, la méthode a prouvé qu'il est possible de construire un outil de reconnaissance qui fonctionne bien même lorsque le flux vidéo est dégradé. Les chercheurs ont noté que pour que cette technologie soit utile à tous, les travaux futurs devront inclure plus de personnes avec différents styles de signes et tester le système dans une plus grande variété d'environnements. Pour l'instant, l'étude offre une voie claire, montrant que lorsque les machines disposent à la fois d'yeux et d'un sens du toucher, elles peuvent comprendre la communication humaine avec un niveau de précision qu'aucun de ces sens ne pourrait atteindre seul.