Vision-Based Real-Time Sign Language Recognition: A Comparative Benchmark of Landmark Tracking and Deep Sequential Architectures

Pour des millions de personnes sourdes ou malentendantes, la langue des signes n'est pas seulement une collection de gestes ; c'est une langue complète et riche, dotée de sa propre grammaire, de sa propre structure et de ses propres nuances. Elle repose sur la forme précise de la main, l'angle du poignet et le mouvement des doigts pour transmettre un sens. Pourtant, pour la grande majorité des entendants, ces signaux visuels restent un livre fermé, créant une barrière persistante dans les écoles, les lieux de travail et la vie quotidienne. Pendant des décennies, des scientifiques ont tenté de construire des machines capables de lire ces signes, espérant combler l'écart. Les premières tentatives nécessitaient souvent que les utilisateurs portent des gants spéciaux dotés de capteurs ou des équipements encombrants qui suivaient chaque mouvement d'articulation. Bien qu'efficaces, ces outils étaient peu pratiques pour un usage quotidien, trop coûteux pour la plupart des gens et inconfortables à porter pendant de longues périodes. L'objectif a toujours été de trouver un moyen de permettre à une caméra standard, comme celle intégrée à un ordinateur portable ou un smartphone, de comprendre les signes de la main sans demander à l'utilisateur de changer son comportement ou de transporter un équipement supplémentaire.

Ce défi est devenu récemment plus soluble grâce à un changement dans la manière dont les ordinateurs « voient » le monde. Au lieu d'essayer d'analyser chaque pixel individuel d'une image vidéo — une tâche très gourmande en calcul et facilement perturbée par les changements de luminosité ou l'encombrement de l'arrière-plan — les chercheurs se concentrent désormais sur le squelette de la main. Imaginez un programme informatique qui ignore la couleur de la peau ou de la chemise que la personne porte, et qui identifie instantanément vingt et un points spécifiques sur la main, du poignet jusqu'au bout des doigts. Ces points agissent comme une carte simplifiée de la forme de la main. En suivant la façon dont ces points bougent et interagissent entre eux, un ordinateur peut comprendre quel signe est effectué sans avoir besoin de traiter l'image entière. Cette approche, connue sous le nom de suivi de points de repère (landmark tracking), promet de rendre la reconnaissance de la langue des signes rapide, abordable et accessible sur des appareils ordinaires.

Dans une étude récente, un chercheur de l'Université d'ingénierie et de technologie de Lahore a entrepris de tester précisément l'efficacité de cette idée dans le monde réel. Le but n'était pas de construire un système unique et parfait, mais de comparer dix façons différentes d'apprendre à un ordinateur à reconnaître ces points de repère de la main. Le chercheur a rassemblé une vaste collection de données vidéo, comprenant 120 000 images de personnes signant. Ce jeu de données comprenait les vingt-six lettres de l'alphabet, les dix chiffres, ainsi que quelques gestes spéciaux pour les espaces et les points, tous exécutés par vingt-cinq volontaires différents. Ces volontaires variaient en âge, en sexe et en taille de main, garantissant que le test soit équitable et réaliste. Le cherchement a ensuite injecté ces données dans dix types différents de modèles informatiques. Certains étaient des méthodes statistiques classiques simples, existantes depuis des décennies, tandis que d'autres étaient des réseaux d'apprentissage profond modernes et complexes, conçus pour imiter la façon dont le cerveau humain traite les séquences d'informations.

Les résultats ont révélé une vérité surprenante concernant le rapport entre vitesse et complexité. Les modèles les plus sophistiqués, qui utilisaient des réseaux de neurones profonds pour analyser les images vidéo brutes ou le mouvement de la main au fil du temps, étaient effectivement très précis. Un modèle basé sur l'image identifiait correctement les signes près de 99,8 % du temps. Cependant, ces modèles puissants comportaient un coût lourd : ils étaient lents. Ils nécessitaient une puissance de calcul importante et prenaient plusieurs millisecondes pour prendre une décision, ce qui est perceptible lorsque l'on tente d'avoir une conversation en temps réel. En revanche, les modèles plus simples, qui ne regardaient que les coordonnées des vingt et un points de la main, étaient incroyablement rapides. L'un de ces modèles, basé sur une technique appelée gradient boosting, a atteint une précision de 99,5 % tout en prenant une décision en seulement 0,3 milliseconde. Cette vitesse signifiait que le système pouvait fonctionner de manière fluide sur un ordinateur portable standard, traitant la vidéo à plus de quatre-vingt-dix images par seconde, ce qui est plus rapide que la perception de l'œil humain.

La conclusion la plus critique concernait la capacité de ces systèmes à fonctionner face à une nouvelle personne qu'ils n'avaient jamais vue auparavant. Dans le monde réel, un interprète de langue des signes doit comprendre un étranger, et non seulement la personne avec laquelle il s'est entraîné. Lorsque les chercheurs ont testé les modèles sur des signeurs ne faisant pas partie des données d'entraînement, les modèles complexes basés sur l'image ont rencontré des difficultés importantes, leur précision chutant de près de huit pour cent. Ils semblaient trop dépendre de l'apparence spécifique des mains qu'ils avaient mémorisées. Les modèles plus simples, basés sur les points de repère, se sont toutefois montrés beaucoup plus résilients. Leur précision n'a chuté que d'environ cinq pour cent, montrant qu'en se concentrant sur la géométrie de la main plutôt que sur son apparence, ils pouvaient mieux se généraliser à de nouvelles personnes. Cela suggère que, pour un outil pratique et quotidien, l'approche plus simple est non seulement plus rapide, mais aussi plus fiable face à la diversité des mains humaines.

L'étude a également examiné l'ensemble du processus, du moment où une caméra capture une image au moment où un ordinateur prononce le mot reconnu. En chronométrant chaque étape, du suivi de la main à la normalisation des données et à la prédiction finale, le chercheur a confirmé que l'ensemble du pipeline pouvait fonctionner en temps réel. Le temps total entre la perception d'un signe et sa reconnaissance était d'environ onze millisecondes pour le modèle le plus rapide. Cette vitesse est suffisante pour suivre la signature naturelle, permettant à l'ordinateur d'assembler les lettres en mots et en phrases sans décalage. Le système a également réussi l'assemblage de ces lettres en texte, avec très peu d'erreurs d'orthographe ou de formation de mots, démontrant que la technologie est prête à passer de l'expérience de laboratoire à une application utilisable.

Bien que l'étude offre une voie claire à suivre, le chercheur a pris soin de définir les limites de ce qui a été accompli. Le système est conçu spécifiquement pour l'épellation (fingerspelling) — épeler les mots lettre par lettre — et ne comprend pas encore le flux complexe et continu d'une phrase complète en langue des signes, qui implique les expressions faciales et la posture du corps. Il a également été noté que dans des conditions de faible luminosité ou lorsque les doigts sont fortement obstrués de la vue, la capacité de la caméra à suivre les points de la main peut faiblir. Malgré ces limites, ce travail constitue un point de référence solide pour le domaine. Il démontre qu'en éliminant les données visuelles inutiles et en se concentrant sur la géométrie essentielle de la main, nous pouvons construire des systèmes qui soient non seulement précis, mais aussi assez rapides pour vivre dans nos poches et sur nos bureaux. Le chemin vers un monde où la langue des signes est instantanément comprise par tous ne nécessite peut-être pas les supercalculateurs les plus puissants, mais plutôt la bonne façon de regarder la main elle-même.