A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

La communication est un besoin humain fondamental, pourtant pour des millions de personnes sourdes ou malentendantes, le pont vers le monde extérieur reste souvent brisé. La langue des signes sert de langage complet et riche pour ces communautés, mais en l'absence d'un système de traduction universel, le fossé entre les signants et les non-signants persiste. Ces dernières années, les scientifiques se sont tournés vers l'informatique pour construire ce pont, apprenant aux machines à « voir » les gestes des mains et à les traduire en paroles ou en mots écrits. Ce domaine repose sur deux manières principales de voir. Une approche traite la main comme une photographie, analysant la forme, la couleur et la texture de la peau et des doigts pour deviner la signification. L'autre approche ignore entièrement l'image, se concentrant plutôt sur la géométrie précise de la main, cartographiant la position exacte des articulations et du bout des doigts sous forme de coordonnées. Bien que chaque méthode ait ses forces, les deux peinent lorsque le monde réel devient désordonné. Un système basé sur la caméra peut échouer si l'éclairage change ou si l'arrière-plan est encombré, tandis qu'un système basé sur la géométrie peut manquer de détails subtils qui distinguent un signe d'un autre.

Dans une nouvelle étude, des chercheurs du Galgotias College of Engineering & Technology en Inde ont proposé une solution qui combine ces deux manières distinctes de voir pour créer un traducteur plus fiable pour la langue des signes indienne. Plutôt que de forcer un ordinateur à choisir entre l'apparence de la main ou sa structure, l'équipe a construit un système hybride qui utilise les deux simultanément. Ils ont créé deux « cerveaux » numériques distincts : l'un entraîné à reconnaître les gestes en regardant des images de mains, et un autre entraîné à les reconnaître en lisant les coordonnées mathématiques des points de repère de la main. L'innovation ne réside pas seulement dans le fait d'avoir deux modèles, mais dans la manière dont ils travaillent ensemble. Les chercheurs ont conçu un mécanisme de commutation intelligent qui agit comme un gardien. En fonctionnement en temps réel, le système vérifie constamment le degré de confiance du modèle basé sur l'image dans sa supposition. Si le modèle basé sur l'image est incertain en raison d'un mauvais éclairage, le système se réfère automatiquement au modèle basé sur la géométrie, qui est privilégié pour sa robustesse face aux variations environnementales. Si la géométrie est peu claire, il s'appuie sur l'image. Cette prise de décision dynamique est ensuite lissée dans le temps pour garantir que la sortie finale ne clignote pas ou ne saute pas de manière erratique d'une lettre à une autre.

L'équipe a testé son système en utilisant une vaste collection d'images statiques de mains représentant l'alphabet et quelques commandes spécifiques, totalisant 87 000 images. Ils ont entraîné leur modèle de lecture d'images en utilisant une architecture légère connue sous le nom de MobileNetV2, conçue pour être assez rapide pour une utilisation en temps réel, et ont entraîné leur modèle de lecture de géométrie en utilisant un réseau neuronal standard qui traite les 21 points clés de la main détectés par un outil appelé MediaPipe. Lorsqu'ils ont mis les modèles individuels à l'épreuve, les résultats étaient éloquents. Le modèle basé sur l'image était incroyablement précis, atteignant près de 100 % de précision lors de tests contrôlés, mais montrait des signes d'incertitude face aux conditions variables d'un flux de caméra en direct. Le modèle basé sur la géométrie était légèrement moins précis sur sa propre lancée, affichant environ 97 %, mais restait remarquablement stable quel que que soit l'arrière-plan ou l'éclairage.

Lorsque les chercheurs ont fusionné ces deux approches, le résultat fut un système qui privilégiait la stabilité sur la performance brute maximale. Le modèle hybride a atteint une précision de 95 % lors des tests, un chiffre qui, bien que légèrement inférieur au maximum théorique du modèle d'image seule, s'est avéré bien plus constant en pratique. Lors des essais en temps réel, le système hybride a maintenu un niveau de confiance proche de 100 %, éliminant efficacement l'hésitation et les erreurs qui affectaient les systèmes à modèle unique. L'étude a révélé qu'en laissant les deux modèles choisir la réponse en fonction de seuils de confiance et en lissant ensuite les résultats sur une courte fenêtre de temps, le système pouvait gérer les conditions variables de l'environnement. Cette approche a réussi à réduire les erreurs de classification observées dans le modèle de géométrie seule tout en maintenant des prédictions stables, démontrant l'efficacité de la combinaison des caractéristiques visuelles et des repères géométriques pour la reconnaissance des gestes.

Les chercheurs concluent que ce cadre hybride offre une voie pratique pour les outils de communication d'assistance. En reconnaissant qu'aucune méthode n'est parfaite dans toutes les situations, et en créant un système capable de s'appuyer dynamiquement sur la méthode la plus fiable à un instant donné, ils ont créé un reconnaisseur de gestes suffisamment robuste pour un usage dans le monde réel. Ce travail démontre que la combinaison de l'apparence visuelle et de la structure géométrique, gérée par un processus de décision basé sur la confiance, produit un outil qui est non seulement précis, mais aussi stable et fiable, rapprochant encore davantage la promesse d'une communication fluide entre les entendants et les sourds de la réalité.