Attention-Enhanced Temporal Convolutional Network for Continuous Word-Level Indian Sign Language Recognition
Cet article propose un cadre de réseau de neurones convolutifs temporels (TCN) amélioré par l'attention pour la reconnaissance continue de mots de la langue des signes indienne, qui exploite Mediapipe pour l'extraction de points de repère et les convolutions dilatées pour capturer efficacement les caractéristiques spatiotemporelles, démontrant une performance supérieure par rapport aux modèles BiGRU, BiLSTM et hybrides sur un ensemble de données spécialisé.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La communication est un besoin humain fondamental, pourtant, pour des millions de personnes sourdes ou malentendantes, le pont vers le monde extérieur est souvent bloqué par les limites du langage parlé. La langue des signes offre une solution visuelle riche, utilisant le mouvement des mains, la posture du corps et les expressions faciales pour transmettre des pensées complexes. Cependant, apprendre à un ordinateur à comprendre ces gestes est un défi redoutable. Contra old d'une image unique et statique, la langue des signes est un flux de mouvement continu où la signification d'un geste dépend fortement de ce qui a précédé et de ce qui va suivre. C'est ce que l'on appelle la reconnaissance continue, et cela nécessite un système capable non seulement de voir les formes qui se dessinent, mais aussi de comprendre le rythme et les transitions entre elles. Pendant des années, des chercheurs ont tenté de résoudre ce problème en apprenant aux ordinateurs à reconnaître des signes individuels de manière isolée, mais la conversation réelle ne marque pas de pause entre les mots. Pour construire un outil véritablement utile au quotidien, la technologie doit apprendre à lire le flux continu de l'expression humaine.
Dans une étude récente, les chercheurs Aswani Sivan et E. Chandra Eswaran, de l'Université Bharathiar en Inde, ont abordé ce problème en créant un nouveau système conçu spécifiquement pour reconnaître la langue des signes indienne continue. Leurs travaux se concentrent sur une tâche difficile : prendre une vidéo d'une personne signant une phrase et identifier correctement chaque mot au sein de ce flux sans interruption. L'équipe a développé un cadre d'apprentissage profond (deep learning), un type de programme informatique qui apprend par l'exemple, pour servir de « cerveau » au système. Au lieu d'essayer d'analyser chaque pixel d'une image vidéo, ce qui peut être saturé par le bruit de fond ou les changements de luminosité, leur approche extrait d'abord l'essentiel du squelette du mouvement. À l'aide d'un outil logiciel spécialisé, le système identifie des points clés sur le corps du signeur, tels que le bout des doigts, les articulations des coudes et les contours du visage. Ces points sont ensuite convertis en une série de coordonnées décrivant le mouvement, éliminant ainsi l'encombrement visuel de l'arrière-plan pour se concentrer uniquement sur le geste lui-même.
L'innovation centrale de cette recherche réside dans la manière dont l'ordinateur traite la séquence de ces mouvements au fil du temps. Les chercheurs ont comparé plusieurs approches architecturales différentes pour voir laquelle pouvait le mieux comprendre le flux de la langue des signes. Ils ont testé des modèles qui traitent les données étape par étape, de la même manière qu'une personne pourrait lire une phrase un mot à la fois, ainsi que des modèles hybrides combinant différents types d'analyses. Cependant, l'équipe a constaté que ces méthodes traditionnelles peinaient à gérer les connexions à longue portée nécessaires pour comprendre une phrase complète. Pour surmonter cela, ils ont introduit un système basé sur un Réseau de Convolution Temporelle (Temporal Convolutional Network), une structure conçue pour analyser des séquences de données en parallèle plutôt que strictement les unes après les autres. Cela permet au système de percevoir l'ensemble du contexte d'une séquence de gestes en une seule fois. Crucialement, ils ont ajouté un « mécanisme d'attention » à ce réseau. Dans le contexte de la langue des signes, chaque instant d'une vidéo n'est pas également important ; certains cadres capturent le sommet d'un mouvement tandis que d'autres ne sont que des transitions. Le mécanisme d'attention agit comme un filtre, apprenant à l'ordinateur à concentrer son énergie sur les parties les plus significatives de la séquence de gestes et à ignorer les moments les moins pertinents.
Pour tester leur système, les chercheurs ont compilé un ensemble de données comprenant près de 2 500 clips vidéo contenant 317 mots de signes différents, provenant de dictionnaires de langue des signes indienne et de portails techniques établis. Chaque vidéo a été décomposée en 25 images pour capturer le mouvement en détail. Lorsqu'ils ont mené leurs expériences, les résultats étaient clairs. Le nouveau système, combinant le réseau temporel et le mécanisme d'attention, a atteint une précision de 94,29 % dans l'identification des mots. Cette performance était nettement supérieure à celle des autres modèles testés, qui atteignaient des niveaux de précision compris entre 78 et 85 %. Les données ont montré que la nouvelle approche était non seulement plus précise, mais aussi plus stable, ce qui signifie qu'elle pouvait bien se généraliser à de nouveaux exemples qu'elle n'avait pas vus auparavant. Le système s'est avéré particulièrement efficace pour distinguer les signes qui se ressemblent, une difficulté courante dans la reconnaissance de la langue des signes, en apprenant les subtiles différences dans le déroulement des mouvements au fil du temps.
L'étude a également examiné les domaines où le système rencontre encore des difficultés. Bien que le modèle ait performé avec une grande confiance sur la plupart des gestes, il a occasionnellement éprouvé des difficultés avec des signes ayant des mouvements ou un rythme très similaires, une limitation inhérente à la similitude visuelle des gestes eux-mêmes. Les chercheurs ont noté que leur ensemble de données, bien que diversifié, ne capture peut-être pas encore toutes les variations possibles de vitesse ou de style de signature selon les régions. Malgré ces obstacles mineurs, les conclusions suggèrent que cette combinaison spécifique de technologies offre une voie robuste vers l'avenir. En se concentrant sur les relations temporelles du mouvement et en utilisant un filtre basé sur l'attention pour mettre en évidence les moments les plus importants, le système parvient à combler le fossé entre la vidéo brute et le langage signifiant. Ce travail constitue une étape concrète vers une communication plus accessible, offrant un cadre qui pourrait éventuellement être intégré dans des dispositifs d'assistance du monde réel pour aider à traduire le flux continu de la langue des signes en texte ou en parole pour le public entendant.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.