SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting
L'article propose SMART, un cadre unifié qui exploite des descriptions de mouvement générées par MLLM et un adaptateur temporel multi-échelle pour améliorer la reconnaissance et le repérage continus de la langue des signes grâce à un alignement vidéo-texte par petits lots efficace et une localisation temporelle conjointe.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pour des millions de personnes sourdes ou malentendantes, la langue des signes n'est pas simplement une collection de gestes de la main, mais une langue complète et fluide possédant sa propre grammaire, son propre rythme et ses propres nuances. Tout comme les mots parlés se fondent les uns dans les autres dans une phrase sans pauses, les signes, dans un flux continu, fusionnent souvent entre eux, ce qui rend difficile pour les ordinateurs de déterminer où un signe se termine et où le suivant commence. Pendant des décennies, des chercheurs ont tenté d'apprendre aux machines à comprendre ces vidéos, mais ils se sont heurtés à un obstacle tenace : les données disponibles pour entraîner ces systèmes ne fournissent généralement que la phrase finale, comme une transcription, sans indiquer à l'ordinateur quel moment précis de la vidéo correspond à quel mot spécifique. Ce manque de précision temporelle force les ordinateurs à deviner, ce qui entraîne souvent une compréhension saccadée et irrégulière où la machine peut reconnaître un mot, mais échouer à savoir combien de temps il a duré ou où il a commencé. Sans cette connaissance fine, la construction d'un traducteur véritablement fluide pour la langue des signes reste hors de portée.
Une équipe de chercheurs de l'Université Dankook en Corée a maintenant proposé une nouvelle approche pour combler cette lacune, en introduisant un système qu'ils appellent SMART. Leur travail s'attaque au double défi de la reconnaissance de ce que les signes expriment et de la localisation précise du moment où ils se produisent dans une vidéo. Au lieu de s'appuyer sur l'ancienne méthode consistant à deviner les limites des mots en se basant uniquement sur la longueur de la phrase, les chercheurs ont construit un cadre qui utilise un type puissant d'intelligence artificielle connu sous le nom de modèle de langage étendu multimodal. Avant même que le système ne commence à apprendre, cette IA agit comme un observateur attentif, regardant les vidéos de langue des signes et rédigeant des descriptions détaillées des mouvements des mains et des expressions faciales qui se produisent à chaque instant. Ces descriptions servent de guide sémantique riche, enseignant à l'ordinateur à associer le mouvement visuel à des concepts linguistiques spécifiques, un peu comme un enseignant expliquant la signification d'un geste tout en le montant du doigt.
Les chercheurs ont ensuite conçu un moteur spécialisé pour traiter ces vidéos, un moteur qui prête attention à la façon dont les mouvements changent au fil du temps. Alors que les outils d'analyse vidéo standard regardent souvent les images de manière isolée, ce nouveau système est conçu pour comprendre le flux du mouvement à travers plusieurs échelles, capturant à la fois les mouvements rapides et brusques et les gestes plus lents et plus délibérés. En combinant cette conscience temporelle avec les descriptions textuelles détaillées générées précédemment, le système apprend à aligner la vidéo visuelle avec la signification linguistique de manière stable et efficace, même lorsque l'ordinateur ne traite qu'un petit nombre de vidéos à la fois. Cela permet au modèle de construire une image bien plus claire de la dynamique de la langue des signes qu'il n'était possible de le faire auparavant.
L'innovation la plus significative de ce travail est sans doute la manière dont le système gère simultanément les deux tâches de reconnaissance et de chronométrage. Les chercheurs ont créé une structure unifiée où la partie du système qui identifie les mots transmet directement ses connaissances à la partie qui localise les limites. Dans les tentatives précédentes, ces deux tâches étaient souvent traitées séparément, ou l'information temporelle était trop rare pour être utile. Ici, le système utilise la confiance qu'il a dans la reconnaissance d'un signe spécifique pour affiner les contours de ce signe dans le temps, indiquant ainsi à l'ordinateur : « Je suis sûr que ce mot est "stop", alors marquons exactement quand il commence et quand il s'arrête. » Cela crée une boucle de rétroaction où la capacité à reconnaître les mots améliore la capacité à trouver leurs limites, et la précision du minutage de ces limites aide en retour le système à reconnaître les mots plus précisément.
L'équipe a testé ce nouveau cadre sur quatre ensembles de données de langue des signes différents, incluant des vidéos en allemand, en chinois et deux collections distinctes de langue des signes coréenne. Les résultats ont montré que leur méthode surpassait tous les systèmes de pointe existants, tant pour la reconnaissance de la séquence des signes que pour leur localisation précise dans la vidéo. Sur un large ensemble de données, le système a réduit le taux d'erreur de reconnaissance des signes à moins de un pour cent, une amélioration significative par rapport aux méthodes précédentes. De plus, lorsqu'on lui a demandé de localiser précisément les heures de début et de fin des signes, le système a atteint un niveau de précision qui surpassait largement les méthodes traditionnelles, prouvant que les deux tâches sont effectivement complémentaires. Les chercheurs ont constaté qu'en utilisant les descriptions linguistiques comme guide et en laissant les tâches de reconnaissance et de repérage se soutenir mutuellement, ils pouvaient surmonter les limitations de la supervision faible qui entravaient le domaine depuis longtemps.
Ce travail suggère que la voie vers une compréhension fluide de la langue des signes ne réside pas seulement dans de meilleures caméras ou des processeurs plus rapides, mais dans l'apprentissage aux machines à comprendre la richesse sémantique du mouvement humain. En générant des descriptions détaillées du mouvement et en les utilisant pour guider le processus d'apprentissage, le cadre SMART démontre que les ordinateurs peuvent apprendre à voir la langue des signes avec un niveau de détail qui se rapproche de la perception humaine. Les conclusions indiquent que la combinaison de la compréhension large des modèles de langage et de la précision temporelle de l'analyse vidéo crée une synergie puissante, offrant une nouvelle direction prometteuse pour la construction d'outils capables de briser enfin les barrières de communication pour la communauté des sourds et des malentendants.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.