Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Sign Language and Fingerspelling Recognition

Pour des millions de personnes à travers le monde, la capacité de communiquer n'est pas un acquis. Lorsque la perte d'audition crée une barrière, la langue des signes devient le pont vital, un langage visuo-spatial où le sens est construit à partir de la forme des mains, des mouvements du corps et des expressions faciales. Pendant des décennies, les chercheurs ont tenté de construire des ordinateurs capables de comprendre cette langue, espérant créer une traduction fluide entre les communautés sourdes et entendantes. Le défi réside dans la complexité des données : un signe n'est pas seulement une image statique d'une main, mais une séquence fluide de mouvements impliquant l'ensemble du haut du corps. Les premières tentatives pour enseigner cette langue aux machines reposaient sur des caméras pour capturer de la vidéo, mais les approches récentes les plus prometteuses se sont concentrées sur le squelette lui-même — la carte invisible des articulations et des os qui définit le mouvement humain. En éliminant l'arrière-plan pour se concentrer uniquement sur la géométrie du corps, les scientifiques espéraient créer des systèmes robustes face aux changements de luminosité et aux préoccupations de confidentialité. Cependant, les outils utilisés pour interpréter ces cartes squelettiques se sont heurtés à un mur. Ils reposaient traditionnellement sur des règles fixes concernant la façon dont les parties du corps se connectent, supposant que la main n'est liée qu'au poignet, et le poignet au coude. Cette structure rigide fonctionne bien pour des mouvements simples, mais peine lorsqu'un signe nécessite que les mains interagissent avec la tête ou lorsque l'ensemble du corps se déplace de manière coordonnée et complexe.

Une équipe de chercheurs de l'Université d'Aizu au Japon, accompagnée de collègues de Corée du Sud et du Bangladesh, a proposé une nouvelle façon de résoudre ce problème. Au lieu de forcer l'ordinateur à suivre une carte pré-dessinée de la connexion du corps, ils ont construit un système qui apprend à voir l'image globale d'un coup. Ils appellent leur création le Réseau d'Attention Spatio-Temporelle Empilé (Stacked Spatio-Temporal Attention Network). Imaginez un système qui ne se contente pas de regarder une seule image d'une vidéo, mais qui observe toute la séquence de mouvement tout en considérant simultanément comment chaque articulation se rapporte à toutes les autres, quelle que soit la distance qui les sépare sur le corps. Cette approche abandonne les anciennes règles rigides au profit d'une méthode flexible qui calcule les relations de manière dynamique. Les chercheurs ont testé cette nouvelle architecture sur trois ensembles de données distincts : une vaste collection de mots de la langue des signes américaine (ASL), et deux ensembles plus petits dédiés à l'épellation de lettres — l'alphabet des signes utilisé en japonais et en coréen. Les résultats furent frappants. Sur les tests d'épellation japonaise et coréenne, le nouveau modèle a atteint une précision quasi parfaite, identifiant les signes correctement presque à chaque fois. Plus significativement encore, sur le grand ensemble de données de la langue des signes américaine, le modèle a surpassé toutes les autres méthodes utilisant uniquement des données squelettiques, y compris celles qui avaient été entraînées à l'aide de techniques de pré-entraînement massives et complexes.

Le secret de ce succès réside dans la façon dont le modèle traite l'information. Les systèmes traditionnels traitent souvent le corps comme une chaîne, où l'information passe d'une articulation à la suivante, nécessitant de nombreuses étapes pour connecter la main à la tête. Le nouveau modèle, cependant, utilise un mécanisme qui lui permet de regarder toutes les articulations en même même temps et de comprendre instantanément lesquelles travaillent ensemble. Il procède en deux étapes pour chaque instant de temps : d'abord, il analyse les relations spatiales entre les articulations au sein d'une seule image, comprenant la forme de la pose ; ensuite, il analyse les relations temporelles, reliant cette forme aux formes qui l'ont précédée et qui la suivent. Cela permet à l'ordinateur de saisir la dynamique subtile et coordonnée d'un signe sans avoir besoin d'une carte fixe pour le guider. Les chercheurs ont entraîné ce système à partir de zéro, ce qui signifie qu'ils ne lui ont pas injecté des millions d'autres images ou vidéos pour apprendre des concepts généraux d'abord. Ils lui ont simplement montré les données de la langue des signes, et le modèle a appris les motifs par lui-même. C'est une distinction cruciale, car cela suggère que le modèle est hautement efficace, capable d'apprendre des tâches complexes sans le coût computationnel lourd d'un pré-entraînement massif.

L'étude fut rigoureuse, testant le système sur plus de 21 000 vidéos de l'ensemble de données de la langue des signes américaine et des centaines de vidéos des ensembles japonais et coréens. Les chercheurs ont veillé à ce que le modèle ne se contente pas de mémoriser les personnes spécifiques des vidéos d'entraînement ; ils ont divisé les données de sorte que le modèle soit testé sur des personnes qu'il n'avait jamais vues auparavant. Dans les tests d'épellation japonaise, le modèle a atteint une précision de pointe de 99,34 %, et dans les tests coréens, il a atteint 95,16 %. Sur le plus grand ensemble de données de la langue des signes américaine, il a obtenu une précision maximale de 82,95 % pour les 100 signes les plus courants, surpassant les records précédents détenus par des systèmes reposant sur des méthodes d'entraînement plus compliquées. Les chercheurs ont noté que, tandis que d'autres systèmes nécessitent souvent des milliers d'heures de pré-entraînement sur des données non liées pour atteindre des niveaux de performance similaires, leur modèle a obtenu ces résultats en apprenant directement à partir des données de la langue des signes elle-même. Cela indique que l'architecture est naturellement bien adaptée à la tâche, capturant la danse complexe du mouvement humain avec une clarté remarquable.

Il existe, bien sûr, des limites à ce que cette étude a accompli. Les chercheurs se sont concentrés exclusivement sur les données squelettiques, ce qui signifie que le système ne regarde pas la couleur de la peau, les vêtements ou l'arrière-plan. C'est un choix délibéré pour protéger la vie privée et garantir que le système fonctionne dans divers environnements, mais cela signifie aussi que le modèle pourrait ne pas capturer les nuances qu'un observateur humain verrait dans une vidéo complète. De plus, l'étude s'est concentrée sur des signes isolés — des mots ou des lettres individuels — plutôt que sur des flux continus de conversation. Bien que le modèle ait prouvé qu'il pouvait reconnaître ces unités individuelles avec une grande précision, le saut vers la compréhension d'une conversation complète et fluide reste un défi futur. Les auteurs ont également reconnu que pour des signes purement statiques, où la main ne bouge pas, un système plus simple regardant une seule image pourrait être plus rapide, bien que leur modèle ait tout de même réussi à surpasser ces approches plus simples en termes de précision.

Les implications de ce travail s'étendent au-delà de la simple amélioration des taux de reconnaissance. En démontrant qu'un système flexible basé sur l'attention peut surpasser les modèles rigides basés sur les graphes sans nécessiter de pré-entraînement massif, les chercheurs ont ouvert une nouvelle voie pour la compréhension du mouvement humain par les machines. Cela suggère que la clé pour comprendre les actions complexes et dynamiques n'est pas de les forcer dans une structure fixe, mais de permettre au système de découvrir les connexions par lui-même. À mesure que le domaine progresse, les prochaines étapes consisteront probablement à combiner cette approche efficace basée sur le squelette avec d'autres sources de données, telles que la vidéo, pour créer des outils de communication encore plus puissants. Pour l'instant, ce travail constitue une preuve significative que lorsque nous laissons les machines regarder l'image globale, elles peuvent apprendre à comprendre le langage des mains avec une clarté qui était auparavant hors de portée.