🤖 AI

SignVLA: Real-Time Sign Language-Guided Robotic Manipulation via Attention LSTM and Vision-Language-Action Models

SignVLA est un cadre de travail en temps réel qui améliore l'accessibilité dans l'interaction humain-robot en convertissant les gestes de la langue des signes en instructions sémantiques via un LSTM amélioré par l'attention et un module de stabilisation temporelle, permettant aux modèles vision-langage-action d'exécuter des tâches de manipulation robotique pour les utilisateurs sourds et malentendants ou présentant des troubles de la parole.

Auteurs originaux : Ningwei Bai, Xinyu Tan, Harry Gardner, Zhengyang Zhong, Liuhaichen Yang, Luoyu Zhang, Zhekai Duan, Monkgogi Galeitsiwe, Zezhi Tang

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ningwei Bai, Xinyu Tan, Harry Gardner, Zhengyang Zhong, Liuhaichen Yang, Luoyu Zhang, Zhekai Duan, Monkgogi Galeitsiwe, Zezhi Tang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot qui, d'ordinaire, ne vous comprend que si vous lui parlez ou si vous tapez une commande sur un clavier. Maintenant, imaginez ce même robot capable de vous comprendre si vous lui « parlez » avec vos mains en langue des signes. C'est exactement ce que fait le système SignVLA.

Voici une décomposition simple de son fonctionnement, utilisant des analogies de la vie quotidienne :

Le Problème : Un robot doté d'une « ouïe » uniquement

La plupart des robots avancés d'aujourd'hui utilisent des modèles de Vision-Langage-Action (VLA). Considérez ces modèles comme le cerveau du robot qui observe une scène, lit une instruction textuelle (comme « ramasser la tasse ») et déplace ensuite son bras pour l'exécuter.

Cependant, ces robots n'« écoutent » généralement que les paroles prononcées ou le texte tapé. Cela crée une barrière pour les personnes sourdes, malentendantes ou ne pouvant pas parler. C'est comme avoir un bibliothécaire très intelligent qui ne peut accepter des demandes que si vous lui murmurez à l'oreille ou si vous les écrivez sur un billet, mais qui refuse de comprendre si vous agitez les mains pour demander un livre.

La Solution : SignVLA (Le traducteur « Main-vers-Cerveau »)

Les chercheurs ont construit un système appelé SignVLA qui agit comme un traducteur universel entre les gestes des mains et les commandes du robot. Il ne modifie pas le cerveau du robot ; il ajoute simplement une nouvelle façon de communiquer avec lui.

Le système fonctionne en trois étapes principales, comme une course de relais :

1. Les Yeux (Voir les mains)
D'abord, le système observe une vidéo d'une personne signant. Au lieu d'essayer de comprendre toute l'image, il utilise un outil appelé MediaPipe pour se concentrer strictement sur le « squelette » des mains. Il suit précisément où les doigts, les articulations et les poignets se déplacent, image par image.

Analogie : Imaginez une caméra de surveillance qui ignore l'arrière-plan et ne dessine que le contour d'un bonhomme allumineux pour suivre le mouvement de vos mains.

2. Le Cerveau (Comprendre le geste)
Ensuite, le système injecte ces mouvements de mains dans un modèle informatique spécial appelé Attention LSTM.

LSTM : Voyez cela comme une banque de mémoire qui se souvient de ce que vos mains faisaient il y a une seconde, afin de comprendre qu'un mouvement est une séquence (comme une phrase), et non juste une pose figée.
Attention : C'est comme un projecteur. Lorsque le modèle examine la séquence des mouvements de mains, il sait sur quelles parties les plus importantes du geste se concentrer (les « mots-clés ») et ignore les parties agitées ou moins importantes.
Le Résultat : Cette partie transforme les mouvements de mains en une liste de « glosses » (mots simples de la langue des signes comme « POMME », « PRENDRE » ou « PANIER »).

3. Le Traducteur (Rendre cela naturel)
Cette liste de mots signés est ensuite transmise à un Grand Modèle de Langage (LLM), qui agit comme un traducteur humain. Il prend la liste (par exemple, « PRENDRE BEURRE PANIER ») et la transforme en une phrase complète et naturelle que le robot sait déjà suivre : « Prends le beurre et place-le dans le panier. »

Le Filet de Sécurité : Le « Tampon de Stabilité »

Un problème majeur avec la langue des signes est que les mains peuvent trembler ou bouger rapidement, ce qui peut troubler l'ordinateur pendant une fraction de seconde. Si le robot réagissait à chaque petit bug, il commencerait à trembler ou à changer d'avis constamment.

Pour corriger cela, SignVLA utilise un Tampon de Stabilité Temporelle (Temporal Stability Buffer).

Analogie : Imaginez un videur de boîte de nuit. Si quelqu'un crie une commande une seule fois, le videur pourrait l'ignorer pour s'assurer qu'il ne s'agit pas simplement d'un étouffement. Mais si la personne crie la même commande trois fois de suite, le videur la laisse entrer.
Le système attend de voir si la même commande de signe apparaît de manière cohérente pendant quelques images avant d'envoyer l'ordre au robot. Cela empêche le robot de devenir « saccadé ».

Les Résultats : Est-ce que ça marche ?

Les chercheurs ont testé ce système dans une simulation informatique utilisant un bras robotique (un Franka Emika Panda).

Reconnaissance : Le système était très efficace pour reconnaître 33 mots signés spécifiques (comme « Pomme », « Bouteille », « Prendre », « Placer »). Il a réussi environ 89 % d'entre eux du premier coup, ce qui est une amélioration majeure par rapport aux anciennes méthodes qui n'utilisaient pas le projecteur d'« attention ».
Action du Robot : Lorsque le robot recevait ces instructions traduites, il accomplissait avec succès des tâches comme ramasser des objets et les mettre dans des paniers environ 95 % à 98 % du temps.

L'Essentiel à Retenir

L'article démontre qu'il n'est pas nécessaire de reconstruire tout le cerveau d'un robot pour lui permettre de comprendre la langue des signes. Il suffit d'un « traducteur » léger et en temps réel qui observe les mains, se souvient de la séquence, stabilise le signal et transmet une phrase claire en anglais au robot.

L'équipe a également construit le matériel physique (un vrai bras robotique) et se prépare à tester cela dans le monde réel, passant des simulations informatiques aux robots physiques réels.

Résumé Technique : SignVLA

Énoncé du Problème

Les modèles de Vision-Langage-Action (VLA) sont devenus un paradigme puissant pour la manipulation robotique généraliste, permettant aux robots d'ancrer des objectifs sémantiques dans des scènes physiques à l'aide d'instructions en langage naturel. Cependant, les interfaces VLA actuelles reposent principalement sur des entrées vocales ou textuelles. Cette dépendance crée une barrière d'accessibilité significative pour les utilisateurs sourds, malentendants ou présentant des troubles de la parole. De plus, dans les environnements où la parole est peu fiable, bruyante ou socialement inappropriée, ces systèmes font face à des limitations de déploiement.

L'intégration de la langue des signes comme modalité d'entrée présente des défis techniques uniques. Contrairement au texte discret, la langue des signes consiste en des signaux visuels spatio-temporels continus impliquant la forme de la main, l'articulation, la position et les trajectoires de mouvement. Cela crée un décalage de modalité entre les flux de signes visuels et les interfaces discrètes basées sur des jetons (tokens) attendues par les politiques VLA. De plus, l'exécution robotique est très sensible à l'instabilité de la reconnaissance ; les erreurs transitoires au niveau de la trame lors de la reconnaissance des signes peuvent entraîner un scintillement des commandes, une sélection de tâche incorrecte ou des actions en aval non sécurisées. Les systèmes de reconnaissance de la langue des signes (SLR) existants reposent souvent sur des ensembles de données annotés à grande échelle et des architectures gourmandes en calcul (par exemple, les Transformers), ce qui rend leur déploiement en temps réel sur des plateformes robotiques aux ressources limitées difficile.

Méthodologie

Le papier propose SignVLA, un cadre en temps réel qui fait le pont entre les gestes de la langue des signes et la manipulation robotique grâce à un pipeline modulaire et léger. L'architecture du système se compose de trois étapes principales :

1. Perception et Reconnaissance des Signes

Le module frontal traite les flux vidéo en direct pour extraire les instructions sémantiques :

Extraction de Caractéristiques : Au lieu de traiter des images RGB brutes, le système utilise MediaPipe pour extraire en temps réel des caractéristiques de points de repère (landmarks) de la main à 544 dimensions. Ces caractéristiques incluent les coordonnées 3D absolues et relatives au poignet, les vecteurs de direction des doigts et les différences de vélocité d'une trame à l'autre.
Modélisation Temporelle : Les séquences de points de repère sont injectées dans un réseau LSTM (Long Short-Term Memory) enrichi par l'attention.
- Le LSTM modélise les dépendances temporelles à travers la séquence de signes.
- Un mécanisme d'attention additive est incorporé pour attribuer des poids plus élevés aux segments temporels discriminants, améliorant la précision de la classification en se concentre sur les motifs de mouvement clés.
Stratégie d'Entraînement : Le modèle est entraîné sur un sous-ensemble filtré du jeu de données Microsoft ASL Citizen, comprenant 33 vocabulaires de signes pertinents pour la manipulation robotique (par exemple, des noms d'objets comme « pomme », « beurre » et des actions comme « prendre », « placer »). L'entraînement utilise une perte d'entropie croisée pondérée avec lissage deラベル (label smoothing) pour traiter le déséquilibre des classes et améliorer la généralisation.

2. Stabilisation Temporelle

Pour atténuer l'instabilité inhérente au traitement vidéo en temps réel, un Tampon de Stabilité Temporelle est implémenté :

Les étiquettes de signes prédites sont accumulées sur une fenêtre temporelle.
Une commande n'est validée que si la même classe est l'argument maximum (argmax) pendant 3 trames consécutives et qu'un temps de refroidissement de 8 trames s'est écoulé.
Ce mécanisme empêche les artefacts de répétition et garantit que la politique VLA en aval reçoit des instructions stables et cohérentes plutôt que des prédictions bruitées ou vacillantes.

3. Conversion de Langage et Exécution Robotique

Interface Signe-Texte : La séquence de gloss confirmée est mappée vers des instructions en langage naturel à l'aide de modèles prédéfinis (par exemple, convertir « PRENDRE » + « BEURRE » + « PLACER » + « PANIER » en « prendre le beurre et le placer dans le panier »).
Politique VLA : L'instruction en langage naturel générée sert de condition de langage pour la politique GR00T N1 en aval (un modèle VLA utilisant un Transformer de diffusion).
Exécution : La politique prédit les actions du robot ( $a_t$ ) conditionnées sur l'observation visuelle actuelle ( $o_t$ ) et l'instruction confirmée dérivée du signe ( $l$ ) : $a_t = \pi_{GR00T}(o_t, l)$ . L'instruction reste constante jusqu'à ce qu'une nouvelle commande de signe soit explicitement confirmée.

Principales Contributions

Cadre SignVLA : Le premier système connectant directement la reconnaissance de la langue des signes à un backend VLA pour la manipulation physique de robots, permettant une interaction humain-robot accessible sans modifier le squelette (backbone) du VLA.
Reconnaissance Temps Réel Légère : Une architecture novatrice Attention-LSTM qui traite les caractéristiques de points de repère MediaPipe, atteignant une haute précision avec une faible latence adaptée aux plateformes à ressources limitées.
Module de Stabilisation Temporelle : Un mécanisme de filtrage pratique qui convertit les observations visuelles bruitées en commandes sémantiques stables, répondant au problème critique du scintillement des commandes dans le contrôle robotique en temps réel.
Évaluation Intégrée : Une validation expérimentale démontrant que les instructions dérivées des signes peuvent piloter efficacement des tâches de manipulation robotique en simulation.

Résultats Expérimentaux

Le système a été évalué sur la suite de benchmarks LIBERO, qui couvre les tâches objet-vers-panier, objet-vers-contenant et interaction avec la scène.

Performance de la Reconnaissance des Signes :
- Sur un vocabulaire de 33 signes alignés avec les tâches de manipulation, l'Attention-LSTM proposé a atteint une précision Top-1 de 88,89 % et une précision Top-5 de 96,53 %, surpassant de manière significative une base LSTM classique (34,72 % Top-1).
- Le modèle a atteint une reconnaissance parfaite (100 %) pour 13 signes spécifiques, incluant des objets critiques (ex. : « balle », « bol », « beurre », « fromage ») et des actions (ex. : « prendre », « tourner », « haut »).
- Les erreurs étaient rares et concentrées parmi des signes visuellement ou temporellement similaires (ex. : « bouteille » vs « boîte » vs « bol »), indiquant la robustesse du modèle face à l'ambiguïté des gestes fins.
Succès de la Manipulation Robotique :
- Lorsqu'elle est conditionnée par des instructions dérivées des signes, la politique GR00T pré-entraînée a atteint des taux de réussite élevés à travers les suites de tâches LIBERO :
  - LIBERO-Spatial : 97,50 % (195/200)
  - LIBERO-Goal : 97,50 % (195/200)
  - LIBERO-Object : 98,50 % (197/200)
  - LIBERO-10 (Long-horizon) : 94,50 % (189/200)
- Les résultats suggèrent que les tâches de manipulation centrées sur les objets sont hautement compatibles avec le vocabulaire de signes contraint utilisé.

Signification et Revendications

Le papier soutient que SignVLA démontre qu'une reconnaissance de signes temporelle légère peut servir d'interface efficace et pratique pour l'intelligence incarnée multimodale. En découplant le front-end de reconnaissance des signes de la politique VLA, le système permet aux utilisateurs sourds et malentendants de contrôler des robots via la langue des signes sans nécessiter que le modèle VLA interprète directement des flux vidéo complexes.

Les auteurs soulignent que le système comble avec succès le fossé entre les gestes visuels continus et les instructions robotiques discrètes. Bien que le travail actuel se concentre sur un vocabulaire contraint et une évaluation basée sur la simulation, l'intégration réussie d'une configuration de robot physique Franka Emika Panda indique une voie claire vers un déploiement dans le monde réel. Le papier conclut que les vocabulaires de signes contraints par les tâches constituent une interface viable pour l'IA incarnée, les travaux futurs étant dirigés vers l'expansion vers une compréhension de la langue des signes continue à large vocabulaire et un déploiement physique complet dans le monde réel.